File robot txt adalah kumpulan petunjuk yang berguna untuk memberitahu bot mesin pencari tentang halaman yang dapat dan tidak boleh dirayapi. File ini mengarahkan crawler untuk mengakses atau menghindari halaman tertentu.
Ini adalah bagus untuk megelakkan Google Algoritma mengakses fail yang salah atau duplicate.
Sebagai contoh disini ialah di Google Search Console, post and atidak di indeks keran terdapat m=1. Hampir kesemua post disini mempunyai m=1.
Ini bukan kesalahan anda tetapi Google yang kadangkala ada sedikit masalah. Saya tak nak huraikan lebih lanjut kerana hari ini kita hendak bicara tentang robot.TXT.
Disallow: /*?m=1
Saya telah memberi arahan disallow m=1 diindeks oleh enjin carian. Tetapi banyak yang lagi enjin carian Google ini buat masalah maka saya telah masukkan kesemua arahan dibawah ini dan anda hanya perlu copy sahaja.
Contoh diatas adalah salah satu pemasalahan dalam google. Sebelum terjadi maka masukka kod ini.
Contoh robots.txt
untuk Blogger
User-agent: *
Disallow: /search
Disallow: /*?updated-max=*
Disallow: /*?max-results=*
Disallow: /*?m=1
Allow: /
Sitemap: https://blogsaya.blogspot.com/sitemap.xml
Pastikan sitemap anda gantikan https://blogsaya.blogspot.com kepada sitemap awak.
CARA BUAT SITEMAP.XML
MANA NAK MASUKKAN ROBOT .TXT
Buka dashboard Blogspot- ke Setting - Crawlers and Indexing.
Enable custom robot.txt dan copy code yang saya berikan dan save. ( Jangan lupa masukkan sitemap awak). Maka dah siap.
Untuk mempercepatkan Google membuat tindakan atas perubahan anda maka anda kena beritahu Google berkenaan robot.txt ini.
LANGKAH KEDUA : BUKA GOOGLE SEARCH CONSOLE
Didalam Google Search Console pergi setting dan cari robot.txt dan klik OPEN REPORT
Akan keluar fail ini dan klik tiga titik ( hamburger menu) dan tekan request a re-crawl. Dimana anda meminta Google crawl semula robot.txt yang telah anda kemaskini. Maka dah siap.
Berapa lama baru nak nampak hasilnya. Itu terpulang pada labah-labah Google bila nak datang tapi kita dah beritahu dia kan yang kita dan ubah suai robot.txt dan suruh dia crawl.
Biasanya ia mengambil masa 2 minggu, itupun paling lama..
Selamat belajar dan semoga tutorial ini membantu anda.