Robots.txt Generator.

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

File robots.txt di situs web adalah membantu webmaster mengabaikan file atau direktori yang ditentukan ketika Spider Engine Secrch merayapi sebuah situs.

Robots.txt Generator membantu Anda mendapatkan file robost.txt lebih mudah, Wehn ​​Anda memilih mesin pencari yang diperbolehkan dan merangkak waktu tunda, masukkan URL Sitemap dan pilih Rotot Anda. Kode seperti di bawah ini:



Agen pengguna: *


Larang: /


Agen pengguna: IA_Archiver


Melarang:


Agen pengguna: Slurp


Melarang:


Agen pengguna: afort


Melarang:


Agen Pengguna: Teoma


Melarang:


Agen Pengguna: Baiduspider


Melarang:


Agen Pengguna: TwiceLer


Melarang:


Agen Pengguna: Robozilla


Melarang:


Agen pengguna: Gigabot


Melarang:


Agen pengguna: GoogleBot


Melarang:


Agen pengguna: GoogleBot-image


Melarang:


Agen pengguna: GoogleBot-Mobile


Melarang:


Agen pengguna: mail.ru


Melarang:


Agen pengguna: msnbot


Melarang:


Agen pengguna: PSBOT


Melarang:


Agen Pengguna: Naverbot


Melarang:


Agen pengguna: Yeti


Melarang:


Agen pengguna: Nutch


Melarang:


Agen pengguna: StackRambler


Melarang:


Agen pengguna: Scrubby


Melarang:


Agen pengguna: Asterias


Melarang:


Agen Pengguna: Yahoo-Slurp


Melarang:


Agen pengguna: Yandex


Larang:
Robots.txt Generator.
Kalkulator Rekomendasi Numerologi Kalkulator Nomor Universal Generator nama vampir. Wind Chill Calculator. Generator Nama Bisnis Cloud Altitude Calculator. Waktu hemat cahaya hari, DST Dolar dan sen ke dalam kata kalkulator Kalkulator tenaga angin Kalkulator Bill Listrik Kartu kredit menghasilkan validasi Penerjemah Kode Morse. Kalkulator AC Room (AC) Kalkulator Kompatibilitas Nama Kalkulator Biaya Bahan Bakar Kalkulator Tekanan Darah