Bagaimana Cara Melihat robots.txt Situs Atau Blog Lain?

Pertanyaan :

Kak... Bagaimana cara melihat robots.txt blog lain? Terimakasih sebelumnya.

Jawaban :

robots.txt adalah sebuah file yang berbentuk text (.txt) yang berfungsi untuk memberitahu spiders atau bot di dalam mengakses atau menjelajahi situs atau blog kita. Dengan adanya robots.txt ini spider diperintahkan untuk menelusuri atau tidak menelusuri beberapa file yang sudah ditentukan.

There are two important considerations when using /robots.txt:

1. robots can ignore your /robots.txt. Especially malware robots that scan the web for security vulnerabilities, and email address harvesters used by spammers will pay no attention.
2. the /robots.txt file is a publicly available file. Anyone can see what sections of your server you don't want robots to use.

Source : RobotsTxt.org

---

Cara Melihat robots.txt blog lain

---

• Untuk melihat robots.txt blog atau situs lain, kita cukup meletakkan URL (URL Home Page) dari blog yang ingin kita lihat di kotak pencarian Firefox, Google Chrome, atau Internet Explorer yang kita gunakan, lalu klik "Enter". Contoh : http://www.tutorialblogspot.com/robots.txt.
• Kalau sobat blogger sudah menekan tombol enter, maka akan tampil robots.txt dari situs atau blog yang sudah kita tentukan. Untuk lebih jelasnya, lihat screen short di bawah ini!