robots.txt
A1A2B1B2C1C2
/robotstxt/
/ˈrəʊbɒts ˌtiːˌɛkˈstiː/
GeneralTechnology
- 1 robots.txt
- 2 arama motorlarının web sitesine erişimini denetlemeye yarayan dosya
Definition (English)
- A text file that tells web crawlers which pages they can access.
- It helps control search engine access to your website.
Example Sentences
-
Check the robots.txt file for crawl instructions.Tarama talimatları için robots.txt dosyasını kontrol edin.
-
The robots.txt file blocked the crawler.robots.txt dosyası tarayıcıyı engelledi.