Czym jest robots.txt i jak z niego poprawnie korzystać

Wyszukiwarka Google jest łakoma nowych treści, materiałów, grafik i wszystkiego co zostaje umieszczone w internecie, dlatego wpuszcza do sieci tzw. roboty sieciowe, które nieustannie crawlują strony internetowe i indeksują ich zawartość. Jednak co w przypadku gdy nie chcemy aby robot google odwiedzał część naszego serwisu? Tutaj z pomocą przychodzi narzędzie, czyli po prostu plik robots.txt, który powinien być umieszczony w…