robot wyszukiwarki

Indeksowanie strony w wyszukiwarce

Co to jest indeksacja strony? Roboty wyszukiwarek podczas pobytu na naszej stronie internetowej analizują jej zawartość, w tym treści, grafiki, a nawet składnię znaczników. Roboty zwracają szczególną uwagę na treści, które wyróżnione są semantycznie (kursywa, pogrubienia, nagłówki itp.), między innymi dlatego warto ich używać w ważniejszych miejscach na stronie. Po przeanalizowaniu naszej witryny następuje zapis w bazie wyszukiwarki, a wynik…

Czym jest robots.txt i jak z niego poprawnie korzystać

Wyszukiwarka Google jest łakoma nowych treści, materiałów, grafik i wszystkiego co zostaje umieszczone w internecie, dlatego wpuszcza do sieci tzw. roboty sieciowe, które nieustannie crawlują strony internetowe i indeksują ich zawartość. Jednak co w przypadku gdy nie chcemy aby robot google odwiedzał część naszego serwisu? Tutaj z pomocą przychodzi narzędzie, czyli po prostu plik robots.txt, który powinien być umieszczony w…