Robots.txt to plik, który przekazuje wyszukiwarkom informacje, na temat tego, do których podstron mogą mieć dostęp, a które powinny omijać. 

Robots.txt – czym jest?

Robots.txt informuje wyszukiwarki, do których podstron w witrynie mogą wchodzić. To plik zamieszczony w katalogu głównym witryny. Może zezwalać lub ograniczać dostęp wszystkim wyszukiwarkom, lub tylko wybranym. Nie ma jednak gwarancji, że roboty wyszukiwarek zastosują się do zapisów w pliku.

Do czego służy plik robots.txt?

Głównym zadaniem pliku robots.txt jest zarządzanie ruchem robotów indeksujących na stronie. Celem zarządzania tym ruchem jest zapobieganie przeciążeniom na serwerze i nieindeksowanie nieistotnych podstron. 

Plik robots.txt jest przydatny, kiedy w witrynie znajdują się strony, których nie chcemy indeksować. Jeśli wszystkie linki mają być indeksowane, nie ma konieczności tworzenia tego pliku.

Przykładowa zawartość pliku robots.txt

Zawartość plików robots.txt jest ogólnodostępna. Można ją łatwo sprawdzić, wpisując adres URL witryny razem z /robots.txt. 

Dla przykładu tak wygląda plik robots.txt Zalando: