Robots.txt to plik, który przekazuje wyszukiwarkom informacje, na temat tego, do których podstron mogą mieć dostęp. 

Może zezwalać lub ograniczać dostęp wszystkim wyszukiwarkom, lub tylko wybranym.

Nie daje jednak gwarancji, że roboty wyszukiwarek zastosują się do zapisów w pliku.

Do czego służy plik robots.txt?

Głównym zadaniem pliku robots.txt jest zarządzanie ruchem robotów indeksujących na stronie. Celem zarządzania tym ruchem jest zapobieganie przeciążeniom na serwerze i nieindeksowanie nieistotnych podstron. 

Plik robots.txt jest przydatny, kiedy w witrynie znajdują się strony, których nie chcemy indeksować. Jeśli wszystkie linki mają być indeksowane, nie ma konieczności tworzenia tego pliku.

Przykładowa zawartość pliku robots.txt

Zawartość plików robots.txt jest ogólnodostępna. Można ją łatwo sprawdzić, wpisując adres URL witryny razem z /robots.txt. 

Dla przykładu tak wygląda plik robots.txt Zalando: