Trwa wyszukiwanie

Jak wygenerować plik robots.txt i umieścić go na serwerze?

Plik robots.txt jest zestawem reguł, na podstawie których jest indeksowana Twoja witryna.
To instrukcja, dla robotów skanujących, które sprawdzają i analizują strony WWW, aby w konsekwencji umieścić informacje o nich w wyszukiwarce. Plik robots.txt jest istotny z punktu widzenia rozbudowanych stron, generujących dużą ilość dynamicznych treści. Jeżeli witryna posiada kilkadziesiąt, a nawet kilkaset podstron, plik robots.txt instruuje roboty skanujące, które z podstron mają nie odwiedzać. Jest on przeciwieństwem mapy witryny (sitemapy), która natomiast wskazuje adresy, które chcemy, aby robot indeksujący odwiedzał.

Plik robots.txt umieszczamy pod adresem Twojadomena.pl/robots.txt.

Co zawiera plik robots.txt?


To w jaki sposób roboty skanujące Twoja witrynę mają działać, określasz za pomocą 2 podstawowych reguł. Plik robots.txt musi zawierać co najmniej 1 regułę. Każda reguła zezwala bądź blokuje dostęp określonego robota do wskazanego pliku w Twojej witrynie.

“User-agent” – wskazujesz reguły dla określonych botów. Poprzez nazwę „User-agent” rozumiemy nazwę identyfikującą bota wyszukiwarki, np. Bing czy Google.
W przypadku nazwy User-agent:* - określasz regułę dla wszystkich botów wyszukiwarki.

  • “Disallow” – ograniczasz działanie botów, za pomocą tej reguły określasz do którego folderu lub pliku nie powinny mieć dostępu.

  • User-agent: *

    Disallow: /photo/

    Taka komenda oznacza, że wszystkie roboty skanujące nie mają dostępu do folderu o nazwie „photo”.

  • “Allow” –zezwalasz na dostęp do określonego folderu podrzędnego lub rozszerzenia, znajdującego się w folderze nadrzędnym.

  • User-agent: *

    Allow: /

    Taka komenda oznacza, że zezwalasz wszystkim robotom skanującym na indeksację witryny.

    Disallow: /docs/

    Allow: /docs/plik.pdf

    Taka komenda powoduje, że blokujemy folder „docs”, ale zostawiamy możliwość dostępu do pliku „pdf”.

Jak go wygenerować?


Przygotowanie pliku wymaga podjęcia 4 czynności:

  • Utworzenia pliku o nazwie robots.txt

  • Możesz zrobić to ręcznie, używając edytora tekstowego (np. notatnika czy TextEdit). Umieść go w katalogu głównym swojej witryny (/public_html/). Podczas zapisywania pliku – jeżeli będziesz musiał określisz formę kodowania – określ jako UTF-8.

  • Dodania reguły do pliku

  • Omówiliśmy wcześniej reguły, które instruują roboty co do indeksacji witryny. Plik robots.txt musi zawierać co najmniej 1 regułę.

  • Przesłania pliku robots.txt na swój serwer

  • W tym celu musisz zalogować się na swoje konto FTP i umieścić przygotowany wcześniej plik.
    Sprawdź jak to zrobić.

  • Przetestowania działania


Sprawdź czy plik robots.txt jest publicznie dostępny. W tym celu w przeglądarce przejdź do lokalizacji pliku robots.txt.: https://Twojadomena.pl/robots.txt. Jeśli widzisz zawartość pliku robots.txt, możesz przetestować znaczniki.
Znaczniki sprawdzisz w Google Search Console.

Nie znalazłeś odpowiedzi? Skontaktuj się z nami!

Wyślij zapytanie
Wystąpił błąd

{{ error }}

Powiadomienie

{{ success }}

Administratorem Twoich danych osobowych jest cyber_Folks S.A., więcej informacji na temat przetwarzania danych osobowych przeczytasz w naszej Polityce prywatności.

kod obrazka
Prześlij zapytanie przez Panel Klienta

W ten sposób uzyskasz najdokładniejszą i najlepiej dopasowaną do Twoich usług odpowiedź. Nasi konsultanci przed udzieleniem odpowiedzi zapoznają się z Twoimi usługami i wcześniejszymi zgłoszeniami.

Wyślij
Właściciel serwisu

cyber_Folks S.A. z siedzibą w Poznaniu
Franklina Roosevelta 22, 60-829 Poznań
NIP: 7822622168, REGON: 364261632, KRS: 0000612359

Adres do korespondencji: ul. Marcika 27 C-D, 30-443 Kraków

Infolinia

Jesteśmy do Twojej dyspozycji
od pon. do pt. w godz 8:00-17:00

Płatności

Każdy Klient ma indywidualny nr rachunku bankowego dostępny po zalogowaniu w Panelu Klienta

Przejdź do panelu klienta

Możesz też zapłacić bez prowizji poprzez szybki i bezpieczny system Przelewy24. Operatorem transakcji realizowanych za pośrednictwem kart płatniczych jest PayPro S.A.

Przejdź do Przelewy24

{{ data.question }}

Twoja domena dostępna jest tylko w tym momencie!
Nie pozwól, aby zarejestrował ją ktoś inny!

cyber_Folks S.A. – Ustawienia plików cookies

Lubisz dobre ciastka? My też! Niektóre pliki cookies są wymagane do prawidłowego działania strony. Zaakceptuj także dodatkowe pliki cookies, związane z wydajnością usług, serwisami społecznościowymi i marketingiem. Pliki cookie służą także do personalizacji reklam. Dzięki nim otrzymasz najlepsze doświadczenie naszej strony internetowej, którą stale doskonalimy. Udzielona dobrowolnie zgoda w każdej chwili może być wycofana lub zmodyfikowana. Więcej informacji o wykorzystywanych plikach cookies znajdziesz w naszej polityce prywatności. Jeśli wolisz określić swoje preferencje precyzyjnie – zapoznaj się z rodzajami plików cookies poniżej.

Funkcjonalne (zawsze aktywne)

To niezbędne do funkcjonowania strony pliki cookies. Strona nie będzie działać w pełni prawidłowo bez akceptacji tego rodzaju ciastek. Przykład: Plik cookie, który zapisuje Twoją zgodę lub sprzeciw, jest potrzebny, abyśmy wiedzieli, czy mamy Twoją zgodę na określone działania na stronie, pozwolą również zalogować się do Panelu Klienta, złożyć zamówienie lub skontaktować się z nami przez chat.

Analityczno-wydajnościowe

Umożliwią zebranie informacji o sposobie korzystania ze strony. Te pliki pozwolą nam na zliczanie wizyt i źródeł ruchu w naszej witrynie, dzięki czemu możemy mierzyć i usprawniać jej działanie, a także dowiedzieć się, które strony są najbardziej, a które najmniej popularne, oraz zrozumieć jak odwiedzający poruszają się po naszej witrynie. Pomagają nam w analizie wydajności strony i zbieraniu syntetycznych informacji. Przykład: Możemy wykonywać mapy ciepła, dzięki czemu wiemy, które treści są czytelne, a które nie, a to pozwala na lepsze zaprojektowanie strony. Dzięki nim widzimy także, które wpisy blogowe były czytane częściej, a które rzadziej, co pozwala nam opracowywać bardziej interesujące treści. Głównym narzędziem z jakiego korzystamy jest Google Analytics.

Społecznościowe

To pliki cookies dotyczące platform społecznościowych umożliwią powiązania Cię z Twoimi kontami w mediach społecznościowych. Możesz w nich udostępniać treści pochodzące z naszej strony. Pliki sieci społecznościowych (pochodzące od podmiotów zewnętrznych, np. Facebooka) zbierają informacje w celu zapewnienia spersonalizowanych treści reklamowych. Przykładowo: Reklamy w Twoich mediach społecznościowych są lepiej dopasowane do Ciebie i zmniejszasz szansę na bombardowanie reklamami już kupionych usług lub produktów.

Marketingowe

To pliki związane z działaniem systemów automatyzacji marketingu oraz rozliczalnością reklam. Dzięki nim ograniczamy np. liczbę wyświetleń danej reklamy. Pozwalają nam także wykonywać testy porównawcze, dzięki którym stale doskonalimy działanie naszej strony. Testując wiele układów strony możemy łatwiej uzyskać taki, który zapewnia najlepszą czytelność dla użytkowników. Komunikacja staje się również bardziej spersonalizowana. Przykładowo: możemy podpowiedzieć Ci artykuł na temat tego, jak znaleźć nazwę domenową, kiedy widzimy, że szukasz domeny i trudno Ci znaleźć pasującą nazwę. Możemy też np. wyświetlić Ci podpowiedź, dotyczącą logowania, jeśli widzimy kilka nieudanych prób z rzędu. Na podstawie informacji z tych plików cookie i aktywności w innych serwisach budowany jest Twój profil zainteresowań. Głównie korzystamy z sieci reklamowej Google oraz Facebook.