Czy i jak dodać plik robots.txt i mapę strony sitemap.xml

Czym jest plik robots.txt i sitemap.xml większość webmasterów wie. Tym co nie wiedzą ujawnię, że:
robots.txt służy do instruowania botów wyszukiwarek (i innych) co im wolno a czego nie. Oczywiście czy te boty będą respektować narzucone im granice to już inna sprawa. Googlebot ponoć jest posłuszny. Dodatkowo w pliku tym możemy wskazać gdzie jest mapa strony, czyli sitemap.xml.
Plik robots.txt musi znajdować się w głównym katalogu, czyli być dostępnym pod adresem: http://adres_strony.pl/robots.txt.

sitemap.xml jest plikiem zawierającym mapę strony w formacie XML. Nazwa pliku może być inna. Ale musi być również dostępny z głównego poziomu, czyli np. http://adres_strony.pl/sitemap.xml. Dodatkowo mapa strony może być listą innych map. Ja np. stosuje to w stronach z tłumaczeniami w innym języku. Na tej stronie jest właśnie takie rozwiązanie.
Czy i jak dodać plik robots.txt i mapę strony sitemap.xml

Nie będę się zagłębiać w to jak należy oba pliki skonstruować. Można o tym przeczytać chociażby tutaj: Pliki  robots.txt  i  sitemap.xml . Kontrola zachowania robotów internetowych.

Dzięki mapie strony, Googlebot wie dużo lepiej co się zmieniło na stronie i pod jakim adresem nowa treść się znajduje. Wg. moich testów i obserwacji, daje to delikatne profity. Google częściej zagląda na stronę i szybciej indeksuje nowe podstrony. Oczywiście nie ma co liczyć na cuda. Głównym czynnikiem mającym wpływ na szybkość indeksowania strony jest jej "popularność internetowa" czyli ilość i jakość linków prowadzących do strony.

W przypadku tej strony, spodziewam się za indeksowania nowego wpisu w ciągu 24h. Ta strona nie jest jakoś super podlinkowana. Ale w przypadku mojej najpopularniejszej strony (Forum Wiaderko), nowy temat indeksuje się już w ciągu kilku minut, podobnie jak świeża strona podlinkowana z głównej strony forum.

Na koniec dodam jeszcze, że mapę strony warto pingować (dać znać dla google, że została zaktualizowana). Robi się to poprzez wywołanie adresu:
http://www.google.com/webmasters/sitemaps/ping?sitemap=http://adres_strony.pl/sitemap.xml, lub skorzystanie ze strony: Submit Your Sitemap to Google, Yahoo!, Bing & Ask.com...

Jeżeli chodzi o generowanie mapy do pliku XML, najlepiej zrobić skrypt w PHP, który będzie ją generował automatycznie i będzie ona zawsze aktualna. Jeżeli nie ma takiej możliwości, to można skorzystać z darmowego narzędzia online: XML Sitemap Tool.
Należy pamiętać, że te narzędzie działa po stronie naszej przeglądarki, a więc trzeba być wylogowanym na stronie której się mapę będzie sporządzać, inaczej robot może podążać po linkach, do których nie powinien mieć dostępu.

Podobne wpisy:

  • Dlaczego nie powinno się robić strony opartej na ramkach

    Dlaczego nie powinno się robić strony opartej na ramkach

    Trochę może dziwnie pisać w 2012 roku na temat ramek. Ale zaryzykuję. Statystyki odwiedzin mojej strony pokazują, że jeszcze są jacyś desperaci, którzy mają zamiar wykorzystać ramki. Ewentualnie dowiedzieć się czegoś na ten temat. Jako, że sam zaczynałem od tworzenia stron opartych na ramkach i dość długo kontynuowałem ten nieszczęśliwy proceder, posiadam wiedzę i doświadczenie wystarczające aby odstraszyć potencjalnego amatora ramek. Wady layoutu strony stworzonego na ...
  • Czym jest pozycjonowanie stron internetowych

    Czym jest pozycjonowanie stron internetowych

    Pozycjonowanie stron internetowych (SEO - Search Engine Optimization) jest wpływaniem na pozycję strony w wynikach wyszukiwarek internetowych. W obecnych czasach pozycjonowanie odnosi się głównie do wyszukiwarki Google i nie jest w tym nic dziwnego, ponieważ to właśnie ta wyszukiwarka generuje największy ruch w internecie. Pozycjonowanie stron internetowych ze względu na obrany sposób można podzielić na dwie grupy: White Hat SEO (biały kapelusz) jest to określenie na ...
  • Nieetyczne pozycjonowanie stron - Black Hat SEO

    Nieetyczne pozycjonowanie stron - Black Hat SEO

    Nieetyczne pozycjonowanie stron internetowych , na rynku anglojęzycznym nazywane Black Hat SEO jest bardzo popularną metoda podbijania stron w rankingu Google. W zasadzie samo pozycjonowanie już jest dość kontrowersyjne, bo sztucznie wpływa na pozycję strony w wyszukiwarkach. Tak więc określenie czy pozycjonowanie jest etyczne czy nie, jest dość płynne. Ale na pewno niektóre techniki jednoznacznie zaliczają się do tych spod czarnego kapelusza. Popularne metody stosowane w ...

Komentarze:

Ten wpis nie był jeszcze komentowany.

Dodaj komentarz

* - pole wymagane