Google wycofuje narzędzie Crawl Rate Limiter
Narzędzie do ograniczania tempa indeksowania w konsoli wyszukiwania Google zostanie wycofane 8 stycznia 2024 roku. Było dostępne przez ponad dziesięć lat, ale wskutek ulepszeń w logice indeksowania Google oraz dostępności innych narzędzi dla wydawców, jego przydatność zmalała. Googlebot dostosowuje tempo indeksowania na podstawie odpowiedzi serwera. Na przykład, jeśli serwer systematycznie zwraca kody stanu HTTP 500 dla szeregu URL-i, Googlebot automatycznie i niemal natychmiastowo zwalnia tempo indeksowania. Podobnie, tempo indeksowania jest automatycznie zmniejszane, gdy czas odpowiedzi na żądania znacznie się wydłuża. Narzędzie do ograniczania tempa indeksowania miało wolniejsze działanie – zmiana limitów mogła trwać ponad dobę. W praktyce rzadko korzystano z tego narzędzia, a ci, którzy je używali, często ustawiali minimalne tempo indeksowania.
Z wycofaniem tego narzędzia, minimalne tempo indeksowania zostanie obniżone do poziomu porównywalnego ze starymi limitami tempa indeksowania, co efektywnie kontynuuje respektowanie ustawień niektórych właścicieli stron, jeśli zainteresowanie wyszukiwaniem jest niskie, a indeksowanie nie marnuje pasma sieciowego strony. Postęp w automatycznym zarządzaniu tempem indeksowania i dążenie do uproszczenia obsługi narzędzi dla użytkowników są głównymi przyczynami wycofania tego narzędzia. Google nadal oferuje formularz zgłaszania nietypowej aktywności Googlebot dla sytuacji awaryjnych i nietypowych przypadków, jednak najszybszym sposobem na zmniejszenie tempa indeksowania jest instruowanie Googlebot przez odpowiedzi serwera, jak opisano w dokumentacji.
Crawl Rate Limiter to narzędzie oferowane przez Google, które pozwala właścicielom stron internetowych kontrolować, jak często roboty Google (takie jak Googlebot) odwiedzają ich strony w celu indeksowania. Celem tego narzędzia jest umożliwienie administratorom stron zarządzanie obciążeniem serwera spowodowanym przez proces indeksowania.
Kiedy Googlebot odwiedza stronę internetową, „crawl” lub przeszukuje ją, aby zrozumieć jej zawartość i strukturę. Informacje te są następnie używane do aktualizacji indeksu Google, co jest kluczowe dla wyświetlania strony w wynikach wyszukiwania Google. Jednakże, jeśli Googlebot odwiedza stronę zbyt często lub przeszukuje zbyt wiele treści naraz, może to obciążyć serwer, na którym strona jest hostowana, co może prowadzić do spowolnienia strony lub nawet jej awarii.
Crawl Rate Limiter pozwalał administratorom ograniczyć częstotliwość, z jaką Googlebot odwiedza ich strony, umożliwiając im zrównoważenie potrzeby indeksowania przez Google z utrzymaniem stabilności i wydajności serwera. Administratorzy mogli wybrać, czy chcą zwiększyć, zmniejszyć, czy utrzymać obecną częstotliwość odwiedzin Googlebota.
https://developers.google.com/search/blog/2023/11/sc-crawl-limiter-byebye
https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate
