Crawling

Crawling bezeichnet den Vorgang, bei dem Suchmaschinen-Programme (Crawler, Bots, Spider) Websites automatisch besuchen, ihre Inhalte lesen und den Links folgen, um weitere Seiten zu finden. Googles Crawler heißt Googlebot; er besucht bekannte Seiten regelmäßig und neue, sobald er sie über Links oder die Sitemap entdeckt.

Für Website-Betreiber ist Crawling die Voraussetzung für alles Weitere: Was nicht gecrawlt wird, kann nicht indexiert werden und nicht ranken. Probleme entstehen, wenn Seiten für den Crawler unerreichbar sind — hinter Logins, in JavaScript-Menüs, die er nicht ausführt, durch robots.txt gesperrt oder schlicht von keiner anderen Seite verlinkt. Wie oft Google eine Website besucht, hängt von ihrer Größe, Aktualität und Bedeutung ab; eine kleine Unternehmenswebsite wird alle paar Tage bis Wochen gecrawlt, ein Nachrichtenportal im Minutentakt. Die Search Console zeigt, wann Google zuletzt da war und ob es dabei Fehler gab.