Crawling & Indexierung
Crawling bezeichnet den automatisierten Prozess, bei dem Suchmaschinen-Bots wie der Googlebot Webseiten besuchen und Links folgen; Indexierung ist die anschließende Aufnahme der gefundenen Inhalte in den durchsuchbaren Datenbestand einer Suchmaschine – nur indexierte Seiten können in Suchergebnissen erscheinen.
In der Praxis
Eine klare interne Verlinkung, eine aktuelle XML-Sitemap und eine korrekt konfigurierte robots.txt lenken Crawler zu den wichtigen Seiten und schonen das Crawling-Budget großer Websites. Ob eine gecrawlte Seite anschließend auch indexiert wird, hängt zusätzlich von Inhaltsqualität, Canonical-Signalen und dem Meta-Robots-Tag ab; Crawling- wie Indexierungsstatus einzelner URLs lassen sich in der Google Search Console prüfen.