Crawling / Indexierung
Crawling und Indexierung sind zwei grundlegende Prozesse, mit denen Suchmaschinen wie Google das Web analysieren und strukturieren.
- Crawling bezeichnet den Vorgang, bei dem sogenannte Crawler (z. B. der Googlebot) Webseiten aufrufen, Links folgen und neue Inhalte entdecken.
- Indexierung meint die anschließende Analyse und Speicherung der Inhalte im Suchmaschinenindex, sodass sie später in den Suchergebnissen (SERPs) angezeigt werden können.
Ohne Crawling keine Indexierung – und ohne Indexierung kein Ranking.
Typische Steuerungselemente in der SEO-Praxis:
- robots.txt: Steuert, welche Bereiche von Crawlern besucht werden dürfen.
- noindex: Meta-Tag zur gezielten Steuerung, ob eine Seite indexiert werden soll.
- Sitemaps: Helfen Crawlern, relevante URLs strukturiert zu erfassen.
- Canonical-Tags: Verhindern doppelte Indexierung ähnlicher Inhalte.
Beispiel:
Eine neue Produktseite ist zwar technisch online, wird aber durch noindex blockiert. Sie wird zwar gecrawlt – aber nicht indexiert und erscheint daher nicht in Google.
Effizientes Crawling & saubere Indexierung …
- sorgen für Sichtbarkeit in Suchmaschinen,
- sparen Crawl-Budget bei großen Websites,
- verhindern SEO-Fehler durch Duplicate Content oder Zugriffsprobleme,
- lassen sich mit Tools wie Google Search Console, Screaming Frog oder Logfile-Analysen überwachen.
Hinweis: Der Prozess ist nicht automatisch – Seiten können gecrawlt, aber dennoch nicht indexiert werden, wenn Google sie als qualitativ minderwertig oder redundant einstuft.
