Crawl-Budget
Das Crawl-Budget bezeichnet die Menge an URLs, die der Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlen kann und will. Es ergibt sich aus dem Crawl-Kapazitätslimit (wie viel Zeit und wie viele parallele Verbindungen der Server für den Googlebot aufbringen kann, ohne überlastet zu werden) und der Crawl-Nachfrage (wie relevant und aktuell Google die Inhalte einschätzt).
In der Praxis
Für die meisten kleinen und mittleren Websites ist Crawl-Budget kein Problem, da Google sie ohnehin vollständig crawlt. Relevant wird es laut Google vor allem bei sehr großen Seiten mit häufig wechselndem Content oder bei Seiten mit vielen technisch unnötigen URLs, etwa durch Filterkombinationen oder Duplicate Content. Wer Crawl-Budget verschwendet, riskiert, dass neue oder aktualisierte Seiten spät oder gar nicht indexiert werden. Gegenmaßnahmen: unnötige URLs per robots.txt blockieren oder per Canonical bündeln, Serverantwortzeiten verbessern und Weiterleitungsketten vermeiden.