Crawl Budget: Was es ist und wie du sicherstellst, dass Google es gut nutzt

Von Emily Redmond, Datenanalystin bei Emilytics · April 2026

TL;DR: Google hat ein Crawl Budget – eine Begrenzung für die Anzahl der Seiten, die es pro Tag crawlt. Wenn du es auf minderwertige Seiten verschwendest, werden wichtige Seiten nicht gecrawlt. Optimiere durch das Blockieren von Verschwendungsseiten und die Verbesserung der Seitengeschwindigkeit.

Was ist Crawl Budget?

Der Google-Bot, Googlebot, crawlt deine Website jeden Tag. Er crawlt nicht jede Seite – er ist durch ein Budget begrenzt.

Crawl Budget = die Anzahl der Seiten, die Googlebot an einem Tag crawlt.

Für eine kleine Website (100 Seiten): Crawl Budget könnte 50 Seiten/Tag sein.

Für eine mittlere Website (10.000 Seiten): Könnte 5.000 Seiten/Tag sein.

Für eine große Website (1.000.000 Seiten): Könnte 50.000 Seiten/Tag sein.

Google bestimmt das Crawl Budget basierend auf:

1. Seitengeschwindigkeit – Schnellere Websites erhalten höhere Budgets
2. Server-Response-Zeit – Wenn dein Server langsam ist, crawlt Google weniger
3. Website-Gesundheit – Fehler reduzieren das Budget

Warum Crawl Budget wichtig ist

Stellen dir vor, du hast 1.000 Seiten. Das Crawl Budget von Google ist 100 Seiten/Tag.

Wenn du optimierst:

• Google crawlt deine 50 wichtigsten Seiten zweimal pro Tag.
• Neue Inhalte werden innerhalb von 24 Stunden gecrawlt.
• Updates werden schnell indiziert.

Wenn du es verschwendest:

• Google verschwendet das Budget auf doppelte Seiten, Filter-Seiten, alte Inhalte.
• Deine wichtigen Seiten werden einmal pro Woche gecrawlt.
• Neue Inhalte brauchen 3–7 Tage zur Indexierung.

Verschwendetes Crawl Budget = langsamere Indexierung = langsamere Rankings.

Wie du dein Crawl Budget überprüfst

In Google Search Console:

1. Gehe zu Einstellungen > Crawl-Statistiken.
2. Du wirst sehen:
   • Anfragen pro Tag (verwendetes Crawl Budget)
   • Gecrawlte Seiten pro Tag (wie viel Google crawlt)
   • Heruntergeladene Daten pro Tag (Datenvolumen)
   • Zum Herunterladen einer Seite benötigte Zeit (wie schnell deine Seiten sind)

Auf was du achten solltest:

Wenn die Anfragen pro Tag konstant sind (z.B. immer 1.000), nutzt Google sein volles Budget. Das ist gut – wenn es effizient ist.

Wenn die Anfragen pro Tag sinken, crawlt Google weniger. Untersuche warum (normalerweise Seitengeschwindigkeit oder Fehler).

Seiten, die Crawl Budget verschwenden

Kategorie 1: Doppelte Seiten

Gefilterte Seiten, Sortierungsseiten, Paginierung – sie sind Variationen des gleichen Inhalts.

Beispiel: E-Commerce-Website

• /products/shoes
• /products/shoes?sort=price
• /products/shoes?sort=rating
• /products/shoes?color=blue

Diese sind alle die gleiche Produktseite, nur unterschiedlich gefiltert. Google crawlt alle, verschwendet Budget.

Lösung: Verwende rel=canonical, um Google zu sagen, welche die primäre Seite ist.

<link rel="canonical" href="/products/shoes">

Stelle das auf die gefilterten Versionen. Google wird das Canonical crawlen und die anderen überspringen.

Kategorie 2: Veraltete Inhalte

Alte Blog-Posts, archivierte Inhalte, Seiten, die nicht mehr relevant sind.

Wenn du 1.000 alte Blog-Posts und 100 neue hast, verschwendet Google Zeit auf das Crawlen alter Inhalte.

Lösung: Entweder lösche veraltete Inhalte oder leite sie auf neuere Inhalte weiter.

Kategorie 3: Seiten mit geringem Wert

Test-Seiten, Entwürfe, interne Tools, kennwortgeschützte Seiten.

Google könnte diese crawlen, aber sie haben null geschäftlichen Wert.

Lösung: Blockiere diese in robots.txt oder verwende noindex.

Beispiel robots.txt:

User-agent: *
Disallow: /test/
Disallow: /drafts/
Disallow: /admin/
Disallow: /old-versions/

Kategorie 4: Unendliche Facetten

Calendar-Widgets, Parameter-Seiten, Filter-Kombinationen, die unendliche URLs generieren.

Deine Website könnte 10.000+ URLs generieren, die nicht wirklich existieren.

Lösung: Überprüfe Google Search Console auf "Crawl-Probleme." Blockiere unendliche Facetten in robots.txt.

💡 Emilys Meinung: Ich habe Websites mit Crawl Budgets von 500 Seiten/Tag gesehen, aber nur 1.000 insgesamt indexierbaren Seiten. Das ist massive Verschwendung. Sie hatten doppelte Parameter-Seiten, veraltete Inhalte, Test-Seiten. Nach der Bereinigung sprangen Googles Crawl-Effizienz um 40%. Mehr Seiten gecrawlt, weniger Budget verschwendet.

Wie du Crawl Budget optimierst

Schritt 1: Gecrawlte Seiten überprüfen

In GSC:

1. Gehe zu Crawl-Statistiken.
2. Exportiere die Daten.
3. Überprüfe: Welche Seiten crawlt Google?

Wenn du alte Inhalte, Test-Seiten oder Seiten mit geringem Wert siehst, die gecrawlt werden, hast du ein Problem.

Schritt 2: Verschwendungsseiten blockieren

Aktualisiere robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /drafts/
Disallow: /old-blog/
Disallow: /*?utm_source=  (blockiere Tracking-Parameter-Seiten)

Oder verwende <meta name="robots" content="noindex"> auf bestimmten Seiten.

Schritt 3: Verwende Canonical-Tags

Für nahe-doppelte Seiten (gefilterte Seiten, Paginierung), füge hinzu:

<link rel="canonical" href="[primary-page]">

Schritt 4: Verbessere die Seitengeschwindigkeit

Schnellere Websites erhalten höhere Crawl Budgets. Optimiere:

• Bildgrößen (komprimieren)
• Server-Response-Zeit (Hosting upgraden)
• CSS/JavaScript minimieren
• Caching aktivieren

Eine 1-Sekunden-Geschwindigkeitsverbesserung kann das Crawl Budget um 10–20% erhöhen.

Schritt 5: Reduziere Redirect-Ketten

Redirects verbrauchen Crawl Budget. Eine Kette von 5 Redirects verschwendet Zeit.

Überprüfe: Leitet /old-page zu /new-page weiter, die zu /final-page weiterleitet?

Lösung: Mache /old-page direkt zu /final-page weiterleiten.

Crawl Budget für verschiedene Website-Typen

Kleine Website (< 1.000 Seiten)

Du brauchst wahrscheinlich nicht, Crawl Budget zu optimieren. Google crawlt sowieso alles.

Stelle nur sicher:

• Keine unendlichen Facetten oder doppelten Parameter-Seiten
• Grundlegende Seitengeschwindigkeit ist okay
• Keine Crawl-Fehler

Mittlere Website (1.000–100.000 Seiten)

Fang an, aufzupassen. Blockiere Verschwendungsseiten. Verwende Canonical-Tags. Überwache Crawl-Statistiken.

Große Website (> 100.000 Seiten)

Crawl Budget ist kritisch. Implementiere:

• Striktes robots.txt-Blockieren
• Aggressive Kanonisierung
• Dediziertes Crawl-Budget-Management
• Regelmäßige Website-Audits

Häufig gestellte Fragen

F: Kann ich mein Crawl Budget erhöhen?

A: Ja. Verbessere Seitengeschwindigkeit, behebe Fehler und blockiere Verschwendungsseiten. Google wird das Budget schrittweise erhöhen.

F: Beeinflusst Crawl Budget die Rankings?

A: Indirekt. Wenn deine wichtigen Seiten nicht häufig gecrawlt werden, weiß Google nicht von Updates. Langsamere Indexierung kann frische Inhalte Rankings schaden.

F: Sollte ich PDFs vom Crawling blockieren?

A: Wenn PDFs nicht wichtig für SEO sind, ja. Sie verbrauchen Crawl Budget. Blockiere in robots.txt: Disallow: *.pdf

F: Wie oft berechnet Google das Crawl Budget neu?

A: Täglich. Basierend auf Seitengeschwindigkeit, Fehlern und anderen Faktoren.

F: Kann ich ein Crawl-Budget-Limit setzen?

A: Nicht direkt. Aber du kannst es mit robots.txt und Canonical-Tags lenken.

Crawl-Budget-Audit-Checkliste

• Überprüfe aktuelles Crawl Budget in GSC
• Exportiere Crawl-Statistiken-Daten
• Identifiziere Verschwendungsseiten (Test, Entwürfe, alte Inhalte)
• Blockiere Verschwendungsseiten in robots.txt
• Überprüfe auf Nahe-Duplikate (füge Canonical-Tags hinzu)
• Audit Redirect-Ketten (behebe oder konsolidiere)
• Teste Seitengeschwindigkeit
• Optimiere Bilder und Server-Response
• Überprüfe Crawl-Statistiken nach 2 Wochen neu

Das Fazit

Crawl Budget ist das Rohrsystem hinter der Indexierung. Ein gesundes Crawl Budget bedeutet, dass Google deine Inhalte schnell findet und indiziert.

Blockiere Verschwendungsseiten. Verwende Canonical-Tags. Verbessere Seitengeschwindigkeit. Überwache Crawl-Statistiken.

Für kleine Websites ist das "schön zu haben". Für große Websites ist es kritisch.

Emily Redmond ist eine Datenanalystin bei Emilytics – dem AI-Analytics-Agenten, der rund um die Uhr deine Daten überwacht. 8 Jahre Erfahrung. Sag Hallo →