Von René Aye
Lesezeit:
4 min
Veröffentlicht: 28/08/2024
Aktualisierung: 07/02/2025

Was ist Web Crawling und Google Indexierung?

Crawling und Indexierung sind die grundlegendsten Eigenschaften für SEO!

Egal, was du tust – wenn deine Seite nicht gecrawlt werden kann, sind alle anderen Maßnahmen ohne Auswirkung auf SEO – die Seite wird nicht im Google Suchergebnis angezeigt werden.

Deswegen steht Crawling und Indexierung in meiner SEO-Pyramide auf der untersten Stufe – diese Stufe ist die Grundvoraussetzung für alle anderen SEO-Maßnahmen.

Aber was ist Crawling und Indexierung und wo liegen die Unterschiede?

Crawling und Indexierung sind das Fundament für SEO

Was bedeutet Web Crawling?

Beim Web Crawling im Kontext von SEO geht es zunächst darum, ob eine Seite überhaupt von Google, Bing und Co. erfasst und eingelesen werden kann.

Jede Suchmaschine besitzt sogenannten Crawler – oft auch als Bots bezeichnet. Diese scannen unentwegt die Webseiten des Internets. Ist er auf deiner Webseite unterwegs, hangelt er sich von Unterseite zu Unterseite. Und auf jeder Unterseiten hangelt er sich von Text-Abschnitt zu Text-Abschnitt.

Wenn deine Seite z.B. nicht zu erreichen ist, dann ist sie auch nicht crawlbar und kann damit nicht bei von Google eingelesen werden.

Das heißt, hier spielen ein funktionierendes und richtig konfiguriertes Hosting eine wichtige Rolle. Eine falsch konfigurierte .htaccess und/oder robots.txt können das Crawling verhindern.

Auch ein falsch eingestelltes Redirection Plugin, was ein weit verbreitetes (und sinnvolles) WordPress-Plugin ist, kann dazu führen, dass Seiten nicht erreichbar sind.

Ein Klassiker, den ich in meinem SEO-Alltag oft sehe: Nach dem Release wurde vergessen, die Indexierungs-Sperre der Entwicklungs-Webseite wieder auszuschalten und einige oder sogar alle Seiten sind noch mit einem Passwort gesperrt.

Was ich auch immer öfter in der Search Console sehe: Du hast so viele Unterseiten, dass dein Crawl-Budget bei Google aufgebraucht ist – denn auch Google hat nicht unendlich viele Ressourcen und muss haushalten!

Du siehst, es gibt viele Möglichkeiten, warum das Web Crawling nicht funktionieren könnte. In der Regel ist das ein Thema für die Techniker, die für die Webseite zuständig sind.

Was bedeutet Google Indexierung einer Webseite?

Bei der Indexierung geht es darum, wie eine Suchmaschine deine Webseite inhaltlich in den richtigen Kontext einordnet.

Wenn ich eine Seite mit „Tipps zum Rasenmähen“ erstelle, soll diese schließlich nicht als Suchergebnis von Google angezeigt werden, wenn jemand nach „Fischfutter“ sucht.

Das möchte ich als Autor der Seite nicht und Google möchte das im Übrigen auch nicht. Google ist sehr darauf bedacht, dass immer die am besten passenden Suchergebnisse präsentiert werden.

Es gibt eine wichtige Strategie, die bei allen SEO-Themen berücksichtigt werden sollte:

Du musst es Google so einfach wie möglich machen und bestmöglich beim Crawling und der Indexierung unterstützen.

Wie unterstütze ich Google bei der Indexierung?

Das erreichen wir z.B. in dem wir eine korrekte Struktur in die Überschriften (H1, H2, H3 etc.) bringen.

Wenn wir Meta Description und Title Tag hinzufügen, hat Google noch mehr Informationen, die es für die Indexierung nutzen kann.

Auch der sog. Slug gibt den Suchmaschinen Informationen.

Was ist ein Slug?

Was ist ein Slug?

Eine URL ist aus verschiedenen Teilen zusammengesetzt. Es beginnt mit dem Protokoll. Im Bild ist das https://.

Deine Webseiten URLs sollten alle mit https:// beginnen. Falls du noch http:// (ohne s) verwendest, setzt du keine SSL-Verschlüsselung ein, was nicht mehr Stand der Technik ist und von Google abgewertet wird.

Nächstes Element in der URL ist die Domain, in diesem Fall pyropixel.

Oft gibt es zwischen Protokoll und Domain noch eine Subdomain, wie zum Beispiel https://blog.pyropixel.de. In diesem Beispiel wäre blog die Subdomain. Auch das weit verbreitete www ist eine Subdomain.

Nach der Domain folgt die Top-Level-Domain (TLD), in diesem Fall .de. Sie gibt an, bei welchem Registrar die Domain registriert ist. Jedes Land hat einen eigenen Registrar. Für Deutschland und damit die .de Top-Level-Domain ist das die DENIC.

Nach der TLD kommt schließlich der sogenannte Slug – es ist das letzte Teilstück deiner URL nach der Top-Level-Domain.

Zu guter SEO-Arbeit gehört es, sich auch über den Slug Gedanken zu machen.

Schau dir diese beiden Slugs an:

Der zweite Slug ist für die Suchmaschine (und auch für den Lesenden) sehr viel hilfreicher.

Google nutzt über 200 Merkmale zur Indexierung

Es gibt sehr viele Möglichkeiten, Signale und Informationen an Google zu senden. Man munkelt, Google schaue sich mehr als 200 Merkmale einer Webseite an.

Das gute ist, so haben wir auch eine Form der Kontrolle, wie Google unsere Seite indexieren kann und bei welchen Suchbegriffen die Seite auftauchen soll.

Die genannten Ansätze sind nur ein kleiner Teil, die sich auf die Google Indexierung auswirken.

Schau nochmal in meinen Beitrag über die SEO-Pyramide hinein. Dort findest du viele Tipps, welche Maßnahmen in welcher Stufe anzugehen sind.

In den kommenden Beiträgen werde ich auch immer wieder auf die SEO-Pyramide zurückgreifen.

Fazit

Beim Web Crawling geht es darum, ob deine Webseite technisch vom Suchmaschinen-Crawler erreicht und gelesen werden kann.

Bei der Google Indexierung geht es darum, wie die Suchmaschine die Inhalte deiner Webseite „versteht“ und in den richtigen Kontext stellt, sodass deine Webseite bei Suchanfragen als passendes Ergebnis angeboten wird.

Crawling und Indexierung sind die unterste Stufe der SEO-Pyramide und daher das wichtigste Fundament für SEO. Wenn das nicht funktioniert, sind andere alle anderen SEO-Maßnahmen nutzlos.

Übrigens: ich erstelle dir gerne einen Report zu der Crawlbarkeit und Indexierbarkeit deiner Webseite. Nimm gerne Kontakt auf, dann können wir die Einzelheiten besprechen.

Optimiere deine Reichweite
mit SEO + KI-Workflows


Schau dir mein Video dazu an
Image