Was ist besser für SEO: Meta Robots Tags vs. Robots.txt? (2023)

Heim»»Was ist besser für SEO: Meta Robots Tags vs. Robots.txt?

• 8. September 2020
• Pam Aungst Cronin

Zuletzt aktualisiert am 2. August 2022

Roboter-Meta-Tagsoder Meta-Tags sind Codeteile, die Suchmaschinen Anweisungen zur Vorgehensweise gebenCrawlen oder Indexieren von Webseiten und Inhalten. Es gibtdrei Arten von Roboter-Meta-Anweisungen:

1. Robots.txt:Verwenden Sie robots.txt, wenn das Crawlen Ihrer Inhalte Probleme auf Ihrem Server verursacht. Verwenden Sie robots.txt nicht, um private Inhalte zu blockieren.
2. Roboter-Meta-Tags:VerwendenRoboter-Meta-Tagswenn Sie steuern müssen, wie eine einzelne HTML-Seite auf SERPs angezeigt wird.
3. X-Robots-Tag HTTP-Header:Verwenden Sie x-robots-Tag-HTTP-Header, wenn Sie steuern müssen, wie Nicht-HTML-Inhalte auf SERPs angezeigt werden.

Ich beschäftige mich eingehend mit dem Unterschied zwischen den ersten beiden Arten von Meta-Tags –robots.txtUndRoboter-Meta-Tags- bestimmenwas besser für SEO ist: Meta-Robots-Tags vs. robots.txt. Folgendes müssen Sie wissen:

Was sindRoboter-Meta-Tags?

Wie oben erwähnt,Roboter-Meta-Tagssind Teil des HTML-Codes einer Webseite, die als Codeelemente im -Abschnitt einer Seite angezeigt werden. Diese Tags werden am häufigsten von SEO-Vermarktern verwendet, um Crawling-Anweisungen für bestimmte Bereiche einer Website bereitzustellen. Sehen Sie sich das Bild unten als Beispiel an:

Denken Sie daran, wenn Sie es verwendenRoboter-Meta-TagsFür verschiedene Crawler müssen Sie für jeden Bot separate Tags erstellen.

Was sindRobots.txt-Dateien für SEO?

EntsprechendSearch Console-Hilfe, "Arobots.txtDie Datei teilt Suchmaschinen-Crawlern mit, welche Seiten oder Dateien die Crawler von Ihrer Website anfordern können und welche nicht. Dies dient hauptsächlich dazu, eine Überlastung Ihrer Website mit Anfragen zu vermeiden; Es ist kein Mechanismus, um eine Webseite von Google fernzuhalten.“

Es ist wichtig, sicherzustellen, dass Ihrerobots.txt-Dateien für SEOrichtig konfiguriert sind, insbesondere nach der Aktualisierung oder Migration Ihrer Website, da sie Crawler daran hindern können, Ihre Website zu besuchen. Wenn Crawler Ihre Website nicht besuchen können, wird Ihre Website nicht in den SERPs gerankt.

Wie machtRobots.txt-Dateien für SEOArbeiten?

Um besser zu verstehen, wierobots.txt-Dateien für SEOBei der Arbeit ist es wichtig, die beiden Hauptfunktionen von Suchmaschinen zu verstehen: das Web zu crawlen, um Inhalte zu entdecken, und diese Inhalte zu indizieren, damit sie in SERPs aufgenommen werden können, damit Suchende sie leicht finden können. Die Suchmaschinen-Crawler werden danach suchenrobots.txtIn den Dateien finden Sie Anweisungen zum Crawlen der Website als Ganzes.

WährendRobots.txtDateien sind eine notwendige Komponente zur Verbesserung Ihrer SEO, sie haben jedoch einige Einschränkungen:

• Robots.txt-Dateien für SEOwird möglicherweise nicht von allen Suchmaschinen unterstützt.Währendrobots.txtDateien enthalten Anweisungen für Suchmaschinen-Crawler. Letztendlich liegt es an den Crawlern, diese Anweisungen zu befolgen.
• Suchmaschinen-Crawler interpretieren die Syntax unterschiedlich.Während seriöse Suchmaschinen-Crawler die in festgelegten Parameter befolgenrobots.txtDateien interpretiert jeder Crawler die Parameter möglicherweise anders oder versteht sie überhaupt nicht.
• Eine Seite kann weiterhin indiziert werden, wenn sie von einer anderen Website aus verlinkt ist.Während Google blockierte Inhalte nicht crawlt oder indiziertrobots.txtDateien enthalten, kann es sein, dass der Inhalt von anderen Seiten im Web verlinkt wird. In diesem Fall können die URL der Seite und andere verfügbare Informationen auf der Seite weiterhin in den SERPs erscheinen.

Technische Syntax für Meta-Robots-Tags undSEO Robots.txtDateien

Verwenden Sie beim Erstellen Ihrer Website die richtige technische SyntaxRoboter-Meta-Tagsist unglaublich wichtig, da sich die Verwendung der falschen Syntax negativ auf die Präsenz und das Ranking Ihrer Website in den SERPs auswirken kann.

Meta-Roboter-Tags:

Wenn Bots die Meta-Tags auf Ihrer Website finden, geben sie Anweisungen, wie die Webseite indiziert werden soll. Hier sind einige der häufigsten Indexierungsparameter:

• Alle:Dies ist ein Standard-Meta-Tag und besagt, dass es keine Einschränkungen für die Indizierung und den Inhalt gibt, sodass es keinen wirklichen Einfluss auf die Arbeit einer Suchmaschine hat.
• Noindex:Weist Suchmaschinen an, eine Seite nicht zu indizieren.
• Index:Weist Suchmaschinen an, eine Seite zu indizieren – dies ist auch ein Standard-Meta-Tag, sodass Sie es nicht zu Ihrer Webseite hinzufügen müssen.
• Folgen:Selbst wenn die Seite nicht indiziert ist, bedeutet dies, dass Suchmaschinen allen Links auf der Seite folgen und den verlinkten Seiten Gerechtigkeit (oder Linkautorität) verleihen sollten.
• Nofollow:Weist Suchmaschinen an, keinem der Links auf einer Seite zu folgen oder Link-Equity weiterzugeben.
• Noimageindex:Weist Suchmaschinen an, keine Bilder auf der Seite zu indizieren.
• Keiner:Dies entspricht der gleichzeitigen Verwendung der Tags noindex und nofollow.
• Kein Archiv:Teilt Suchmaschinen mit, dass sie auf SERPs keinen zwischengespeicherten Link zu dieser Seite anzeigen sollen.
• Nächte:Dies ist im Wesentlichen dasselbe wie Noarchive, wird jedoch nur von Internet Explorer und Firefox verwendet.
• Nosnippet:Weist Suchmaschinen an, für diese Seite auf SERPs kein Snippet oder keine Meta-Beschreibung anzuzeigen.
• Keine Übersetzung:Weist Suchmaschinen an, die Übersetzung dieser Seite nicht in SERPs anzubieten.
• Max-Snippet:Legt die maximale Zeichenanzahl für die Meta-Beschreibung fest.
• Maximale Videovorschau:Legt fest, wie viele Sekunden eine Videovorschau dauern wird.
• Maximale Bildvorschau:Legt eine maximale Größe für die Bildvorschau fest.
• Nicht verfügbar_nach:Teilt Suchmaschinen mit, dass sie diese Seite nach einem bestimmten Datum nicht mehr indizieren sollen.

Robots.txt-Dateien

Währendrobot.txt-Dateien für SEOUm die Zugänglichkeit Ihrer Inhalte für Suchmaschinen zu verwalten, ist es wichtig zu beachten, dass diese keine Indexierungsanweisungen bereitstellen, da die Anweisungen für Ihre Website als Ganzes und nicht für einzelne Webseiten gelten. Die fünf häufigsten Begriffe fürrobots.txtRichtlinie sind:

• User-Agent:Dies sollte immer die erste Zeile in Ihrer robots.txt-Datei sein, da sie sich auf die spezifischen Webcrawler bezieht, die Ihrer Anweisung folgen sollen.
• Nicht zulassen:Dies ist der Befehl, der Benutzeragenten anweist, Ihre Webseite nicht zu crawlen. Sie können für jede URL nur eine „Disallow“-Zeile einfügen.
• Erlauben:Diese Anweisung gilt nur für den Googlebot. Sie teilt dem Googlebot mit, dass er auf eine bestimmte Webseite zugreifen kann, selbst wenn die übergeordnete Seite nicht zulässig ist.
• Crawl-Verzögerung:Dies gibt an, wie lange ein Crawler warten soll, bevor er Ihren Seiteninhalt lädt und crawlt. Googlebot erkennt diesen Begriff nicht an, Sie können jedoch die Crawling-Rate für Ihre Webseite festlegenGoogle Search Console.
• Seitenverzeichnis:Dieser Begriff wird verwendet, um den Speicherort einer oder mehrerer XML-Sitemaps anzugeben, die mit einer bestimmten URL verknüpft sind. Diese Richtlinie wird nur von Google, Ask, Bing und Yahoo anerkannt.
• $:Dies kann verwendet werden, um das Ende einer URL abzugleichen.
• *:Dies kann als Platzhalter zur Darstellung einer beliebigen Zeichenfolge verwendet werden.

Was ist besser für SEO: Meta Robots Tags vs. Robot.txt?

Dies stellte sich als eine Art Fangfrage heraus, da beide für die SEO Ihrer Website wichtig sind.

Da Meta-Robots-Tags undSEO robots.txtDateien sind nicht wirklich austauschbar. Sie müssen beide verwenden, um den Site-Crawlern die richtigen Parameter bereitzustellen. AlsSuchmaschinenjournalbringt es auf den Punkt: „Robots.txtDateien informieren Crawler über die gesamte Website. Während Meta-Robots-Tags auf das Wesentliche einer bestimmten Seite [auf einer Website] eingehen.“

Wenn Sie beispielsweise eine Ihrer Webseiten aus den SERPs von Google deindexieren möchten, ist es besser, ein „Noindex“-Meta-Robots-Tag anstelle eines zu verwendenrobots.txtRichtlinie. Wenn Sie verhindern möchten, dass ganze Abschnitte Ihrer Website in SERPs angezeigt werden, ist die Verwendung einer Datei „disallow robots.txt“ die bessere Wahl.

Das Geheimnis hinter SEO entmystifizieren

SEO-Best Practices verstehen und über die neuesten Empfehlungen auf dem Laufenden bleiben, z. B. verstehen, dass Meta-Robots-Tags genauso wichtig sind wierobot.txt-Dateien für SEO, kann wie eine nie endende Aufgabe erscheinen. Wir sind hier um zu helfen! Wir bieten bequem online anSEO-CoachingSitzungen, die automatisch für Ihre zukünftige Referenz aufgezeichnet werden. Kontaktieren Sie uns noch heute für ein Angebot!

*Fotonachweis: Moz.com