SEO robots.txt für WordPress

Aus gegebenen Anlass heute mal wieder eine kleine Basic Einführung für WordPress. Übrigens gab es gestern Abend das Update auf die WordPress Version 3.4, nicht vergessen zu updaten!

Aber jetzt gehts los, also warum gehe ich hier auf die robots.txt ein?

Folgendes ist mir passiert – ich habe gestern in meinem Google Webmastertool bemerkt, dass es in meinem Blog, wunderlicherweise, doch einige doppelte Meta Beschreibungen und Titel aufgetaucht sind, hier mal ein kleines Bild von dem beschriebenen Zustand:

robots.txt WordPress SEO

Klickt man in Webmastertools auf die Fehlermeldung, beziehungsweise HTML Verbesserung kommt man auf diese Zeilen:

/wordpress-einrichten-plugins/
/wordpress-einrichten-plugins/?utm_source=rss&utm_medium=rss&utm_campaign=…

Das Problem: Wo ist die robot.txt in meinem WordPress?

Wie im Beispiel zu sehen, werden diese doppelten Tags durch den RSS Feed hervorgerufen und so wollte ich diesen einfach kurzer Hand in der robots.txt auf „Disallow“ setzen, damit er nicht mehr von Google gecrawlt wird.

Also FileZilla geöffnet, zum Server verbunden, in den entsprechenden Ordner dieser WordPress Installation manövriert und was sehe ich da?

Es gibt gar keine robots.txt, nicht im Hauptverzeichnis und in keinem Unterverzeichnis, einfach keine da.

Rufe ich aber meinen Blog mit der URL + /robots.txt auf, bekomme ich eine robots.txt mit Inhalt zu sehen.

Sehr verwundert musste ich dann auch erst einmal Google bemühen und ich fand relativ schnell heraus, dass die robots.txt von WordPress nur auf Anfrage virtuell erstellt wird.

Die Lösung: Einfach, aber effektiv

Daraufhin habe ich versuchsweise einfach eine robot.txt erstellt und in das Hauptverzeichnis meiner Installation hochgeladen. Den entsprechenden Pfad im Browser aufgerufen und siehe da, die robot.txt funktioniert.

Heisst also für euch, solltet ihr eure robot.txt auch vermissen oder ihr wollt diese ergänzen, erstellt euch einfach eine und ladet diese hoch.

Natürlich gibt es auch noch eine elegantere Lösung, die virtuelle robots.txt muss ja auch irgendwo erstellt werden.
Dies geschieht in „wp-functions.php“, dort könnt ihr eure Befehle natürlich auch ergänzen, allerdings solltet ihr euch ein wenig mit PHP auskennen.

Ich denke die Lösung, einfach eine robots.txt zu erstellen, ist wohl für alle das Einfachste.

Wie sieht meine robots.txt aus? 

Auch hier braucht man nicht lange suchen, WordPress liefert nämlich in seinem Codex eine eigene SEO freundliche Version mit. Diese sieht wie folgt aus:

Sitemap: http://www.eureseite.de/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

So vermeidet ihr in Zukunft Kollisionen von eurem richtigen Content und euren Feeds.

Desweiteren könnt ihr hier natürlich noch andere Einstellungen treffen, wie zum Beispiel die Author Archive zu verbergen oder auch eure Tags.

Für all diese Aufgaben, bezüglich der Erweiterungen im Suchmaschinen Optimierungsbereich, nutze ich aber am Liebsten das hier vorgestellte SEO Plugin.

Bewerte diesen Artikel:
1 Stern2 Stern3 Stern4 Stern5 Stern (3 Bewertungen, durchschnittlich: 4,33 von 5 )
Loading...

18 Kommentare

  1. Danke, war grade auf der Suche wie eine Robots.txt Datei aussehen soll und das hat mir geholfen! Die anderen Links bei Google waren nicht so sinnvoll!

  2. Wenn in der robots.txt die /feed und */feed auf DISALLOW steht, dann wird euer Blog z.B. nicht in der Google Blogsearch gelistet.

  3. Vielen Dank für die Robots, habe ich so verwendet und tut genau das was ich mir davon erhofft habe :)

  4. Cool – genau was ich gesucht habe!
    Danke ;-)

  5. Hi Moritz,

    vielen Dank. Genau das haben wir für unsren WP-Blog gesucht.

    Herzlichen Dank.
    Markus

  6. Herzlichen Dank für die Erläuterungen. Nach dem Studium wurde mir auch klar warum in den Webmaster-Tools Fehler angezeigt wurden.

  7. Also der Adsense-Code darin ist ja schlau – aber gute Hilfe soll ja auch belohnt werden ;-)

    • Moritz on 30/06/2013 at 10:01 said:

      Haha, da hat ein Plugin etwas quer geschossen. Danke für deinen Kommentar sonst hätte ich es wohl gar nicht mitbekommen. :)

  8. Pingback: Die robots.txt | Online Marketing Agentur (Projecter GmbH)

  9. Danke, genau so etwas habe ich gesucht. Das von google war wirklich nicht zu verstehen für jemand normales. Die obige Datei ist auch gut zu gebrauchen für alle die etwas suchen zum Linkcloaking oder Maskieren.

  10. Coole Sache!! Dankeschön :)

  11. Danke, genau so etwas habe ich gesucht. Wäre eigentlich echt cool wenn yoast so etwas im seo plugin mitliefern würde mittel checkbox

  12. Pingback: Die robots.txt « Online Marketing Blog von Projecter

  13. Vielen Dank für den Artikel, genau das habe ich gesucht und wie meine Vorredner gesagt haben ist eine gescheite robots kaum zu finden.
    So wird sie auch gleich zum Einsatz kommen. Vielen Dank für deine tolle Arbeit :-)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

This Blog will give regular Commentators DoFollow Status. Implemented from IT Blögg

Post Navigation