Livetechniker Blog

Matt Cutts beschreibt im Video Uncrawled URLs in search results kurz das Handling von robots.txt-Files und geht auf folgende Fragen ein:

• Warum erscheint eine Seite in den SERPs obwohl sie per robots.txt geblockt wird?
• Wie erreiche ich ein Delisting?

Fazit: Um eine Seite komplett zu delisten reicht es nicht aus die Seite in der robots.txt auszuschliessen. Durch eingehende Links erscheint die Seite innerhalb der SERPs. Die Seite wird nicht gecrawlt und es wird auch kein Snippet aus der Seite verwendet, sondern die Beschreibung aus dem ODP / dmoz. Besser ist es in diesem Fall Google die Seite crawlen zu lassen und mit dem Meta-Tag robots ein noindex auszugeben.

Possibly related posts: (automatically generated)

• Related posts on robots.txt
• Wie Google robots.txt handhabt | korrekte Bloggg…
• Traffic secret