Matt Cutts beschreibt im Video Uncrawled URLs in search results kurz das Handling von robots.txt-Files und geht auf folgende Fragen ein:
Warum erscheint eine Seite in den SERPs obwohl sie per robots.txt geblockt wird?
Wie erreiche ich ein Delisting?
Fazit: Um eine Seite komplett zu delisten reicht es nicht aus die Seite in der robots.txt auszuschliessen. Durch eingehende [...]