# Muster robots.txt für Ihre WebSite User-agent: * Disallow: /cgi-bin/ # Hier koennen Sie bestimmte Verzeichnisse fuer den Roboter sperren Disallow: /admin/ Disallow: /stats/ Disallow: /intern/ Disallow: /_private/
Beschreibung
Stichwörter