User-agent: msnbot #der MSN Bot ... Crawl-delay: 200 #...soll nicht so oft die Seite crawlen (robots.txt) Disallow: / #... darf nicht zugreifen