Danke für den Tipp, dann weiß ich nun auch warum es nicht geht
Code
User-agent: D115Crawler
Disallow: */SiteGlobals
Crawl-delay: 15
User-agent: Clewwa-Bot
Disallow: */SiteGlobals
Disallow: */DE/Service
Disallow: */EN/Service
Crawl-delay: 15
User-agent: *
Disallow: */SiteGlobals
Disallow: */DE/Service
Disallow: */EN/Service
Crawl-delay: 180
Alles anzeigen
Nebenbei: Ich lasse RSS News von einen andern Account erstellen, warum werden mir dann die RSS News nicht als Neu markiert?