DigitMeBot — unser Crawler
DigitMeBot besucht öffentliche Webseiten nur, wenn uns ein Nutzer mit dem Audit einer Website beauftragt. Er beachtet robots.txt-Regeln für den User-Agent DigitMeBot, ruft nur wenige Seiten mit geringer Frequenz ab und sendet niemals Formulare.
User-Agent
Mozilla/5.0 (compatible; DigitMeBot/2.0; +https://digit-me.com/en/bot)Zum Blockieren fügen Sie Ihrer robots.txt hinzu:
User-agent: DigitMeBot
Disallow: /