DigitMeBot — il nostro crawler
DigitMeBot visita pagine web pubbliche solo quando un utente ci chiede di analizzare un sito. Rispetta le regole robots.txt rivolte a DigitMeBot, visita un numero limitato di pagine a bassa frequenza e non invia mai moduli.
User agent
Mozilla/5.0 (compatible; DigitMeBot/2.0; +https://digit-me.com/en/bot)Per bloccarlo, aggiungi al tuo robots.txt:
User-agent: DigitMeBot
Disallow: /