NexusRadarBot

O NexusRadarBot é o robô de coleta do Nexus Social, uma plataforma de gestão para organizações da sociedade civil (OSCs). Ele procura, em páginas públicas, editais, chamadas e parcerias com OSCs, para que a nossa equipe saiba quais organizações estão em momento de estruturação.

Ele se identifica sempre com este user-agent:

NexusRadarBot/1.0 (+https://nexussocial.com.br/bot)

• Somente páginas e documentos públicos, sem login, de financiadores, fundações e diários oficiais.
• Informações de pessoas jurídicas: órgão ou financiador, objeto, valor, prazo e o CNPJ da organização, quando publicado.
• Não coletamos dados pessoais de dirigentes nem conteúdo de redes sociais.
• Guardamos o endereço e a data de cada página, para justificar a origem de qualquer informação.

• Respeita o robots.txt do seu site, inclusive Disallow, Allow e Crawl-delay.
• Limita a quantidade de requisições por domínio. Por padrão, faz no máximo uma requisição a cada dois segundos, e o Crawl-delay do seu robots.txt só torna esse ritmo mais lento.
• Não volta a processar uma página que não mudou desde a última visita.
• Quando recebe recusa (por exemplo, HTTP 403 ou 429), espera cada vez mais antes de tentar de novo e, depois de algumas recusas seguidas, para de visitar o site.
• Nunca tenta contornar login, captcha ou qualquer outro bloqueio de acesso.

Para impedir qualquer coleta no seu site, acrescente ao robots.txt:

User-agent: NexusRadarBot
Disallow: /

Para bloquear só uma parte do site ou pedir um intervalo maior entre as visitas:

User-agent: NexusRadarBot
Disallow: /area-restrita/
Crawl-delay: 10

O robô relê o robots.txt periodicamente, e a mudança passa a valer na visita seguinte.