# casanest.eu
#
# Pesquisa pública permitida. Treino de modelos restrito (grupo no fim).
#
# ATENÇÃO: para este ficheiro ser servido, o "robots.txt gerido" da Cloudflare
# (AI Crawl Control) tem de estar DESLIGADO — caso contrário a Cloudflare
# injeta o dela e esta fica sem efeito.

# Um grupo partilhado: grupos específicos não herdam os Disallow de '*'.
#
# Google-Extended não é um robô: é um sinal lido pelo Googlebot. NÃO mexe na
# Pesquisa Google nem nos AI Overviews / AI Mode (esses seguem o Googlebot).
# Só decide se o conteúdo serve para treinar os modelos Gemini e para
# fundamentar (grounding) respostas nas apps Gemini e na Vertex AI. Permitido
# desde 24-09-2026 (decisão D2 do estudo de indexação): dá entrada nas apps Gemini.
User-agent: *
User-agent: Googlebot
User-agent: Bingbot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Applebot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
Allow: /
Disallow: /admin
Disallow: /backoffice
Disallow: /en/backoffice
Disallow: /api/
Allow: /api/media/
# Especificação da API pública: o /llms.txt anuncia-a, tem de poder ser lida.
Allow: /api/public/v1/openapi.json
# Preferências de uso (contentsignals.org, D3): pesquisa e respostas de IA sim,
# treino não.
Content-Signal: search=yes, ai-input=yes, ai-train=no

# As rotas públicas de login mantêm noindex na página: bloquear aqui impediria
# os motores de ler essa diretiva. Robots não substitui autenticação.

# ------------------------------------------------------- robôs de treino de IA
# Preferências de utilização de conteúdo, separadas do acesso à pesquisa.
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

Sitemap: https://casanest.eu/sitemap.xml