# ASESO — crawlbeleid
# Vastgesteld 31 augustus 2026, prompts/14.4 stap 4.
# Motivering per bot: hieronder, bij elke User-agent-groep zelf. Stond ooit
# uitgebreider in rapporten/het-crawlbeleid.md; dat rapport bestaat niet meer
# (commit 9229803, "rapporten/ weg -- we zijn geen bibliotheek", 2 sep 2026 --
# zie rapporten/README.md). Terug te halen met
# `git show 9229803~1:rapporten/het-crawlbeleid.md` als dat ooit nodig is.
#
# De regel in één zin: wie leest om een lezer te antwoorden en ons daarbij
# noemt, mag alles; wie leest om een model te trainen, niet.
#
# Dit bestand komt van de oorsprong. Cloudflare voegt hieronder mogelijk nog
# een eigen beheerd blok toe; zolang dat aanstaat is dit bestand niet het hele
# verhaal.

# --- Wat wij van AI-systemen vinden, in signalen -------------------------
# search    = ja  : indexeren en een fragment tonen mag.
# ai-input  = ja  : ons antwoord mag in een AI-antwoord worden opgenomen.
#                   Dit stond niet in het beheerde blok van Cloudflare en is
#                   de kern van fase F5: geciteerd worden is het doel.
# ai-train  = nee : ons archief is geen trainingscorpus.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# --- Antwoordmachines: welkom -------------------------------------------
# Deze agents halen een pagina op om een gebruikersvraag te beantwoorden en
# linken terug. Ze vielen al onder `*`, maar staan hier met naam zodat een
# latere wijziging in een beheerde blokkeerlijst ze niet stilletjes meeneemt.
# Bron: developers.openai.com/api/docs/bots, support.claude.com (art. 8896518),
# docs.perplexity.ai/guides/bots.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# --- Zoekmachines: welkom ------------------------------------------------
# Googlebot voedt ook AI Overviews; daar is geen aparte opt-out voor die niet
# tegelijk de gewone zoekresultaten kost. Dat accepteren we bewust.
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
Allow: /

# --- Trainingscrawlers: nee ----------------------------------------------
# Deze acht halen op om modellen te trainen, niet om te antwoorden. Google-
# Extended blokkeren kost ons niets in de zoekresultaten: Google documenteert
# dat het "does not impact a site's inclusion in Google Search".
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

# Amazonbot documenteert zijn doel niet scherp genoeg om hem als
# antwoordmachine te behandelen. Blijft dicht tot dat wel zo is.
User-agent: Amazonbot
Disallow: /

# prompts/v0.2.1-verhuizing.md: ontbrak. search.aseso.nl is het adres waarop
# we gevonden willen worden (besluit 3 september); research.aseso.nl blijft
# werkadres en krijgt daarom geen eigen Sitemap-regel.
Sitemap: https://aseso.co/sitemap.xml