AI-crawlers en robots.txt (GPTBot, Google-Extended, ClaudeBot, PerplexityBot)

Wat is AI-crawlers en robots.txt?

robots.txt is een tekstbestand in de hoofdmap van je site. Het vertelt crawlers welke delen ze mogen bezoeken. Google benadrukt dat robots.txt geen manier is om een pagina uit Google te houden; daarvoor gebruik je noindex of een wachtwoord. Ook volgen niet alle crawlers de regels: bekende crawlers doen het, andere niet altijd.

AI-bedrijven gebruiken vaak aparte bots voor verschillende doelen. Dat onderscheid is belangrijk.

OpenAI: GPTBot verzamelt content die gebruikt kan worden om modellen te trainen. OAI-SearchBot zorgt dat sites in ChatGPT search verschijnen. ChatGPT-User bezoekt pagina's als een gebruiker daar om vraagt. Volgens OpenAI heeft het blokkeren van GPTBot geen invloed op ChatGPT search.

Google: Google-Extended is geen aparte bot, maar een token in robots.txt. Daarmee bepaal je of content gebruikt mag worden voor training van Gemini-modellen en voor grounding in Gemini-apps en Vertex AI. Google zegt dat het geen invloed heeft op opname in Google Search en geen rankingsignaal is. Voor wat er in Search verschijnt gebruik je de gewone snippet-instellingen.

Anthropic: ClaudeBot verzamelt content voor training, Claude-SearchBot indexeert voor zoekresultaten, en Claude-User haalt pagina's op voor een vraag van een gebruiker.

Perplexity: PerplexityBot zorgt voor vermelding in Perplexity-zoekresultaten en wordt volgens Perplexity niet gebruikt voor training. Perplexity-User haalt pagina's op voor een gebruikersvraag en negeert robots.txt meestal, omdat een mens om het bezoek vroeg.

Je kunt dus bijvoorbeeld training weigeren en zoekvermelding toestaan.

Waarom dit voor jouw bedrijf uitmaakt

Veel sites blokkeren AI-bots in één keer, en verdwijnen daardoor ook uit AI-zoekfuncties. Met een bewuste keuze per bot houd je controle over training, zonder je zichtbaarheid in ChatGPT, Claude of Perplexity weg te gooien.

Wat je zelf kunt doen

1. Open jouwdomein.nl/robots.txt en kijk welke bots er nu genoemd worden.
2. Bepaal per doel: wil je gebruikt worden voor training (GPTBot, ClaudeBot, Google-Extended) en voor zoekvermelding (OAI-SearchBot, Claude-SearchBot, PerplexityBot)?
3. Blokkeer een bot met twee regels, bijvoorbeeld ‘User-agent: GPTBot’ en ‘Disallow: /’.
4. Controleer of je hostingpartij of firewall AI-bots niet al standaard blokkeert.
5. Gebruik voor echt geheime pagina's een wachtwoord, niet alleen robots.txt.

Veelgestelde vragen

Verwante begrippen

• llms.txtllms.txt is een voorgesteld Markdown-bestand in de hoofdmap van je site dat AI-systemen een korte, geordende wegwijzer naar je belangrijkste content geeft; het is geen officiële standaard.
• ChatGPT searchChatGPT search is de zoekfunctie in ChatGPT die actuele antwoorden van het web geeft, met links naar de bronnen.
• LLMO (LLM Optimization)LLMO is een verzamelterm voor alles wat je doet om content herkenbaar en citeerbaar te maken voor grote taalmodellen; er is geen vaste definitie.
• Grounding (AI)Grounding is het koppelen van een AI-antwoord aan actuele, controleerbare bronnen, zoals zoekresultaten of je eigen documenten, zodat het model minder verzint.