seo-geo-knowledge

Zichtbaar in ChatGPT & Co: Waarom uw robots.txt mede bepalend is voor het AI-succes van uw shop

✍️ GEO Expert 📅 2026-02-13 ⏱️ 5 min

Het nieuwe tijdperk van zoeken: Van SERP's naar AI-antwoorden

Vroeger was de e-commercewereld eenvoudig: wie op nummer 1 stond bij Google, had gewonnen. Vandaag de dag zijn de rollen omgedraaid. Klanten gebruiken steeds vaker tools zoals ChatGPT, Perplexity of Claude om aankoopbeslissingen te nemen. Vragen als "Welke gravelbike onder de 2.000 euro heeft de beste beoordelingen?" of "Zoek duurzame sneakers uit Duitsland voor mij" zorgen ervoor dat AI-bots je webshop moeten scannen om je te kunnen aanbevelen.

Toch blokkeren veel winkeliers zichzelf onbewust. De sleutel tot deze nieuwe zichtbaarheid ligt in een onopvallend tekstbestand: de robots.txt.

Wat is de robots.txt en waarom is deze belangrijk voor AI?

De robots.txt is het eerste bestand dat een webcrawler (bot) leest wanneer deze je website bezoekt. Het geeft instructies over welke mappen doorzocht mogen worden en welke niet.

Lange tijd richtten SEO-experts zich op het aansturen van Googlebot en Bingbot. Maar met de opkomst van Large Language Models (LLM's) betreden nieuwe spelers het toneel:

GPTBot (OpenAI/ChatGPT)

PerplexityBot (Perplexity AI)

ClaudeBot (Anthropic)

CommonCrawl (De databasis voor veel open-source AI's)

Als je robots.txt deze crawlers buitensluit, bestaan je producten simpelweg niet voor de AI. Ze verschijnen niet in vergelijkingen en er wordt niet naar gelinkt in aankoopadviezen.

Waarom "Disallow: /" voor AI-bots een omzetkiller is

Een veelgemaakte fout uit het verleden is de paranoïde angst voor datadiefstal. Sommige winkeliers blokkeren alle crawlers behalve Google om serverbelasting te besparen of om het "scrapen" van prijzen door concurrenten te voorkomen.

In het tijdperk van Search Generative Experiences (SGE) is dit fataal. Als Perplexity je productgegevens niet kan lezen, zal het in plaats daarvan de concurrent aanbevelen die zijn deuren wel heeft geopend voor de PerplexityBot. De robots.txt bepaalt dus of jouw shop onderdeel wordt van de "Knowledge Graph" van de AI.

Zo optimaliseer je jouw robots.txt voor maximale AI-zichtbaarheid

Om ervoor te zorgen dat ChatGPT & Co. je producten vinden, moet je je robots.txt gericht aanpassen. Hier is een best-practice-gids:

1. GPTBot expliciet toestaan

OpenAI gebruikt de GPTBot om ChatGPT te voeden met actuele kennis. Zorg ervoor dat deze toegang heeft tot je productpagina's.

User-agent: GPTBot
Allow: /produkte/
Allow: /kategorie/
Disallow: /warenkorb/
Disallow: /suche/

2. Perplexity AI prioriteit geven

Perplexity is momenteel een van de sterkste AI-zoekmachines. Omdat zij bronnen direct linken, is het verkeer hiervandaan bijzonder waardevol.

User-agent: PerplexityBot
Allow: /

3. CCBot (Common Crawl) niet vergeten

Veel AI's zijn gebaseerd op de dataset van Common Crawl. Wie de CCBot blokkeert, riskeert te ontbreken in toekomstige trainingsdata van AI-modellen.

Strategische afweging: Wat moet geblokkeerd blijven?

Zichtbaarheid is belangrijk, maar privacy en performance ook. Je moet niet alles vrijgeven. De volgende gebieden moeten geblokkeerd blijven voor alle bots (ook AI-bots):

Interne zoekpagina's: Voorkomt "crawl-traps" door oneindige filtercombinaties.

Winkelwagen & Check-out: Hier is geen toegevoegde waarde voor een AI.

Klantaccounts & Login-omgevingen: Bescherming van gevoelige gegevens.

Admin-mappen: Essentiële veiligheidsmaatregel.

De rol van Schema.org: De taal van de AI

De robots.txt opent alleen de deur. Om de AI te laten begrijpen wat hij ziet, moeten de gegevens gestructureerd zijn. Schema.org-markups (JSON-LD) zijn hierbij essentieel. Als de GPTBot je site crawlt en schone data vindt over Product, Price, Availability und Review, stijgt de kans enorm dat je als top-aanbeveling wordt getoond.

Checklist voor winkeliers:

Controleren: Bevat je robots.txt Disallow: / voor onbekende bots?
Aanvullen: Voeg specifieke instructies toe voor GPTBot en PerplexityBot.
Testen: Gebruik tools zoals de Google robots.txt-tester of gespecialiseerde AI-crawler-simulators.
Monitoring: Houd in je analytics-data het "Referral Traffic" van chatgpt.com of perplexity.ai in de gaten.

Conclusie: Word onderdeel van het AI-antwoord

Optimalisatie voor AI-bots is het "nieuwe SEO". Waar klassieke SEO erop gericht is om in een lijst met links te verschijnen, gaat het bij AI-optimalisatie erom het antwoord zelf te zijn.

Je robots.txt is het eerste signaal dat je naar de digitale wereld stuurt. Open de deuren voor moderne crawlers, structureer je data en zorg ervoor dat je shop aanwezig is daar waar de klanten van morgen zoeken: direct in het chatvenster van de kunstmatige intelligentie.

Wie vandaag zijn robots.txt negeert, zal in de AI-gedreven zoekopdrachten van morgen onzichtbaar zijn. Begin nu met het uitzetten van de koers.