Google kondigde op vrijdag 30 oktober 2026 steun aan voor een gedeeld signaal in robots.txt waarmee een website in één stap aangeeft of haar content gebruikt mag worden om AI-modellen te trainen. Het voorstel komt uit de AIPREF-werkgroep van de Internet Engineering Task Force (IETF) en werd volgens Search Engine Roundtable dezelfde dag ook door OpenAI, Microsoft (Bing) en Anthropic aangekondigd.
Wat er gebeurde
Google Search Central schrijft op 30 oktober 2026 dat websites nu voor elke AI-aanbieder apart een regel in robots.txt moeten zetten (zoals Google-Extended sinds 2023) om trainingsgebruik te sturen. Het nieuwe voorstel voegt daar een gedeeld “policy token” aan toe: één regel die de voorkeur van een website in één keer doorgeeft aan alle deelnemende AI-partijen. Zet een website dat token om training te weigeren, en staat Google-Extended niet apart genoemd, dan leest Google dat net zo als een expliciete weigering voor Google-Extended. Andere aanbieders kunnen het signaal op dezelfde manier interpreteren.
Google benadrukt dat bestaande, aanbieder-specifieke regels blijven werken naast het nieuwe gezamenlijke signaal: een website kan dus breed opt-outen via het gedeelde token en tegelijk per aanbieder bijsturen, bijvoorbeeld door Google-Extended wel toe te staan. Alleen websites die Google-Extended expliciet toestaan, komen in aanmerking om via grounding in Gemini Apps te worden getoond en aangeklikt, aldus Google in dezelfde aankondiging van 30 oktober 2026.
Google noemt zelf 2027 als moment waarop het deze nieuwe controle, samen met andere AI-aanbieders, wil gaan ondersteunen (bron: Google Search Central, 30 oktober 2026). Het exacte format van het policy token zelf is nog niet gepubliceerd: dat volgt uit verdere afstemming binnen de IETF-werkgroep. Google wijst er ook op dat het voorstel aansluit op de EU Code of Practice for General Purpose AI Model Providers onder de AI-wet (AI Act), die robots.txt al erkent als het primaire kanaal waarmee uitgevers machineleesbare voorkeuren mogen aangeven.
Wat betekent dit voor jouw website
Er is voor een mkb-website niets te implementeren: het token zelf bestaat nog niet en Google noemt 2027 als streefmoment. Wat wel al zinvol is:
- Controleer wat je robots.txt nu al regelt. Veel bouwplatformen en CMS’en zetten automatisch regels voor specifieke AI-crawlers (
GPTBot,Google-Extended,CCBoten vergelijkbare bots). Weet welke crawlers je robots.txt nu toestaat of blokkeert, want die regels blijven na invoering van het gedeelde signaal gewoon van kracht. - Bepaal je eigen voorkeur, los van de techniek. Wil je dat jouw content wordt meegenomen in AI-training en zichtbaar kan worden via AI-antwoorden (zoals grounding in Gemini Apps), of wil je dat liever niet? Dat is een keuze over vindbaarheid en controle over je eigen content, niet een technische instelling die je zomaar aan of uit zet.
- Wacht met losse aanpassingen aan robots.txt op basis van dit nieuws. Het policy token is nog niet gepubliceerd; zelf iets verzinnen dat er op lijkt, voegt alleen risico toe dat een echte crawler een regel verkeerd leest.
- Let op wie je robots.txt beheert. Bij veel bouwplatformen overschrijft een update van de site of het platform automatisch het bestand. Zodra de aanbieders het echte token publiceren, is het de moeite waard om te checken of je platform het zelf toevoegt of dat je dat als eigenaar handmatig moet doen.
Wil je weten waar jouw site staat?
Doe de gratis diagnose. Je ziet meteen wat je site nodig heeft om beter gevonden te worden.
Bronnen
Geschreven met AI door FWRD. Bronnen en cijfers staan in de tekst gelinkt.