Google-Extended è un token di robots.txt, senza user agent proprio. Non toglie il sito da Google Search. GPTBot è il crawler di OpenAI per l’addestramento, e si regola a parte.
Google-Extended è un token di robots.txt. Non ha una stringa User-Agent tutta sua: il crawl, scrive Google, usa gli user agent che Google ha già, e il token serve solo a controllare l’uso dei contenuti. GPTBot è un’altra ditta e un altro mestiere: OpenAI lo descrive come il crawler il cui divieto segnala che il sito non va usato per addestrare i modelli. Bloccare uno non blocca l’altro. Non è l’AI Act, che è un regolamento, non una riga di robots. Rilettura del 17 ottobre 2026.
In breve: Google-Extended, nella pagina aggiornata il 15 ottobre 2026 UTC, governa l’uso per addestrare le prossime generazioni dei modelli Gemini e per il grounding. Non toglie il sito da Google Search e non è un segnale di ranking. GPTBot, OAI-SearchBot, ChatGPT-User e OAI-AdsBot sono quattro agenti OpenAI distinti. Le impostazioni, scrive OpenAI, sono indipendenti.
Cosa trovi in questo articolo
Google-Extended non è un user agent
La fonte è la pagina dei crawler comuni di Google, last updated 2026-10-15 UTC. Nella scheda Google-Extended, sotto «User-Agent in HTTP requests», la frase è: non ha una stringa user agent HTTP separata. Il crawling è fatto con le stringhe già esistenti. Il token in robots.txt lavora «in a control capacity».
L’esempio che la pagina stampa è questo, e l’1Q84 è il loro esempio, non un path da copiare:
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/I prodotti toccati, nella stessa scheda: è un token autonomo con cui il sito dice se i contenuti che Google ha già raccolto possono entrare nell’addestramento delle prossime generazioni di modelli Gemini usati da Gemini Apps e dalla Vertex AI API for Gemini, e nel grounding. Il grounding, lo glossano lì, è passare al modello contenuti dall’indice di Google Search al momento del prompt, per migliorare tenuta dei fatti e pertinenza, in Gemini Apps e in Grounding with Google Search su Vertex AI.
La frase successiva non lascia spazio a una lettura da SEO: Google-Extended non incide sull’inclusione del sito in Google Search e non è usato come segnale di ranking. Il cluster è Intelligenza Artificiale.
Non è neanche Google-CloudVertexBot
Nella stessa pagina, subito prima, c’è Google-CloudVertexBot. Quello, a differenza di Google-Extended, ha una sottostringa nell’user agent HTTP: Google-CloudVertexBot. I token robots elencati in quella scheda sono due: Google-CloudVertexBot e Googlebot. I prodotti: le preferenze rivolte a quell’user agent riguardano i crawl chiesti dai proprietari del sito per costruire Vertex AI Agents, e non hanno effetto su Google Search né sugli altri prodotti. La grammatica della frase, «site owners'», è quella della pagina.
Sono due interruttori diversi. Uno non ha un user agent proprio e parla di addestramento Gemini e di grounding. L’altro ha un user agent, obbedisce anche al token Googlebot secondo quella tabella, e parla di crawl richiesti da chi costruisce un agente. Scrivere solo User-agent: Google-Extended non è, in quella pagina, la riga di Google-CloudVertexBot.
| Token | User-Agent HTTP proprio | A che cosa serve, in pagina | Toglie da Google Search |
|---|---|---|---|
| Google-Extended | No | Addestramento dei prossimi Gemini e grounding | No, e non è un segnale di ranking |
| Google-CloudVertexBot | Sì, quella sottostringa | Crawl chiesti dal sito per Vertex AI Agents | No, «no effect on Google Search or other products» |
| GPTBot | Sì, un esempio è GPTBot/1.4 | Crawl il cui divieto vale per l’addestramento | Non è un prodotto Google |
| OAI-SearchBot | Sì, un esempio è OAI-SearchBot/1.4 | Comparire nella ricerca di ChatGPT | Non è un prodotto Google |
I quattro agenti OpenAI
La fonte è Overview of OpenAI Crawlers, riletta il 17 ottobre 2026. La pagina dice che OpenAI usa i tag robots OAI-SearchBot e GPTBot perché il sito gestisca il rapporto con l’AI, e che ogni impostazione è indipendente dalle altre. L’esempio è esplicito: si può permettere OAI-SearchBot per comparire nei risultati e vietare GPTBot per segnalare che il contenuto raccolto non va usato nell’addestramento dei modelli. Se il sito lascia passare entrambi, OpenAI può usare il risultato di un solo crawl per i due usi, per non passare due volte.
Per la ricerca, dalla modifica del robots.txt i sistemi possono metterci circa 24 ore. La frase sta nel capoverso sulla search. Non la estendo io all’addestramento: lì la pagina non stampa le 24 ore.
GPTBot «is used to crawl content that may be used in training». Vietarlo «indicates a site’s content should not be used in training generative AI foundation models». L’esempio di user agent, con la versione che «may change», è Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. Gli IP pubblicati stanno su openai.com/gptbot.json. Quando scarica il robots.txt può aggiungere un marcatore robots.txt nella stringa, per distinguere quella richiesta nei log che non hanno il path.
OAI-SearchBot serve a far emergere i siti nella ricerca di ChatGPT. Un sito che lo esclude non compare nelle risposte di ricerca, ma può ancora comparire come link di navigazione. L’esempio di stringa, versione che può cambiare, contiene OAI-SearchBot/1.4 e rimanda a openai.com/searchbot. Gli IP stanno su openai.com/searchbot.json. Per farsi trovare, la pagina consiglia di consentire il token e gli IP pubblicati.
ChatGPT-User è un’altra riga. Serve ad azioni dell’utente in ChatGPT e nei Custom GPT, e alle GPT Actions. «Is not used for crawling the web in an automatic fashion.» Perché l’azione parte da un utente, «robots.txt rules may not apply». Non decide se un contenuto compare in Search: per quello la pagina rimanda a OAI-SearchBot. La stringa di esempio contiene ChatGPT-User/1.0 e rimanda a openai.com/bot. Gli IP: openai.com/chatgpt-user.json.
OAI-AdsBot, quarto, controlla le landing page inviate come annunci su ChatGPT. Non è il crawler di addestramento e non è il crawler di ricerca. Stringa con OAI-AdsBot/1.0, IP su openai.com/adsbot.json.
Che cosa non si ottiene mescolandoli
Un Disallow sotto User-agent: GPTBot non è, né nella pagina Google né nella pagina OpenAI, un divieto per Google-Extended. E un User-agent: Google-Extended non nomina GPTBot. Sono due file di regole che i due crawler leggono ciascuno per sé, se li leggono.
Vietare GPTBot, nell’esempio di OpenAI, lascia aperta la ricerca se OAI-SearchBot è consentito. Vietare OAI-SearchBot toglie il sito dalle risposte di ricerca di ChatGPT, non da Google Search: Google Search, nella scheda Google-Extended, non passa da quel token. ChatGPT-User può comunque arrivare su una pagina perché un utente ha fatto una domanda, e la pagina avvisa che in quel caso il robots può non applicarsi.
Nessuna di queste righe è l’AI Act. Quel pezzo, già in archivio, riguarda obblighi e date del regolamento. Una riga di robots non li sostituisce, e il regolamento non scrive il token al posto del sito.
Errori da evitare
Cercare
Google-Extendednei log come se fosse uno user agent. La pagina dice che il crawl arriva con gli user agent Google già esistenti.Togliere il sito da Google Search con Google-Extended. La pagina del 15 ottobre 2026 dice il contrario, anche sul ranking.
Usare Google-Extended per fermare i crawl di Vertex AI Agents chiesti dal sito. Quello, nella tabella, è Google-CloudVertexBot.
Credere che vietare GPTBot spenga OAI-SearchBot, ChatGPT-User e OAI-AdsBot. OpenAI li descrive come impostazioni indipendenti, e su ChatGPT-User avvisa che il robots può non bastare.
Applicare le 24 ore anche all’addestramento. Nel testo stanno nel capoverso sulla search.
Trattare la riga come adempimento dell’AI Act, o l’AI Act come un crawler.
In sintesi
Google-Extended è un token di controllo, senza user agent proprio, per l’addestramento dei prossimi Gemini e per il grounding. Non decide l’inclusione in Google Search. GPTBot è lo user agent con cui OpenAI segnala l’addestramento, ed è indipendente da OAI-SearchBot. Google-CloudVertexBot è un terzo nome, con user agent suo, per i crawl di Vertex AI Agents. Il 17 ottobre 2026 le due documentazioni dicono ancora cose diverse, e vanno scritte separate.
Foto di copertina: Markus Spiske, «Code on computer monitor», Wikimedia Commons, CC0. È uno schermo, non un log di crawl.
