robots.txt dice quali URL il crawler può chiedere. Non è il modo per uscire da Google. Se il Disallow blocca la pagina, il noindex non viene nemmeno letto.
Un Disallow in robots.txt non è un noindex. La guida di Google Search Central, riletta il 19 ottobre 2026, lo scrive nella prima schermata: il file dice al crawler quali URL può raggiungere, serve soprattutto a non sovraccaricare il sito, e «it is not a mechanism for keeping a web page out of Google». Per tenere una pagina fuori dai risultati, la stessa pagina indica noindex oppure la protezione con password. Il noindex degli archivi tag è un uso di quella regola. Non è il file robots.txt.
In breve: se altre pagine linkano la tua con un testo descrittivo, Google può indicizzare l’URL senza visitarlo. Il risultato può uscire senza descrizione. noindex scritto dentro robots.txt non è supportato. Se il Disallow impedisce il crawl, il crawler non vede il meta noindex, e la pagina può restare nei risultati. Per immagini e video la regola documentata è un’altra.
Cosa trovi in questo articolo
Cosa fa il file, secondo Google
Fonte: Introduction to robots.txt e Block Search indexing with noindex, rilettura del 19 ottobre 2026. Non è una norma RFC letta al posto di Google, e non è una promessa sugli altri motori. La guida lo dice: alcuni motori possono interpretare noindex in modo diverso, quindi la pagina può ancora comparire altrove.
robots.txt gestisce il traffico del crawler. Si usa, per le pagine web, se si teme che il crawler sovraccarichi il server, o per non fargli leggere pagine poco utili o molto simili. Non è lo strumento con cui si chiede di non comparire.
La pagina HTML non si nasconde così
L’avviso della guida, sulle pagine web (HTML, PDF e gli altri formati testuali che Google sa leggere): non usare robots.txt per nasconderle dai risultati. Se altre pagine puntano alla tua con un testo descrittivo, Google può indicizzare l’URL senza visitarlo. Se la pagina è bloccata, l’URL può ancora apparire, ma il risultato non ha una descrizione. Immagini, video, PDF e altri file non HTML incorporati nella pagina bloccata restano fuori dal crawl, a meno che un’altra pagina autorizzata non li richiami.
Per togliere quel risultato senza descrizione, la guida dice di rimuovere la riga che blocca la pagina. Per non farla comparire affatto, indica un altro metodo. Il cluster è Social e Marketing. rel=sponsored è un’altra etichetta ancora: qualifica un link in uscita, non toglie una pagina dall’indice.
| Obiettivo | Cosa documenta Google | Cosa non basta |
|---|---|---|
| Ridurre il crawl di una pagina HTML | robots.txt | Non toglie, da solo, l’URL dai risultati |
| Non comparire nei risultati | noindex oppure password | Disallow, e noindex scritto nel robots.txt |
| Tenere fuori un’immagine, un video, un audio | robots.txt, nella sezione media della stessa guida | Non è la regola delle pagine HTML |
Dove si scrive noindex
noindex è una regola in un meta tag o in un header HTTP. Quando Googlebot legge quel tag o quell’header, Google toglie la pagina dai risultati, anche se altri siti la linkano. Condizione scritta in grassetto nella guida: la pagina non deve essere bloccata da robots.txt e deve essere raggiungibile. Se il file la blocca, o il crawler non entra, il crawler non vede noindex. La pagina può ancora comparire, per esempio se altre pagine la linkano.
Due modi, stesso effetto. Nel <head>: <meta name="robots" content="noindex"> per i motori che supportano la regola. <meta name="googlebot" content="noindex"> solo per i crawler web di Google. Si può unire ad altre regole, per esempio noindex, nofollow. In alternativa, l’header X-Robots-Tag: noindex oppure none. L’header serve anche ai file che non sono HTML: PDF, video, immagini. La guida è esplicita su un punto che si continua a scrivere lo stesso: specificare noindex nel file robots.txt non è supportato da Google.
Se la pagina è ancora nei risultati, la guida dà tre piste, non una sentenza. Può darsi che Googlebot non sia ripassato da quando la regola è stata aggiunta: a seconda dell’importanza della pagina, possono volerci mesi. Si può chiedere una nuova lettura con lo strumento Controllo URL. Può darsi che robots.txt stia ancora bloccando l’URL, e allora il tag non si vede. Si controlla l’HTML che Googlebot ha ricevuto, sempre col Controllo URL, e il rapporto Indicizzazione delle pagine, dove compaiono le pagine da cui il crawler ha estratto noindex. Per una rimozione rapida la guida rimanda alla documentazione sulle rimozioni: non è questo meta tag.
Immagini e video non sono pagine
Sui file media la stessa introduzione cambia frase: robots.txt si usa per gestire il crawl e anche per impedire che immagini, video e audio compaiano nei risultati di Google. Questo non impedisce ad altre pagine, o a un utente, di linkare il file. Chi applica alla JPG la regola dell’HTML, o all’HTML la regola della JPG, sta leggendo una sezione sola.
Errori da evitare
Mettere
Disallowe aspettarsi che l’URL esca da Google. La guida dice che può restare, senza descrizione.Aggiungere
noindexe lasciare ilDisallowsulla stessa URL. Il crawler non legge la regola che dovrebbe toglierla.Scrivere
Noindex:dentro robots.txt. Google scrive che non è supportato.Usare la stessa riga per una pagina HTML e per un video. Le due sezioni della guida non dicono la stessa cosa.
Concludere che «non è ancora sparita» voglia dire che il tag è sbagliato. La guida mette i mesi tra le cause possibili.
In sintesi
Il 19 ottobre 2026 la documentazione Google tiene separate le due leve. robots.txt decide se il crawler può chiedere l’URL, soprattutto per non sovraccaricare il sito. noindex, nel meta o in X-Robots-Tag, è la regola per uscire dai risultati, e funziona solo se il crawler può leggere la pagina. Un URL bloccato può restare in elenco, senza testo. Un’immagine bloccata, nella stessa guida, è un caso diverso. Non è un rel=sponsored.
Foto di copertina: Markus Petritz, «Backlit laptop keyboard», Wikimedia Commons, CC0. È una tastiera, non un file robots.txt.
