Tag: robots.txt

1 articolo

Google-Extended non è GPTBot

Google-Extended è un token di robots.txt, senza user agent proprio. Non toglie il sito da Google Search. GPTBot è il crawler di OpenAI per l’addestram...