Informazioni
Crea un file robots.txt pulito per motori di ricerca, crawler AI e flussi di lavoro SEO tecnici
Cosa fa robots.txt
Un file robots.txt indica ai crawler quali parti di un sito devono visitare, saltare o trattare con regole speciali prima di iniziare a recuperare le pagine.
Come aiuta questo generatore
Questo strumento ti consente di scegliere una politica di scansione predefinita, aggiungere percorsi espliciti di autorizzazione e divieto, impostare un ritardo di scansione opzionale e aggiungere direttive sitemap o host senza scrivere il file a mano.
Casi d'uso comuni
- Blocca aree amministrative, pagine di ricerca, filtri o strumenti interni dall'accesso ampio dei crawler.
- Consenti a una sezione del sito privata per impostazione predefinita di esporre solo alcuni percorsi pubblici.
- Pubblica la posizione principale della sitemap in modo che i motori di ricerca possano scoprire URL freschi più velocemente.
- Crea un modello di robots.txt di partenza per staging, migrazioni e checklist di lancio.
Migliori pratiche e limitazioni
Robots.txt è una direttiva di scansione, non un sistema di controllo accessi, quindi i contenuti sensibili devono comunque essere protetti con autenticazione o altre restrizioni lato server.
Diversi crawler supportano direttive diverse. Ad esempio, la direttiva host non è universale e il ritardo di scansione potrebbe essere ignorato da alcuni bot, quindi valida sempre le tue regole finali contro i crawler che ti interessano.