Una plantilla sustituye los grupos de abajo; tus sitemaps se mantienen.
*
Un Disallow vacío no bloquea nada: estos rastreadores pueden recorrerlo todo.
Opcional: segundos entre peticiones. Google lo ignora; Bing lo respeta.
Todavía no hay sitemap. Añadir su URL completa ayuda a los rastreadores a encontrar todas las páginas.
User-agent: * Disallow:
robots.txt controla el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo en Google si otras páginas la enlazan. Para sacar una página de los resultados, deja que se rastree y añade una etiqueta noindex.
Todo se hace en tu navegador: nada de lo que escribes se envía a Tooly.
Integra esta herramienta en tu web
Gratis y sin cuenta: copia el código y pégalo en tu web, tu blog o tu documentación.
Sobre el generador de robots.txt y .htaccess
Escribe un robots.txt sin memorizar su sintaxis. Empieza con una plantilla, como bloquear los rastreadores que recogen páginas para modelos de IA, añade reglas para cada agente de usuario y tu sitemap, y el archivo se actualiza mientras editas. Después prueba cualquier URL contra él, tal como lo lee Google. Una segunda pestaña crea las reglas .htaccess que necesitan la mayoría de las webs en Apache. Todo se hace en tu navegador.
Cómo usar el generador de robots.txt y .htaccess
-
Empieza con una plantilla
Elige Permitir todo, Bloquear todo, Bloquear bots de IA o WordPress, o En blanco para empezar de cero. Una plantilla sustituye los grupos y mantiene los sitemaps que hayas añadido.
-
Edita los grupos y prueba
Añade agentes de usuario y reglas Allow o Disallow a cada grupo, y la URL de tu sitemap. Después escribe una ruta o una URL en Probar una URL y elige un rastreador para ver si está permitida y qué regla lo decide.
-
Copia o descarga
Copia el robots.txt o descárgalo y súbelo a la raíz de tu dominio, para que responda en example.com/robots.txt. Para Apache, abre la pestaña .htaccess, marca las reglas que necesites y descarga también ese archivo.
Casos de uso
Excluirte de los rastreadores de IA
Bloquea GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot y otros rastreadores de IA con un clic, mientras Googlebot y Bingbot siguen rastreando la web para los buscadores.
Averiguar por qué no se rastrea una página
Pega el robots.txt de una web en el probador y comprueba una URL con Googlebot para ver si una regla Disallow la bloquea, y cuál.
Mover una web en un hosting con Apache
Genera las redirecciones 301 de las URL antiguas a las nuevas, fuerza HTTPS y elige con o sin www en un solo archivo .htaccess para un hosting compartido.
Preguntas frecuentes
¿Bloquear una página en robots.txt la quita de Google?
No. robots.txt controla el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo en los resultados, sin descripción, si otras páginas la enlazan. Para sacar una página de Google, deja que se rastree y añade una etiqueta meta noindex o una cabecera X-Robots-Tag, o elimina la página para que responda 404 o 410.
¿Qué rastreadores incluye Bloquear bots de IA?
GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, anthropic-ai, Claude-Web, Google-Extended, CCBot, PerplexityBot, Bytespider, Amazonbot, Applebot-Extended, meta-externalagent y cohere-ai, y deja permitidos a todos los demás. Google-Extended y Applebot-Extended solo deciden si Google y Apple usan tus páginas para sus modelos de IA; Googlebot y Applebot siguen rastreando para los buscadores. Bloquear OAI-SearchBot también deja tus páginas fuera de las respuestas de búsqueda de ChatGPT. Respetar robots.txt es voluntario, así que no puede frenar a un rastreador que lo ignora.
¿Cómo decide el probador si una URL está permitida?
Como Google: toma el grupo que nombra al rastreador, o el grupo de * si ninguno lo nombra, y después la regla cuya ruta coincide en más caracteres. Si un Allow y un Disallow coinciden con la misma longitud, gana Allow. En las rutas, * equivale a cualquier serie de caracteres y $ marca el final de la URL. Otros rastreadores pueden interpretar distinto los casos raros.
¿Google respeta Crawl-delay?
No. Googlebot ignora Crawl-delay y ajusta su ritmo de rastreo según lo rápido que responde tu servidor. Bing sí lo respeta, como los segundos que espera entre peticiones. Déjalo vacío salvo que un rastreador que lo respeta esté sobrecargando tu servidor.
¿Funcionará el archivo .htaccess en mi hosting?
Solo en Apache, y en LiteSpeed, que lee el mismo archivo. Nginx, IIS, Cloudflare Pages, Netlify y Vercel ignoran .htaccess y configuran las redirecciones en otro sitio. Cada bloque que necesita un módulo de Apache va dentro de <IfModule>, así que si falta el módulo se salta el bloque en vez de romper la web, pero guarda una copia de tu archivo actual antes de sustituirlo.
Herramientas relacionadas
Explora todas las herramientas online gratis de Tooly: todas funcionan en tu navegador y ninguna necesita cuenta.