Claude y Claude Code no rastrean la web de la misma forma

Anthropic no opera un rastreador, opera varios, y cada uno cumple una función distinta: ClaudeBot recopila contenido, Claude-User pide páginas cuando alguien lo solicita dentro de una conversación y Claude-SearchBot alimenta el índice de búsqueda. Si en los logs del servidor agrupas todo eso bajo la etiqueta Claude, estás mezclando comportamientos que no se parecen en frecuencia, en volumen ni en intención.

Search Engine Journal publicó este lunes un análisis con datos sobre esas diferencias que llega a una conclusión incómoda para quien gestiona sitios: el Claude conversacional y Claude Code no llegan a la web por el mismo camino, así que las reglas que escribes pensando en uno no describen lo que hace el otro.

Dos clientes, dos rutas

La diferencia empieza en el objetivo. El Claude de chat busca para responder: pasa por una capa de búsqueda, recibe resultados y luego recupera las páginas que necesita. Claude Code casi no busca, va a por una URL concreta porque alguien pegó un enlace de documentación o porque el agente encontró la referencia en el código.

La recuperación tampoco es igual. La herramienta WebFetch de Claude Code convierte la página a markdown, cachea el resultado quince minutos por URL, fuerza HTTPS y no sigue redirecciones a otro host: las devuelve al modelo para que decida. Falla en URLs autenticadas. Son detalles pequeños que explican bastantes rarezas vistas desde el lado del servidor.

El volumen también se comporta distinto. La caché de quince minutos limita las repeticiones inmediatas, pero una sesión larga de desarrollo contra la misma documentación deja un patrón de ráfagas contra rutas técnicas que no se parece a la visita suelta que genera una búsqueda conversacional sobre una página de producto o de precios.

Por qué importa si tienes una web

Primero, por robots.txt. Una regla genérica contra Claude no distingue entre entrenamiento, indexación y recuperación a petición de un usuario, y esas tres cosas tienen consecuencias comerciales distintas. Bloquear el rastreo de entrenamiento es una decisión legítima; bloquear también la recuperación bajo demanda significa desaparecer de las respuestas cuando alguien pregunta por tu producto con tu nombre delante.

Segundo, por el WAF. Muchas reglas de bot management de Cloudflare y de otros proveedores actúan por reputación del user agent, no por la política que tú escribiste. Es habitual encontrar sitios que creen permitir el acceso y devuelven 403 a la mitad de los agentes.

Tercero, por el renderizado. Si la conversión a markdown es el primer paso, todo lo que se pinta en cliente con JavaScript no existe. Una web con el contenido detrás de la hidratación puede verse perfecta en un navegador y devolver una página casi vacía a un agente. Esto no es nuevo en SEO, pero con agentes duele más rápido porque no hay una segunda pasada de renderizado.

Qué haríamos con esto

1. Separar los user agents en el análisis de logs. ClaudeBot, Claude-User y Claude-SearchBot en columnas distintas, no en un único cubo.
2. Decidir por agente y no en bloque, y escribirlo en robots.txt con reglas explícitas por user agent.
3. Comprobar la respuesta real con curl cambiando el user agent, antes de dar por buena la configuración.
4. Servir el contenido crítico desde servidor. Si depende de la hidratación, para un agente no está.
5. Vigilar las cadenas de redirección en URLs canónicas. Cada salto cruzado cuesta un turno de agente y algunos no lo dan.

Para quién es útil

Para equipos de SEO y GEO que intentan medir presencia en respuestas de IA y siguen usando un solo cubo para todo el tráfico de Anthropic. Y para quien monta agentes: entender cómo recupera Claude Code explica por qué una documentación se lee perfecta y otra vuelve vacía.

El fondo del asunto es que tráfico de IA ya no es una categoría útil. Dentro hay entrenamiento, indexación, respuesta en directo y agentes de desarrollo, y cada uno merece una política propia. Nos parece buen momento para revisar el robots.txt con calma, antes de que la decisión la acabe tomando un plugin por defecto.