HyperCrawl

Motor de automatización web autohospedado y consciente de cookies. Convierte cualquier sitio web en herramientas MCP invocables (basadas en selectores DOM), las ejecuta en modo headless con sigilo en nuestros propios servidores y extrae cookies de autenticación en vivo bajo demanda desde un navegador real con sesión iniciada. Herramienta interna de NEB: funciona junto con Apify.

Estado: en producción en la VM de GCE hypercrawl-vm (Caddy auto-TLS + puerta de Firebase-Auth, hypercrawl.service). Capacidades: la escalera de capacidades acquire() (hypercrawl_acquire — replay/hidratación de API → herramienta aprendida → agente DOM → conjunto de marcas → visión → especialista), descubrimiento multipágina (hypercrawl_map, hypercrawl_crawl_site), seguimiento de cambios entre rastreos (previousHashes sin estado o flujos track con respaldo en BD, ambas intenciones), búsqueda web (hypercrawl_search), además de transporte HTTP MCP, ProxyPool y el adaptador de respaldo de Apify. Consulta docs/USAGE.md (herramientas) y deploy/gcp/README.md (despliegue/actualización — incluye los pasos necesarios de npm install + npx playwright install).

Sesiones de navegador

Más allá de la adquisición de una sola vez, HyperCrawl expone una superficie de navegador con estado: 15 herramientas MCP hypercrawl_browser_* que manejan una única página activa a lo largo de muchas llamadas, por lo que un agente puede leer una página, hacer clic en ella, rellenar un formulario y enviarlo; cada paso aterriza en la misma pestaña. hypercrawl_browser_open devuelve un sessionId que todas las demás herramientas reciben.

Las sesiones son un recurso limitado: cada una fija un contexto real de Chromium, por lo que el servidor limita la concurrencia (HYPERCRAWL_MAX_SESSIONS, por defecto 4) y elimina las sesiones inactivas después de cinco minutos. Cierra la tuya cuando termines. Un sessionId desconocido es un error rotundo, nunca una página nueva en silencio.

Junto a ellas: hypercrawl_analyze / hypercrawl_quality (estructura de la página, y si los selectores de una plantilla almacenada siguen resolviéndose en la página activa — la señal de que un rediseño la rompió), hypercrawl_auth_save / _auth_list, y hypercrawl_metrics / _events / _speed / _setup para la observabilidad dentro del proceso. Referencia de herramientas y todas las variables de entorno: docs/USAGE.md.

Dos capacidades solo se conectan cuando el servidor se inicia mediante hypercrawl serve — el par de autenticación y hypercrawl_setup — porque sus implementaciones residen en el paquete CLI. Cuando no están conectadas, lo indican en lugar de devolver un resultado vacío que se leería como «nada configurado».

Related MCP server: OmniMCP

Despliegue en GCP

Para ejecutar el motor completo (incluido el scraping con extracción de cookies autenticadas) en una VM de GCE dedicada con Caddy auto-TLS y una puerta de token de Firebase Auth, usa los scripts de aprovisionamiento idempotentes y el runbook de operador en deploy/gcp/README.md. Diseño: docs/superpowers/specs/2026-05-29-hypercrawl-gcp-deploy-design.md.