Agent Web Combo

Комбинированный набор инструментов для работы AI-агентов в интернете: поиск и обнаружение + извлечение контента + рендеринг Kitesurf/Playwright + чтение платформы agent-reach.

• Поиск: Tavily / Exa / AnySearch

• Рендеринг: Cloudflare Kitesurf + Playwright (CDP)

• Контент платформ: agent-reach (опционально)

• Способы подключения: CLI и MCP Server

Возможности

• Переключение между несколькими поисковыми источниками: tavily / exa / anysearch

• Извлечение содержимого страниц из результатов поиска

• Рендеринг страниц через Kitesurf, извлечение основного текста, создание скриншотов

• Полный конвейер: поиск → извлечение → рендеринг → скриншот

• MCP Server: прямой вызов из Claude Code / Cursor / OpenCode / DSH Desktop и других

Related MCP server: myscrape

Архитектура

搜索发现：Tavily / Exa / AnySearch
        ↓
内容提取：AnySearch extract / Tavily Extract / Exa Contents
        ↓
需要渲染/截图/JS：Kitesurf + Playwright (connectOverCDP)
        ↓
平台类内容/登录态：agent-reach (可选)

Структура проекта

agent-web-combo/
├── combo/
│   ├── __main__.py       # CLI 入口
│   ├── cli.py            # 命令行
│   ├── config.py         # 环境变量配置
│   ├── search.py         # Tavily / Exa / AnySearch
│   ├── kitesurf.py       # Kitesurf + Playwright
│   ├── agent_reach.py    # agent-reach CLI
│   └── pipeline.py       # 组合流水线
├── combo_mcp.py          # MCP Server 入口
├── requirements.txt
├── pyproject.toml
└── .env.example

Установка

pip install -r requirements.txt
playwright install chromium  # 仅本地调试/备选浏览器时需要；连 Kitesurf 不需要

Конфигурация

cp .env.example .env

Заполните по необходимости:

# Cloudflare / Kitesurf（需要 Browser Run 权限）
CF_ACCOUNT_ID=你的账号ID
CF_API_TOKEN=你的API Token

# 搜索源（至少一个；AnySearch 可不填 Key）
TAVILY_API_KEY=tvly-xxx
EXA_API_KEY=xxx
ANYSEARCH_API_KEY=as_sk_xxx

Файл .env игнорируется через .gitignore, не коммитьте его.

Использование CLI

# 搜索
python -m combo search "Cloudflare Kitesurf" --provider anysearch --max-results 5

# 渲染单个页面 + 截图
python -m combo render "https://example.com" --screenshot output.png

# 完整流水线
python -m combo research "Kitesurf vs Tavily" \
  --provider auto \
  --max-results 5 \
  --extract \
  --render \
  --render-limit 3 \
  --screenshot-dir shots

# 检查 agent-reach
python -m combo agent-reach

Использование MCP

Запуск MCP Server:

python combo_mcp.py

Доступные инструменты:

Конфигурация для каждого клиента — в README.mcp.md.

Примечания по безопасности

• Все API-ключи хранятся только в локальном .env

• .gitignore игнорирует .env, скриншоты и кэш

• В конфигурации MCP не указываются ключи в открытом виде

• Перед публикацией убедитесь, что .env и файлы скриншотов не были закоммичены

Пояснения

• AnySearch работает через HTTP-интерфейс MCP tools/call, доступен анонимно

• Kitesurf подключается через CDP endpoint Cloudflare Browser Run

• Kitesurf сейчас в статусе Beta, подходит для скриншотов, извлечения HTML, операций с DOM и других типовых задач агентов