Puppeteer vision MCP сервер

MCP сервер для парсинга веб-страниц и конвертации их в markdown с использованием Puppeteer и AI-взаимодействием для автоматической обработки cookie, капчи, paywalls и других интерактивных элементов.

Установка

NPX

npx -y puppeteer-vision-mcp-server

Из исходного кода

git clone https://github.com/djannot/puppeteer-vision-mcp.git
cd puppeteer-vision-mcp
npm install
npm run build
npm start

Конфигурация

Интеграция с MCP Tool

{
  "mcpServers": {
    "web-scraper": {
      "command": "npx",
      "args": ["-y", "puppeteer-vision-mcp-server"],
      "env": {
        "OPENAI_API_KEY": "YOUR_OPENAI_API_KEY_HERE",
        // Optional:
        // "VISION_MODEL": "gpt-4.1",
        // "API_BASE_URL": "https://api.example.com/v1",
        // "TRANSPORT_TYPE": "stdio",
        // "DISABLE_HEADLESS": "true"
      }
    }
  }
}

Доступные инструменты

Возможности

• Парсинг веб-страниц с использованием Puppeteer в stealth режиме
• AI-взаимодействие для обработки баннеров согласия на cookie, CAPTCHA, paywalls и других блокирующих элементов
• Извлечение основного контента с помощью Mozilla's Readability
• Конвертация HTML в хорошо отформатированный Markdown
• Специальная обработка блоков кода, таблиц и структурированного контента
• Множественные режимы транспорта: stdio, SSE и HTTP
• Опция просмотра взаимодействия с браузером в реальном времени
• Настраиваемые модели машинного зрения и API эндпоинты

Переменные окружения

Обязательные

• OPENAI_API_KEY - Ваш API ключ для доступа к модели машинного зрения

Опциональные

• VISION_MODEL - Модель для анализа изображений (по умолчанию: gpt-4.1)
• API_BASE_URL - Пользовательский URL API эндпоинта для альтернативных OpenAI-совместимых провайдеров
• TRANSPORT_TYPE - Протокол транспорта: stdio (по умолчанию), sse или http
• PORT - Порт для HTTP сервера в режиме SSE или HTTP (по умолчанию: 3001)
• DISABLE_HEADLESS - Установите в true для запуска браузера в видимом режиме для отладки

Примеры использования

Парсинг веб-страницы и конвертация в markdown

Извлечение контента с сайтов с баннерами согласия на cookie

Обход paywalls и интерактивных элементов для получения чистого контента

Конвертация сложных веб-страниц с таблицами и блоками кода в структурированный markdown

Ресурсы

• GitHub Repository

Примечания

Сервер поддерживает три режима коммуникации (stdio, SSE, HTTP) и может автоматически обрабатывать различные препятствия веб-страниц, такие как CAPTCHA, уведомления о подписке и проверку возраста. Он использует настраиваемые модели машинного зрения для интеллектуального взаимодействия со страницей и предоставляет структурированные ответы с метаданными о процессе парсинга.