Patronus AI MCP сервер

Реализация MCP сервера для Patronus SDK, предоставляющая стандартизированный интерфейс для запуска мощных оптимизаций, оценок и экспериментов с LLM системами.

Установка

Из исходного кода

git clone https://github.com/yourusername/patronus-mcp-server.git
cd patronus-mcp-server
python -m venv .venv
source .venv/bin/activate
uv pip install -e .
uv pip install -e ".[dev]"

Командная строка

python src/patronus_mcp/server.py --api-key your_api_key_here

Переменная окружения

export PATRONUS_API_KEY=your_api_key_here
python src/patronus_mcp/server.py

Доступные инструменты

Инструмент	Описание
`initialize`	Инициализация Patronus с API ключом и настройками проекта
`evaluate`	Запуск отдельных оценок с настраиваемыми эвалюаторами
`batch_evaluate`	Запуск пакетных оценок с несколькими эвалюаторами
`run_experiment`	Запуск экспериментов с наборами данных
`list_evaluator_info`	Получение полного обзора всех доступных эвалюаторов и связанных с ними критериев
`create_criteria`	Создание новых критериев эвалюатора в Patronus API
`custom_evaluate`	Оценка выходных данных задачи с использованием кастомной функции эвалюатора, декорированной @evaluator

Возможности

Инициализация Patronus с API ключом и настройками проекта
Запуск отдельных оценок с настраиваемыми эвалюаторами
Запуск пакетных оценок с несколькими эвалюаторами
Запуск экспериментов с наборами данных
Кастомные функции эвалюаторов с декоратором @evaluator
Возможности интерактивного тестирования
Полная информация об эвалюаторах и критериях

Переменные окружения

Обязательные

PATRONUS_API_KEY - API ключ для аутентификации в сервисе Patronus

Примеры использования

Оценка, содержит ли выходные данные модели галлюцинации

Запуск пакетных оценок для проверки краткости ответов

Создание экспериментов для тестирования выходных данных модели с наборами данных

Вывод списка всех доступных эвалюаторов и их критериев

Создание кастомных критериев оценки для конкретных случаев использования

Ресурсы

GitHub Repository

Примечания

Сервер поддерживает как ввод API ключа через командную строку, так и конфигурацию через переменные окружения. Включает скрипт для интерактивного тестирования и полные рекомендации по разработке для добавления новых функций.