Gen

Gen - платформа для работы с LLM: сервер, клиентское приложение и сервисы исполнения инструментов образуют единую систему для AI-чатов, управления сессиями, подключения внешних MCP-инструментов и выполнения агентных сценариев.

Раннеры разворачиваются на отдельных серверах и регистрируются в платформе; на каждом узле можно использовать свои модели и так гибко распределять нагрузку.

Что позволяет платформа

• запускать AI-чаты с поддержкой инструментов;
• управлять параметрами сессии и поведением чата;
• подключать внешние MCP-инструменты и серверы;
• выполнять tool/action-вызовы в агентном цикле;
• разделять UI, оркестрацию и выполнение инструментов по независимым компонентам;
• разворачивать клиентское приложение на Linux, Android, iOS, macOS и Windows.

Документация в репозитории

Документ	Содержание
docs/server.md	Сборка и запуск сервера gen
docs/client.md	Сборка Flutter-клиента
docs/llm-runner.md	Сборка и запуск gen-runner
docs/library.md	Использование gen как библиотеки
docs/models-help.md	GGUF, квантование, VRAM

Репозитории

Монорепо gen включает сервер, клиент и раннер.

• gen-mcp-servers - набор MCP-серверов для внешних инструментов

Использование gen как библиотеки

Для своего бэкенда можно подключить модуль github.com/magomedcoder/gen и отдельно запускать gen-runner: инференс в runner, оркестрация tools/MCP/RAG - в gen/pkg/*.

Подробно: docs/library.md.