NVIDIA Personal AI Router

17 Жовтня, 2026 0

NVIDIA Personal AI Router (PAIR) – бесплатная программа с открытым исходным кодом, которая распределяет запросы к локальным моделям искусственного интеллекта между несколькими компьютерами в одной сети. Она находит доступные устройства, проверяет, какие модели и движки вывода на них запущены, и отправляет каждый запрос на наиболее подходящий узел с учётом ресурсов и текущей загрузки.

NVIDIA Personal AI Router рассчитан на одновременную работу с несколькими независимыми задачами искусственного интеллекта. Его можно применять при запуске многоагентных приложений, где разные агенты обращаются к языковым моделям. Программа предоставляет локальные API-интерфейсы, совместимые с OpenAI и Ollama, а также поддерживает Anthropic Messages API через совместимые движки. Во время локальной настройке все запросы и ответы могут оставаться в пределах сети.

NVIDIA Personal AI Router работает с Ollama, LM Studio и llama.cpp. В один кластер можно объединять компьютеры под Microsoft Windows 11, macOS и Linux, даже если они работают на разных операционных системах. Вероятность запуска конкретной модели зависит от совместимости движка, характеристик оборудования, драйверов и объёма свободной памяти.

Программа распределяет отдельные запросы между машинами, но не объединяет их видеопамять и не делит выполнение одной модели между несколькими узлами. Поэтому NVIDIA Personal AI Router особенно полезен для увеличения пропускной способности при одновременной обработке задач.

Основные возможности NVIDIA Personal AI Router

Обнаружение компьютеров в локальной сети и их объединение в кластер;
Автоматическая маршрутизация запросов с учётом доступности движка, модели и текущей нагрузки;
Поддержка Ollama, LM Studio и llama.cpp для запуска локальных языковых моделей;
API, совместимые с OpenAI и Ollama, а также Anthropic Messages API через поддерживаемые движки;
Подключение новых узлов с помощью PIN-кода;
Совместная работа устройств под управлением Microsoft Windows 11, macOS и Linux;
Мониторинг состояния узлов, использования графического процессора и памяти;
Возможность задействовать свободные ресурсы нескольких компьютеров для независимых запросов искусственного интеллекта;
Поддержка локальной инфраструктуры без обязательного обращения к облачным сервисам.

Примечание

NVIDIA Personal AI Router не выполняет объединение нескольких видеокарт в единый виртуальный ускоритель и не осуществляет суммирование их видеопамяти. Также одна модель не распределяется между несколькими компьютерами, а один запрос не исполняется параллельно на нескольких графических процессорах. Каждый независимый запрос целиком маршрутизируется на один соответствующий компьютер.