Компания Modal сообщила в понедельник, 19 октября, о планах внедрения центрального процессора Nvidia Vera в свой сервис песочницы для ИИ после того, как внутренние тесты показали двукратное увеличение производительности по сравнению с аналогичной системой Intel при высокой нагрузке. В отчете компании говорится о расширении за пределы существующей инфраструктуры x86, а не о завершении перехода на использование процессоров во всем парке систем.

Полученные результаты касаются вычислительных сред, в которых агенты ИИ выполняют команды, а не моделей, генерирующих их ответы. Компания Modal сообщила о гораздо менее выраженном преимуществе, когда задачи выполнялись по отдельности на машине, которая в остальном простаивала. Таким образом, ее результаты подтверждают конкретное утверждение об обработке параллельных рабочих нагрузок, а не общий вывод о том, что каждое приложение ИИ будет работать вдвое быстрее.

Почему агентам ИИ требуется нечто большее, чем просто графические процессоры

Агенты искусственного интеллекта поочередно генерируют инструкции и выполняют их. В своем архитектурном анализеNvidia описывает работу ЦП, которая включает в себя выполнение кода, запросы к базам данных, извлечение информации и обработку результатов работы инструментов. Эти операции могут находиться на критическом пути между решениями модели. Более быстрые графические процессоры сами по себе не устраняют задержки в окружающем программном обеспечении.

Практическая задача состоит в том, чтобы совместно использовать сервер, не допуская, чтобы активность одного клиента замедляла работу другого. В документации по ресурсам указано, что в его тестовых средах резервируется минимальный объем вычислительных мощностей, но он может использовать свободные ресурсы сверх этого резерва. Оплата отражает большую из двух величин: запрошенную мощность или фактическое потребление. Такая схема позволяет использовать резервные мощности, но также означает, что предсказуемое поведение при одновременном спросе имеет значение наряду со скоростью работы на пустом сервере.

Что именно измеряет этот эталонный показатель

Компания Modal опубликовала свой тестовый кодпод названием Agentless Agent Bench, сделав методологию доступной для изучения. В репозитории описаны 50 задач, взятых из Terminal-Bench 2.1, которые выполняются с использованием предопределенных решений, а не в ожидании, пока языковая модель определит, что делать. Работа, зависящая от сети, исключена, а контейнеры подготавливаются и прогреваются перед измерением. Задача считается выполненной только после прохождения этапа проверки.

Эта конструкция изолирует производительность вычислительных ресурсов хоста от нескольких других источников задержки. Она измеряет как задержку последовательных задач, так и количество проверенных запусков, выполненных одновременно в течение фиксированного интервала. Она не измеряет, насколько надежно модель ИИ выбирает правильную команду, сколько времени требуется удаленному сервису для ответа или полный опыт запуска новой среды. Эти упущения являются методологическими ограничениями, а не свидетельством того, что исключенные задержки исчезли. В репозитории также представлен тест, который увеличивает доступное количество ЦП при изменении количества одновременно выполняемых задач. Это делает масштабируемость частью опубликованного метода, а не сводит оценку к одному запуску с небольшой нагрузкой.

Память и конфликты формируют результат

Согласно техническим характеристикам продукта, Vera объединяет 88 специализированных ядер Olympus со 176 аппаратными потоками и пропускной способностью памяти до 1,2 терабайт в секунду. Nvidia предлагает его как в качестве хоста для ускоренных вычислений, так и в качестве автономного процессора. Это спецификации производителя; они не гарантируют одинакового повышения производительности для разных пользователей или программного обеспечения.

В техническом объяснении Nvidia подчеркивается устойчивый прогресс, когда множество задач конкурируют за ресурсы. Описывается подход, который распределяет ресурсы между двумя аппаратными потоками для уменьшения помех, а также подсистема памяти, предназначенная для обеспечения активных ядер данными. Modal объясняет более высокие результаты на загруженном сервере именно этой способностью противостоять конкуренции. Это различие имеет важное значение: выполнение большего количества задач на загруженном хосте — это совсем другое достижение, чем сокращение времени выполнения каждой отдельной задачи вдвое.

Независимые испытания также имеют свои ограничения

Предыдущие тесты Phoronix предоставляют отдельную оценку Vera из первых рук, хотя и не являются воспроизведением эксперимента Modal. Рецензент Майкл Ларабель протестировал предсерийное оборудование в офисах Nvidia в мае и сообщил о высоких результатах в выбранных рабочих нагрузках. Его заявление также объясняет, почему этот обзор не может ответить на все вопросы о производственных системах или эксплуатационных расходах. Тестирование проводилось на Ubuntu с пропатченным ядром Linux и определенной конфигурацией компилятора. Ларабель не тестировал установку на разных дистрибутивах Linux, что является еще одной причиной отличать успешную контролируемую демонстрацию от проверки программной среды каждого клиента.

Nvidia ограничила допустимый диапазон бенчмарков и попросила не использовать мониторинг энергопотребления и частоты процессора во время проведения настройки, написал Ларабель. Он охарактеризовал статью как не спонсированную, но условия тестирования все равно были ограничены. Ни этот обзор, ни отчет Modal не предоставляют общего, независимо установленного преимущества в стоимости выполнения задачи для всех развертываний. Для оценки этого вопроса необходимы измерения производительности и энергопотребления, стоимость оборудования и фактически выполняемая рабочая нагрузка, а не только показатель пропускной способности.

План поэтапного внедрения, а не эксклюзивный переход

Генеральный директор Modal Эрик Бернхардссон заявил Reuters , что компания сохранит процессоры Intel и AMD в смешанном парке и будет работать с оборудованием, наиболее подходящим для них. Он также отметил, что сравнение проводилось на уже имеющихся чипах, в то время как более новые конкурирующие процессоры еще предстоит протестировать. Это решение дает Nvidia еще одного клиента на рынке процессоров, не устанавливая при этом, что существующие поставщики были вытеснены.

Компания Modal заявляет, что поддержка процессора, совместимого с Arm, требует изменений в её инфраструктуре и системе сборки образов. В её объявлении выражено намерение масштабироваться совместно с Nvidia и облачными провайдерами, но дата выхода в общий доступ не указана. В ближайшее время планируется расширение аппаратной инфраструктуры, подкреплённое опубликованными результатами тестов. Вопрос о том, получат ли клиенты стабильно более быстрое обслуживание или более низкие счета, остаётся отдельным вопросом развертывания.