компании Nvidia, SK Telecom и южнокорейский разработчик микросхем Rebellions подписали соглашение о разработке и тестировании системы искусственного интеллекта, использующей два типа чипов для обработки одного запроса. Графические процессоры Nvidia будут выполнять первоначальную обработку запроса, а разрабатываемый Rebellions чип будет генерировать ответ. SK Telecom планирует протестировать объединенную систему в одном из своих центров обработки данных для ИИ.

Этот проект позволит компании Rebellions тестировать своё оборудование в стойке Nvidia, а SK Telecom получит возможность выяснить, может ли распределение различных задач между разными чипами сделать работу сервисов искусственного интеллекта дешевле или эффективнее. Телекоммуникационный оператор описал соглашение о разработке и проверке. Компании пока не опубликовали результаты производительности объединённой системы.

Что компании договорились построить

Соглашение было подписано на мероприятии Nvidia AI Day в Сеуле. Согласно заявлению компании, предлагаемая система позволит интегрировать Rebel R200, нейронный процессор, находящийся в стадии разработки, с оборудованием Nvidia с помощью технологии NVLink Fusion. Эта технология позволяет разработчикам микросхем интегрировать свои собственные процессоры с инфраструктурой стоек Nvidia. Предлагаемая система будет использовать стоечную конструкцию Nvidia MGX для объединения оборудования.

Роль SK Telecom заключается в установке системы в центре обработки данных, ориентированном на искусственный интеллект, и оценке её производительности и стабильности, прежде чем принимать решение о её пригодности для коммерческих услуг. План оператора предусматривает тестирование всей стойки, где чипы и каналы связи между ними должны работать согласованно. Nvidia заявляет, что ожидает готовности систем Rebellions R200 к развертыванию в 2028 году. Это целевой показатель для оборудования, а не подтвержденная дата запуска услуги SK Telecom.

Почему для получения одного ответа требуется два вида работы

Вывод — это работа, которую выполняет модель ИИ после обучения. Для языковой модели первым шагом является обработка пользовательского ввода и любого контекста, который с ним связан. Этот шаг, известный как предварительное заполнение, создает рабочую запись входных данных. Затем модель использует эту запись во время декодирования, когда она генерирует по одному токену за раз. Токенами могут быть слова или части слов. В технической документации к программному обеспечению Nvidia Dynamo объясняется, почему эти шаги предъявляют разные требования к машине.

Обработка длинного запроса может потребовать значительных вычислительных ресурсов за один раз. Во время декодирования модель многократно считывает данные из памяти по мере генерации ответа. Исследователи DistServe, изучавшие разделение этих этапов в системах с графическими процессорами, обнаружили, что распределение их по разным рабочим процессам позволяет избежать прерывания уже генерируемых ответов из-за необходимости чтения новых запросов. В их экспериментах не тестировался чип Rebellions. В рамках проекта в Сеуле предлагается пойти дальше и назначить каждый этап процессору разного типа.

Что может показать тестирование центра обработки данных?

Передача данных между процессорами имеет такое же значение, как и скорость каждого из чипов. В разделенной системе часть, генерирующая ответ, должна иметь доступ к рабочей записи, созданной частью, которая считывала запрос. Как в документации Nvidia , эффективность передачи этой записи влияет на качество работы разделенной системы. Если передача занимает слишком много времени или программные очереди работают неравномерно, преимущество использования отдельного процессора может уменьшиться.

Полезным тестом было бы сравнение времени ожидания пользователями первой части ответа, скорости появления остальной части ответа и количества запросов, которые может обработать стойка, сохраняя при этом заданное время ответа. В исследовании DistServe задержка первого токена и время между последующими токенами измерялись отдельно, поскольку они отражают разные аспекты взаимодействия. Система может хорошо справляться с короткими вопросами и вести себя по-разному, когда одновременно поступает много длинных запросов. Измерения энергопотребления всей стойки также помогли бы показать, сохраняется ли экономия на одном чипе при дополнительной нагрузке, связанной с перемещением данных и загрузкой обоих наборов процессоров.

Почему Южная Корея поддерживает этот проект

Министерство науки Южной Кореи рассматривает это сотрудничество как способ для отечественных разработчиков микросхем продемонстрировать свое оборудование на платформе, используемой на международном уровне, сообщает агентство Yonhap. Министерство заявило, что хочет поддержать аналогичные возможности для других южнокорейских разработчиков. Компания SK Telecom связала эту работу с более широкой инициативой по объединению разработанных на местном уровне моделей и микросхем с имеющимися у нее вычислительными мощностями, в том числе для потенциальных услуг государственного и частного секторов.

Предлагаемый проект предусматривает использование корейского процессора в системе при сохранении графических процессоров Nvidia, разъемов и конструкции стойки. Таким образом, сделка станет проверкой того, насколько отечественные разработчики чипов смогут улучшить свои позиции на существующей платформе. Следующим подтверждением станет то, сможет ли SK Telecom надежно эксплуатировать запланированную систему и обеспечить такое же качество обслуживания при меньших затратах или меньшем энергопотреблении. На данный момент компании объявили о том, как они намерены разделить работу; в совместном заявлении не указаны конкретные показатели экономии.