В понедельник Google представила две вычислительные системы на основе искусственного интеллекта, расширив восьмое поколение своих собственных процессоров: одна модель защищает конфиденциальную информацию во время обработки, а другая способна перемещать больше данных через память. TPU 8tx и TPU 8i Max используют конструкции процессоров, представленных Google в апреле. Согласно Google Cloud , в зависимости от выполняемой задачи, меняется способ упаковки, подключения или защиты чипов.

Анонс от 9 ноября дает клиентам более четкое представление о том, в какой области Google планирует конкурировать со своими тензорными процессорами (TPU). Обе системы делают упор на инференцию — работу, которую модель выполняет после обучения, когда она генерирует ответ или выполняет задачу. Как Reuters , они расширяют возможности, которые Google может предложить клиентам облачных сервисов, выходя за рамки оборудования, которое компания долгое время использовала для собственных сервисов. В анонсе Google не были указаны цены или конкретные даты выпуска ни одной из систем.

Защита данных во время выполнения задачи с использованием ИИ

Процессор 8tx решает проблему для предприятий и государственных учреждений, работающих с конфиденциальной информацией. Шифрование файла при хранении или передаче по сети само по себе не защищает его содержимое во время обработки процессором. Google утверждает, что 8tx добавляет аппаратную защиту на этом этапе. Он сочетает в себе конструкцию чипа TPU 8t с серверными процессорами EPYC пятого поколения от AMD, которые выполняют такие задачи, как подготовка данных и координация работы ускорителей.

AMD заявляет, что система проверяет идентификацию и конфигурацию безопасности ускорителя, прежде чем разрешить ему доступ к защищенной памяти. Компания утверждает, что такая схема защищает запросы, веса модели и промежуточные данные посредством шифрования в памяти хоста и во время передачи, с аппаратной изоляцией во время выполнения рабочей нагрузки ускорителем. Network World сообщило, что Google ориентируется на организации, которые хотят запускать модели на проприетарных или регулируемых данных. Клиентам все равно необходимо будет оценить, какие части их приложений защищены и соответствуют ли эти меры безопасности их собственным требованиям.

В 8tx также используется сеть, которую Google применяет для передачи информации между чипами в TPU 8i. Google заявила, что это изменение может сократить задержку до половины по сравнению с 8t. Это сравнение с другой системой Google, проведенное производителем. Оно не определяет, насколько быстро приложение будет работать на собственных моделях и данных клиента.

Перемещение большего объема информации через память

Процессор 8i Max решает другую проблему: быструю передачу достаточного количества данных на процессоры. Программист, работающий с большим количеством файлов, или система, анализирующая многочасовые видеозаписи, могут обрабатывать гораздо больше материала, чем простой чат-бот. Когда несколько задач выполняются одновременно, они конкурируют за память, необходимую для хранения этого материала, и за пропускную способность, необходимую для его передачи. Google объединил два чипа TPU 8i в одном корпусе, чтобы обеспечить системе большую вычислительную мощность и больше места для передачи данных.

В апрельских спецификациях Google указано, что оригинальный TPU 8i имеет 288 гигабайт высокоскоростной памяти и пропускную способность памяти около 8,6 терабайт в секунду. TechTarget сообщил, что 8i Max может передавать данные со скоростью до 17,2 терабайт в секунду через эту память, что примерно вдвое больше предыдущей цифры. Network World сообщил о 384 гигабайтах высокоскоростной памяти, что примерно на треть больше. Другими словами, более крупная система может передавать данные в два раза быстрее, чем предполагалось ранее, в то время как объем памяти, который она может хранить, увеличивается на меньшую пропорцию. Ни одна из этих цифр сама по себе не говорит о том, насколько быстрее будет отвечать та или иная модель.

Программное обеспечение также влияет на результат

Google выпускает инструмент под названием TPU Sync, который поможет управлять рабочими данными в памяти чипа, памяти сервера и общем хранилище. Например, он позволяет модели сохранять записи о предыдущих этапах разговора или задачи, чтобы она могла вернуться к ним, не повторяя одни и те же вычисления. Network World , программное обеспечение может перемещать рабочие данные с чипа, когда система ИИ приостанавливает работу, а затем восстанавливать их при возобновлении задачи, освобождая тем самым память чипа для другой работы.

Это программное обеспечение является частью более широкой аргументации Google о том, что клиенты должны оценивать всю систему в целом. Процессор может тратить время на ожидание доступа к памяти, к другому чипу или к приложению, которое предоставит следующую инструкцию. Скорость отдельного чипа дает клиентам лишь часть картины. Для длительной задачи полезным сравнением было бы измерение объема работы, выполняемой каждой системой, скорости получения ею полезного результата и стоимости выполнения одной и той же рабочей нагрузки.

Что еще нужно знать клиентам

В результате анонса к уже существующей линейке систем, включающей одну систему для обучения больших моделей и другую, предназначенную для быстрой обработки данных, добавляются две новые опции. Как агентство Reuters . Две новые системы ориентированы на разные задачи, поэтому одни только названия моделей не позволяют покупателям определить, какая из них лучше подходит.

Издание TechTarget сообщило, что Google не предоставила конкретных дат начала продаж или цен ни для одной из систем. Без этой информации и сравнительных тестов на реальных нагрузках покупатели пока не могут оценить стоимость дополнительной пропускной способности памяти или влияние аппаратной изоляции на модели, которые они хотят использовать. В объявлении, сделанном в понедельник, объясняется, для чего Google разработала эти системы; следующий этап — это проверка того, что смогут делать с ними клиенты.