В четверг компания Meta выпустила первые модели семейства Llama 3, представив версии с 8 и 70 миллиардами параметров, обученные на более чем 15 триллионах токенов, и сразу же включив их в одну из самых быстро развивающихся гонок в технологической индустрии: гонку за то, чтобы сделать все более совершенные генеративные искусственные интеллекты широко доступными для разработчиков и потребителей. В техническом заявлении говорится, что две первоначальные модели доступны в предварительно обученном и настроенном по инструкциям виде, в то время как гораздо более крупная модель с более чем 400 миллиардами параметров все еще находится в процессе обучения.
Этот релиз имеет важное значение, поскольку Meta одновременно использует два пути распространения. Компания предоставляет Llama 3 разработчикам по лицензии сообщества, а также использует его для создания более функционального голосового помощника Meta AI в Facebook, Instagram, WhatsApp, Messenger и в отдельном веб-приложении. В объявлении Meta от 18 апреля говорится, что помощник расширяется за пределы США и охватывает более десятка стран, внедряя Llama 3 в потребительские продукты с миллиардами существующих пользователей.
Два размера модели, один гораздо больший обучающий набор
Первоначальная версия Llama 3 включает модели 8B и 70B, каждая из которых предлагается в базовом варианте и варианте, оптимизированном под инструкции. Официальная карта модели 8B описывает авторегрессивный трансформер, обученный на новой смеси общедоступных онлайн-данных с контекстной длиной 8000 токенов и более чем 15 триллионами токенов предварительного обучения. Модель 70B использует ту же общую архитектуру, но с контролируемой тонкой настройкой и обучением с подкреплением на основе обратной связи от пользователей, применяемыми к оптимизированной версии.
Компания Meta утверждает, что корпус для предварительного обучения более чем в семь раз больше, чем тот, что использовался для Llama 2, и содержит в четыре раза больше кода. Компания также представила токенизатор со словарем из 128 000 токенов, предназначенный для более эффективного кодирования языка, и обучила модели на двух специально созданных кластерах с 24 000 графическими процессорами. Эти инженерные решения имеют значение, поскольку качество модели зависит не только от количества параметров, но и от объема и состава обучающих данных, токенизации, методов постобучения и инфраструктуры, доступной для проведения масштабных экспериментов.
Независимые дистрибьюторы действовали оперативно. В одновременном запуске сообщалось, что все четыре основных варианта — две базовые модели и две модели с улучшенными настройками — были доступны через центр поддержки моделей в день релиза, наряду с Llama Guard 2. Amazon Web Services также предоставила доступ к Llama 3 через SageMaker JumpStart 18 апреля, при этом в объявлении AWS указывалась первоначальная доступность в США, Европе и Азии.
Компания Meta превращает своего ИИ-помощника в механизм распространения контента
Потребительская стратегия может быть столь же важна, как и сам выпуск модели. Meta AI интегрируется непосредственно в поисковые строки, чаты и ленты новостей в крупнейших приложениях компании. Пользователи могут вызывать ассистента, не выходя из WhatsApp или Messenger, задавать вопросы во время просмотра Facebook или Instagram и создавать изображения с помощью функции Meta Imagine. Компания также запускает веб-версию Meta AI, предоставляя ей прямой интерфейс, более сопоставимый с автономными ассистентами от других компаний, занимающихся искусственным интеллектом.
Такая схема распространения дает Meta необычное преимущество: ей не нужно убеждать пользователей устанавливать новое приложение, прежде чем познакомить их с моделью. Вместо этого Llama 3 может интегрироваться в сервисы, которыми люди уже пользуются. Meta заявляет, что помощник будет предоставлять информацию в режиме реального времени из интернета и первоначально будет доступен на английском языке на таких рынках, как Австралия, Канада, Гана, Ямайка, Малави, Новая Зеландия, Нигерия, Пакистан, Сингапур, Южная Африка, Уганда, Замбия и Зимбабве.
Такой подход также создает обратную связь между стратегиями Meta для разработчиков и потребителей. Разработчики могут адаптировать базовые модели для своих собственных приложений, в то время как Meta может использовать то же семейство моделей в огромных масштабах для потребителей. Это контрастирует с чисто проприетарной стратегией использования моделей, при которой доступ ограничен в основном собственным приложением или API поставщика.
Средства обеспечения безопасности становятся частью пакета выпуска
Компания Meta дополняет новые модели дополнительными инструментами обеспечения безопасности. В описании ответственного релиза подробно изложены шаги, предпринятые перед запуском, и особое внимание уделяется ресурсам для разработчиков, направленным на снижение количества небезопасных вариантов использования. Технический релиз Llama 3 представляет Llama Guard 2, Code Shield и CyberSec Eval 2 — инструменты, предназначенные соответственно для классификации небезопасного контента, выявления небезопасного кода и оценки рисков кибербезопасности.
В описаниях моделей компании также указаны ограничения, которые разработчики должны учитывать. Апрельский релиз в основном предназначен для англоязычного текста, и модели имеют фиксированные сроки освоения знаний — март 2023 года для версии 8B и декабрь 2023 года для версии 70B. Как и другие крупные языковые модели, они могут выдавать некорректные или вводящие в заблуждение результаты, и разработчики, работающие с ними, по-прежнему несут ответственность за тестирование поведения в конкретных средах, где они их развертывают.
Модель лицензирования широка, но не является безграничной. Лицензия сообщества Llama 3 от Meta разрешает коммерческое и исследовательское использование при определенных условиях, одновременно налагая дополнительные требования на очень крупные платформы и запрещая использование, нарушающее политику допустимого использования компании. Такая структура продолжает стремление Meta позиционировать Llama как широко доступную платформу, не передавая при этом ее основные функции в общественное достояние.
В конкурентном вопросе акцент смещается с доступности на производительность
Компания Meta утверждает, что оптимизированные для конкретных инструкций версии конкурентоспособны по сравнению с ведущими общедоступными моделями на распространенных тестах производительности для рассуждений, программирования и выполнения инструкций. Результаты тестов являются полезными, но неполными показателями реальной производительности, особенно потому, что практические системы зависят от поиска информации, подсказок, тонкой настройки, задержки, стоимости и контроля безопасности, а также от оценок модели.
Тем не менее, сочетание доступности и распространения моделей меняет конкурентную среду. Разработчики могут загружать или развертывать Llama 3 через нескольких поставщиков инфраструктуры, а не зависеть от единого размещенного API. Поддержка SageMaker от AWS в тот же день и интеграция Hugging Face при запуске сокращают объем работы, необходимой для тестирования моделей. Meta заявляет, что планируется расширение доступности через Microsoft Azure, Google Cloud, Databricks, IBM Watsonx, NVIDIA NIM, Snowflake и других партнеров.
Более важный вопрос заключается в том, что последует за релизами 8B и 70B. Meta заявляет, что модель, насчитывающая более 400 миллиардов параметров, все еще находится в процессе обучения, и что первый релиз Llama 3 — это только начало семейства. По состоянию на субботу, ощутимый прогресс уже значителен: Meta выпустила две новые модели, открыла к ним доступ широкой экосистеме разработчиков и одновременно разместила Llama 3 в качестве вспомогательного ИИ-помощника, встроенного во все потребительские платформы. На следующем этапе будет проверено, сможет ли такое сочетание открытого распространения, крупномасштабного развертывания и быстрой итерации модели обеспечить устойчивое преимущество в генеративном ИИ.