Компания Google представила Gemini, новое семейство моделей искусственного интеллекта, предназначенных для обработки текста, изображений, аудио, видео и кода, и немедленно приступает к развертыванию модели Gemini Pro среднего размера в колледже Бард. Компания заявляет, что ее самая большая версия, Gemini Ultra, превосходит современные передовые показатели по 30 из 32 широко используемых академических тестов, хотя эта модель останется на стадии тестирования безопасности и ограниченной оценки до следующего года.

Запуск 6 декабря — это наиболее прямой технический ответ Google на стремительное распространение GPT-4 и ChatGPT от OpenAI. Вместо того чтобы выпускать одну модель для всех задач, Google разработала три версии: Ultra для самых сложных задач, Pro для широкого использования в облачных средах и Nano для эффективных вычислений на устройстве.

Три модели ориентированы на различные вычислительные среды

По данным Google DeepMind, Gemini изначально разрабатывалась как мультимодальная система, а не как текстовая модель с отдельными компонентами, которые будут добавлены позже. Компания утверждает, что такой подход позволяет моделям анализировать комбинации письменного языка, изображений, аудио и видео, а также выполнять задачи программирования. В описании запуска Gemini 1.0 говорится, что она обучалась в больших масштабах на инфраструктуре Tensor Processing Unit (TSP) компании.

Gemini Pro — это версия, доступная большинству пользователей на данный момент. Google разместил специально оптимизированную англоязычную версию в Bard более чем в 170 странах и территориях. Компания заявляет, что обновление улучшает логическое мышление, планирование и понимание. В заявлении Bard говорится, что доступ к Gemini Ultra появится позже в виде более продвинутой версии Bard после дополнительной оценки.

Gemini Nano ориентирован на мобильные устройства. В обновлении Google Pixel говорится, что Pixel 8 Pro использует Nano для таких функций, как суммирование в приложении «Рекордер» и интеллектуальный ответ в Gboard. Запуск некоторых функций генеративного ИИ локально может уменьшить задержку, обеспечить работу в автономном режиме и сохранить часть информации на устройстве, вместо того чтобы отправлять ее в удаленный центр обработки данных.

Google делает амбициозные заявления относительно показателей эффективности

Наиболее поразительной частью объявления является утверждение Google о том, что Gemini Ultra устанавливает новые результаты в широком спектре тестов. Компания заявляет, что Ultra превосходит существующие передовые результаты в 30 из 32 бенчмарков, используемых для больших языковых моделей и мультимодальных систем. Она сообщает о показателе 90% в MMLU, бенчмарке, охватывающем 57 предметов, таких как математика, физика, история, право, медицина и этика.

Эти результаты следует рассматривать как опубликованные компанией результаты сравнительных тестов, а не как данные, полученные в ходе широкого использования. Gemini Ultra пока не доступен для общего пользования, а это значит, что сторонние разработчики и исследователи не могут независимо воспроизвести весь набор заявленных характеристик в обычных условиях. Ars Technica отметила, что Google утверждает, что Ultra превосходит результаты, полученные с помощью GPT-4, по многим параметрам, но также подчеркнула, что сравнительные тесты между проприетарными моделями могут быть чувствительны к запросам, методам оценки и доступу к модели.

The Guardian сообщила, что, по утверждению Google, система Ultra превзошла конкурирующие системы в 30 из 32 проведенных тестов. Компания также признала, что «галлюцинации» — уверенно сгенерированные ложные или неподтвержденные ответы — остаются нерешенной проблемой в исследованиях. Это важное замечание, поскольку высокие показатели в бенчмарках не устраняют ограничения надежности, которые затрагивают все основные системы генеративного ИИ.

Ультрамарафон остается за защитными воротами

Google не планирует выпускать свою самую мощную модель одновременно с запуском. Компания заявляет, что Gemini Ultra проходит внешнее тестирование «красной командой», оценку безопасности, тонкую настройку и обучение на основе отзывов пользователей. Избранные клиенты, разработчики и эксперты получат ранний доступ до более широкого релиза, запланированного на начало 2024 года.

Поэтапный подход отражает растущее внимание к передовым системам искусственного интеллекта. В соответствии с указом президента Джо Байдена от октября, разработчики некоторых высокоэффективных моделей обязаны предоставлять федеральному правительству информацию о тестировании безопасности в определенных условиях. Google заявляет о своем намерении сотрудничать с правительством в вопросах безопасности и также обсуждает оценку с новым Институтом безопасности ИИ в Великобритании.

Согласно заявлению компании, Gemini Pro станет доступен разработчикам и корпоративным клиентам через Google AI Studio и Vertex AI начиная с 13 декабря. Такая стратегия распространения превращает Gemini не просто в обновление потребительского чат-бота, а в платформенную технологию, призванную конкурировать за корпоративное программное обеспечение, облачные вычисления и задачи разработки приложений.

Конкуренция затрагивает весь продуктовый портфель Google

Google обладает необычными преимуществами при распространении новой модели платформы, поскольку контролирует широко используемые потребительские сервисы: Android, Chrome, Поиск и крупную облачную платформу. Компания заявляет, что Gemini в конечном итоге появится в Поиске, Рекламе, Chrome и других продуктах. Согласно материалам Google, ранние эксперименты в Поиске позволили снизить задержку в функции генерации поисковых запросов.

Такой масштаб также повышает ставки. Microsoft интегрировала технологию OpenAI в Bing, GitHub и свое корпоративное программное обеспечение, а OpenAI создала большую базу прямых пользователей через ChatGPT. Google должна показать не только то, что Gemini хорошо работает в контролируемых тестах, но и то, что она может улучшить продукты, используемые миллиардами людей, без создания неприемлемых проблем с надежностью, конфиденциальностью или безопасностью.

Таким образом, первоначальный релиз предполагает двухэтапное тестирование. Gemini Pro и Nano уже сейчас могут собирать данные о реальных условиях эксплуатации с помощью устройств Bard и Pixel. Gemini Ultra, модель, на которую компания делает самые высокие заявления о производительности, должна сначала пройти дополнительную внутреннюю и внешнюю проверку.

Объявление Google подтверждает, что Gemini станет центральной архитектурой искусственного интеллекта компании на будущее. Изменит ли это конкурентный баланс, будет зависеть не столько от одной таблицы результатов тестирования, сколько от того, как три модели будут работать при масштабном использовании разработчиками, предприятиями и потребителями. На этой неделе этот процесс начался для Pro и Nano; наиболее важные утверждения, касающиеся Ultra, еще предстоит проверить за пределами Google.