Google сохраняет возможность Gemini генерировать изображения людей в автономном режиме после недели критики по поводу исторически неточных и предвзятых результатов, превращая провал в качестве продукта в более широкое испытание того, насколько быстро крупные технологические компании могут внедрять генеративный ИИ, не теряя контроля над системами безопасности, наложенными на их модели. Генеральный директор Сундар Пичаи заявил сотрудникам во вторник, что некоторые ответы Gemini были «совершенно неприемлемыми», и сказал, что компания внесет структурные изменения, прежде чем восстановить эту функцию.

Скандал начался после того, как пользователи опубликовали примеры, в которых Gemini создавала неправдоподобные изображения людей разных рас и полов в ответ на исторические задания. Google признал проблему и приостановил генерацию изображений людей 22 февраля. В подробном объяснении компаниистарший вице-президент Google Прабхакар Рагхаван заявил, что система чрезмерно учитывала разнообразие в некоторых заданиях, проявляя излишнюю осторожность в других.

Корректировка безопасности привела к нарушению исторической точности

Системы генерации изображений обычно настраиваются на уменьшение количества стереотипных или дискриминационных результатов. В Google заявили, что меры предосторожности Gemini были призваны избежать повторения предвзятости, которая проявлялась в более ранних системах генерации изображений, но реализация привела к противоположному результату в некоторых исторических контекстах. Модель генерировала людей, которые не соответствовали периоду или заданию, а в других случаях отказывалась от безобидных просьб.

Агентство Associated Press сообщило, что Google временно приостановила работу этой функции после того, как примеры её использования широко распространились в интернете. Компания заявила, что улучшит точность, прежде чем снова включить генерацию изображений людей. Это решение важно, поскольку Gemini — это не экспериментальная исследовательская демонстрация; Google позиционирует её как ориентированный на потребителя интерфейс для своих важнейших продуктов на основе генеративного искусственного интеллекта.

В сообщении Reuters, перепечатанном Yahoo Finance, отмечалось, что приостановка произошла всего через несколько недель после того, как Google начал предлагать генерацию изображений через Gemini, и вскоре после того, как Bard был переименован в Gemini. Такой сжатый временной промежуток иллюстрирует конкурентное давление, с которым сталкивается Google, соревнуясь с Microsoft и OpenAI в области потребительских помощников, корпоративного ИИ и платформ для разработчиков.

Пичай обещает изменения в процессах запуска и оценки

Во внутренней служебной записке, опубликованной Semafor, Пичай заявил, что проблемные текстовые и графические ответы оскорбили пользователей и продемонстрировали предвзятость. Он сказал, что команды «работают круглосуточно», и изложил ряд действий, включающих структурные изменения, обновленные руководства по продукту, улучшенные процессы запуска, более строгие оценки, расширенное тестирование на проникновение и технические рекомендации.

Этот список важен, потому что он показывает, что инцидент представляет собой нечто большее, чем просто дефект модели изображения. Пичай намекает, что сбой может быть связан с тем, как Google преобразует возможности модели в потребительские продукты: интерпретация подсказок, уровни политик, фильтры безопасности, охват тестирования и управление выпуском. Другими словами, исправление результата может потребовать изменения процесса, который позволил этому результату попасть в производство.

Компания не назвала точную дату восстановления функции генерации изображений людей. Пичай отметил, что Google ожидает улучшений в ближайшие недели, но по состоянию на субботу эта функция остается отключенной. Это существенное отступление для компании, которая в феврале ускорила публичный запуск Gemini.

Эта пауза связана с необычайно агрессивным расширением компании Gemini

8 февраля Google официально заменила название Bard на Gemini и представила Gemini Advanced, работающую на базе Ultra 1.0, а также специальное приложение для Android. В этом анонсеПичай описал Gemini как экосистему, охватывающую потребительские продукты, API, облачные сервисы и инструменты для разработчиков, а не как одного единственного чат-бота.

Неделю спустя Google анонсировала Gemini 1.5, представив контекстное окно, способное обрабатывать до 1 миллиона токенов в ограниченном предварительном режиме и обрабатывать длинные документы, видео, аудио и большие кодовые базы. Эти технические достижения демонстрируют, что базовая стратегия развития продукта продолжается, даже несмотря на приостановку работы одной из видимых функций для потребителей.

В индустрии искусственного интеллекта нарастает напряженность: возможности моделей быстро развиваются, в то время как механизмы защиты продуктов по-прежнему сложно калибровать. Система может быть более эффективна в рассуждениях, программировании или многомодальном анализе, но при этом давать сбои, поскольку настройка политики или меры безопасности искажают конкретные результаты.

Доверие становится требованием к продукту, а не вопросом коммуникации

Проблема Google особенно деликатна, поскольку основной бизнес компании основан на поиске информации и доверии пользователей. Gemini интегрируется в продукты, которые в конечном итоге могут повлиять на поиск, производительность, рекламу и мобильные вычисления. Если пользователи сочтут систему политически или культурно предвзятой, или просто ненадежной в отношении основных исторических вопросов, проблема может выйти за рамки одной функции обработки изображений.

В собственном объяснении компании признается, что генеративный ИИ будет продолжать совершать ошибки. Рагхаван написал, что галлюцинации и несовершенные результаты остаются известными проблемами, и предостерег пользователей от того, чтобы полагаться на Gemini в отношении постоянно меняющихся новостей или деликатных тем без проверки. Это признание реалистично, но оно также подчеркивает разрыв между вероятностной природой технологии и ожиданиями, предъявляемыми к информационному продукту под брендом Google.

Непосредственная инженерная задача — восстановить генерацию изображений людей, не воспроизводя стереотипы и не создавая неправдоподобных исторических сцен. Более масштабная задача сложнее: разработать процесс выпуска, который сможет обнаруживать, когда благие намерения по обеспечению безопасности приводят к искажению другого рода. Поскольку Google продолжает расширять Gemini на весь свой продуктовый портфель, пауза на этой неделе напоминает о том, что конкурентная борьба касается не только более крупных моделей и более длительных контекстных окон. Речь также идет о том, смогут ли компании заставить эти системы вести себя достаточно предсказуемо, чтобы заслужить доверие, необходимое для массового использования.