18 октября исследователи Стэнфордского университета опубликовали исследование, которое показало, насколько глубокой и потенциально опасной может быть тайна, окружающая GPT-4 и другие передовые системы ИИ.

Они изучили 10 различных систем ИИ, большинство из которых были большими языковыми моделями, такими как те, которые используются в ChatGPT и других чат-ботах. В число этих моделей входят широко используемые коммерческие модели, такие как GPT-4 от OpenAI, PaLM 2 от Google и Titan Text от Amazon. Исследователи оценили их открытость по 13 критериям, включая то, насколько прозрачно разработчики раскрывали данные, используемые для обучения моделей (методы сбора и аннотирования данных, включение материалов, защищенных авторским правом и т. д.). Они также изучили, раскрывалась ли информация о том, какое оборудование использовалось для обучения и запуска моделей, какие использовались программные фреймворки и энергопотребление проекта.

Результаты показали, что ни одна из моделей ИИ не достигла показателя прозрачности более 54% по всем указанным критериям. В целом Titan Text от Amazon получил наименьшую оценку по прозрачности, а Llama 2 от Meta был признан самым открытым. Интересно, что Llama 2, являющийся лидером в недавнем противостоянии между открытыми и закрытыми моделями, несмотря на свой статус модели с открытым исходным кодом, не раскрыл данные, использованные для обучения, а также методы сбора и курирования данных. Другими словами, несмотря на растущее влияние ИИ на наше общество, непрозрачность в отрасли является всеобщим и постоянным явлением.

Это означает, что существует риск того, что индустрия ИИ станет областью, ориентированной на прибыль, а не на научный прогресс, что может привести к монопольному будущему, где преобладают определенные компании.

Генеральный директор OpenAI Сэм Альтман уже встречался с политиками по всему миру, чтобы рассказать им об этом новом типе интеллекта и помочь в разработке соответствующих правил. Он поддерживает идею создания международного органа по надзору за ИИ, но считает, что некоторые ограниченные правила, например, запрет на использование материалов, защищенных авторским правом, в наборах данных, могут стать несправедливым препятствием. Понятно, почему слово "открытость" в названии компании OpenAI превратилось в искаженную версию радикальной прозрачности, которую они обещали на старте.

Однако стоит отметить, что результаты этого отчета Стэнфордского университета свидетельствуют о том, что необходимость в секретности для своих моделей в целях конкуренции не является обязательной. По сути, эти результаты показывают, что почти все компании не блещут прозрачностью. Например, говорится, что ни одна компания не предоставляет статистику о том, сколько пользователей полагаются на ее модели, а также о регионах или сегментах рынка, где эти модели используются.

В организациях, придерживающихся принципов открытого кода, есть поговорка: "На многих глазах все жуки видны" (закон Линуса). Примитивные цифры помогают обнаруживать проблемы, которые можно решить или исправить.

Однако тенденция к открытому коду постепенно снижает социальный статус и признание ценности как в рамках открытых компаний, так и за их пределами, поэтому не стоит делать на этом чрезмерный акцент. Поэтому вместо того, чтобы зацикливаться на рамках "открытая" или "закрытая" модель, лучше сфокусироваться на обсуждении расширения доступа к данным, лежащим в основе мощных моделей ИИ, для внешних пользователей.

Для научного прогресса важно обеспечивать воспроизводимость (Reproducibility)результатов исследований. Это позволяет конкретизировать пути обеспечения прозрачности ключевых компонентов создания каждой модели. В противном случае отрасль с большой вероятностью окажется в закрытой и стагнирующей монопольной ситуации. И это следует рассматривать в качестве приоритета, учитывая, насколько быстро технологии ИИ проникают во все сферы жизни сегодня и в будущем.

Для журналистов и ученых важно понимать данные, а для политиков прозрачность — это предпосылка для планируемых политических усилий. Для широкой публики прозрачность важна, потому что люди как конечные пользователи систем ИИ могут стать как виновниками, так и жертвами потенциальных проблем, связанных с интеллектуальной собственностью, потреблением энергии, предубеждениями. Сэм Альтман утверждает, что риск исчезновения человечества от ИИ должен стать глобальным приоритетом наряду с такими социальными рисками, как пандемии и ядерная война. Но прежде чем мы дойдем до этой опасной ситуации, нам следует помнить, что выживание нашего общества зависит от поддержания здоровых отношений с развивающимся искусственным интеллектом.

*Эта статья является оригинальным текстом, опубликованным в электронной газете 23 октября 2023 года.

Ссылки

ИИ становится мощнее — но и более скрытным

Представляем индекс прозрачности базовых моделей

Генеративный ИИ: противостояние закрытых и открытых моделей

Чего на самом деле хочет OpenAI

Возрождение открытости в Mozilla: подход к исследованиям, сочетающий различные методы⁠⁠⁠⁠⁠⁠⁠