Менее года назад Anthropic была основана бывшим вице-президентом OpenAI по исследованиям Дарио Амодеи с намерением провести исследование в общественных интересах, чтобы сделать ИИ более надежным и объяснимым. Тогда ее финансирование в размере 124 млн. долл. было удивительным, но ничто не могло подготовить нас к тому, что компания привлечет 580 млн. долл. менее чем через год.
«Благодаря этому сбору средств мы собираемся изучить предсказуемые свойства масштабирования систем машинного обучения, внимательно изучая непредсказуемые способы, которыми возможности и проблемы безопасности могут возникнуть в масштабе», — сказал Амодей в объявлении.
Его сестра Даниэла, с которой он стал соучредителем корпорации общественного блага, сказала, что, построив компанию, «мы сосредоточились на том, чтобы у Anthropic была культура и управление, чтобы продолжать ответственно исследовать и разрабатывать безопасные системы искусственного интеллекта по мере нашего масштабирования. ”
Опять это слово — масштаб. Потому что это та категория проблем, для изучения которой была создана компания Anthropic: как лучше понять модели ИИ, которые все чаще используются в каждой отрасли, поскольку они выходят за рамки нашей способности объяснить их логику и результаты.
Компания уже опубликовала несколько статей, в которых изучается, например, обратный инжиниринг поведения языковых моделей, чтобы понять, почему и как они приводят к тем результатам, которые они делают. Что-то вроде GPT-3, вероятно, самой известной языковой модели, несомненно, впечатляет, но есть что-то тревожное в том факте, что его внутренние операции по существу остаются загадкой даже для его создателей.
Как объясняется в новом объявлении о финансировании:
Целью этого исследования является разработка технических компонентов, необходимых для построения крупномасштабных моделей, которые имеют лучшие неявные гарантии и требуют меньшего вмешательства после обучения, а также разработать инструменты, необходимые для дальнейшего изучения этих моделей, чтобы быть уверенным, что защита действительно работает.
Если вы не понимаете, как работает система ИИ, вы можете реагировать только тогда, когда она делает что-то не так — например, проявляет предвзятость в распознавании лиц или склонна рисовать или описывать мужчин, когда их спрашивают о врачах и генеральных директорах. Это поведение встроено в модель, и решение состоит в том, чтобы фильтровать ее выходные данные, а не предотвращать появление этих неправильных «представлений».
Это своего рода фундаментальное изменение в том, как ИИ строится и понимается, и поэтому требует больших мозгов и больших компьютеров — ни то, ни другое не особенно дешево. Без сомнения, 124 млн. долл. были хорошим началом, но, по-видимому, первые результаты были достаточно многообещающими, чтобы Сэм Бэнкман-Фрид возглавил этот огромный новый раунд, к которому присоединились Кэролайн Эллисон, Джим МакКлэйв, Нишад Сингх, Яан Таллинн и Центр по новым рискам. Исследовать.
Интересно, что в этой группе нет ни одного из обычных инвесторов в глубокие технологии, но, конечно же, Anthropic не стремится получать прибыль, что является своего рода препятствием для венчурных капиталистов.
Вы можете следить за последними исследованиями Anthropic здесь.