Предприятие оптимистично относится к системам искусственного интеллекта, которые могут понимать и генерировать текст, известные как языковые модели. Согласно опросу, проведенному John Snow Labs, в 2020 году бюджеты 60 % технологических лидеров на языковые технологии ИИ увеличились как минимум на 10 %. десятки тысяч разработчиков.
Стремясь получить кусок пирога, в последние годы появились новые поставщики, утверждающие, что они предлагают уникальные возможности языкового моделирования. Помимо стартапов с хорошими ресурсами, таких как OpenAI, Cohere и Hugging Face, существует множество поставщиков, создающих услуги на основе моделей ИИ с открытым исходным кодом. Где-то посередине находится AI21 Labs, израильская компания, которая разработала модель Jurassic-1 Jumbo размером примерно с GPT-3 и постепенно создавала на ее основе продукты, в том числе «ИИ как услугу». платформа под названием AI21 Studio, которая позволяет клиентам создавать виртуальных помощников, чат-ботов, инструменты модерации контента и многое другое.
Очевидно, инвесторы чувствуют возможность. Сегодня AI21 Labs закрыла раунд серии B на 64 млн. долл., в результате которого компания оценивается в 664 млн. долл.. Под руководством Ahren Innovation Capital Fund с участием генерального директора и соучредителя Mobileye Амнона Шашуа, Walden Catalyst, Pitango, TPY Capital и Марка Лесли транш увеличил общий капитал A21Labs до 118,5 млн долларов.
Соучредитель и генеральный директор Ори Гошен сказал, что новые деньги будут направлены на исследования и разработки, в частности на разработку более крупных и сложных языковых моделей и найм талантов. В настоящее время в AI21 Labs работает 120 сотрудников, и к концу года планируется нанять еще около 50 человек, что противоречит макроэкономическим тенденциям.
«К счастью, пандемия положительно повлияла на бизнес — по мере того, как все больше компаний переходят на удаленную работу, людям нужно было передавать в письменном тексте то, что они обычно делились бы устно», — сказал Гошен TechCrunch в интервью по электронной почте. “[Our] основные возможности проприетарных больших языковых моделей позволяют использовать огромные объемы корпоративных данных для… создания, обобщения и классификации пользовательского контента».
AI21 Labs была основана в 2017 году Гошеном, Шашуа и профессором Стэнфордского университета Йоавом Шохамом. компании Первым продуктом был Wordtune, помощник для письма на базе ИИ, призванный конкурировать с Grammarly, который предлагает перефразировать текст везде, где пользователь печатает. AI21 Studio была выпущена в августе прошлого года вместе с услугой «оплата по мере использования», которая позволяет разработчикам подавать заявки на доступ к пользовательским моделям, точно настроенным на наборах данных, уникальных для их требований.
AI21 Labs предлагает ряд параметров настройки для настройки вывода своих моделей. Кредиты изображений: Лаборатория AI21
В AI21 Studio семейство моделей AI21 Labs Jurassic-1 можно использовать для перефразирования (например, создания кратких названий продуктов из описания продукта), извлечения цифр из текста и маркировки электронных писем и заметок по темам или категориям. Модели также могут обобщать содержимое с помощью функции Wordtune, получившей название Wordtune Read, включая фрагменты статей, отчетов и файлов PDF.
Поскольку они обучаются на больших объемах данных из Интернета, включая социальные сети, языковые модели способны генерировать токсичный и предвзятый текст на основе аналогичного языка, с которым они столкнулись во время обучения. Модели AI21 Labs ничем не отличаются; в ходе раннего тестирования один исследователь смог побудить их сказать, что «люди, которые любят евреев, ограничены». Хотя AI21 Labs требует от клиентов согласия с политикой использования и рекомендациями по использованию, она не внедрила фильтры для потенциально токсичного контента, создаваемого ее API.
Лаборатория AI21, которая заявляет, что вручную рассматривает запросы на точные модели для борьбы со злоупотреблениями, утверждает, что ее модели «немного менее предвзяты», чем GPT-3.
Тем не менее, по словам Гошена, модели имеют преимущество в том, что они дополнены внешними источниками знаний, такими как Википедия. Последняя версия модели Jurassic-1 от AI21 Labs, Jurassic-X, использует то, что Гошен называет «модульной системой рассуждений», чтобы улучшить свои ответы с помощью «дискретных экспертов по рассуждениям», таких как онлайн-калькуляторы и конвертеры валют. По словам Гошена, Jurassic-X может отвечать на «нетривиальные» математические операции, сформулированные на естественном языке, а также упрощать «сложные» вопросы, которые могут сбить с толку другие языковые модели.
Конечно, стоит отметить, что AI21 Labs не заказывала сравнение своих моделей Jurassic-X с другими коммерческими языковыми моделями, поэтому нам остается только делать заявления.
Недавний сомнительный маркетинговый ход компании не внушает огромного доверия. В июне AI21 Labs запустила чат-бот, созданный по образцу юридических заключений покойного судьи Верховного суда Рут Бадер Гинзбург, которые несколько экспертов по технологиям искусственного интеллекта охарактеризовали как вводящие в заблуждение. Отвечая на критику, AI21 Labs заявила, что чат-бот был «просто экспериментом», и признала, что может давать неточные ответы, которые следует воспринимать «с недоверием».
Когда его спросили, Гошен отказался раскрыть твердые данные о доходах или даже оценки роста. Но он сказал, что у Studio есть «сотни» платных клиентов и партнеров по дизайну — ни одного из которых он не хотел назвать по имени — в дополнение к более чем 10 000 пользователей бесплатного плана, в то время как у Wordtune есть «миллионы» пользователей.
Учитывая стоимость обучения сложных моделей, инвесторы, скорее всего, будут вынуждены расширяться. Собственные исследования AI21 Labs оценивают затраты на разработку модели генерации текста с 1,5 миллиардами параметров (то есть переменных, которые модель использует для генерации и анализа текста) в 1,6 млн. долл.. Jurassic-1 Jumbo содержит 178 параметров. Это без учета затрат на хостинг для обслуживания моделей; AI21 Labs заявляет, что пользуется услугами «нескольких» сторонних облачных провайдеров как в США, так и за рубежом.
“[There's a lack] знаний о рынке, потому что технология языковой модели находится в зачаточном состоянии и только начинает набирать популярность», — сказал Гошен. «Благодаря новому финансированию AI21 Labs продолжит свою миссию по созданию систем искусственного интеллекта с беспрецедентной способностью понимать и генерировать естественный язык».