Dumme, стартап, применяющий ИИ для практического использования в редактировании видео, уже создает спрос, прежде чем открыться для публики. Компания, поддерживаемая Y Combinator, имеет сотни создателей видео, тестирующих ее продукт, который использует ИИ для создания коротких видеороликов из YouTube содержание и список ожидания из более чем 20 000 до запуска, говорится в сообщении. Используя комбинацию как проприетарных, так и существующих моделей ИИ, Дамме обещает не только сэкономить время на редактировании, но и — и в этом его главная претензия — выполнять работу лучше, чем наемная (человеческая) рабочая сила, которой часто поручают более черную работу. работы по редактированию видео, такие как сокращение длинного контента для публикации на коротких платформах, таких как YouTube Шорты, TikTok или Instagram Reels.
Основанный в январе 2022 года и участник программы Winter 2022 акселератора стартапов Y Combinator, соучредитель и генеральный директор Dumme Мерван Драй сказал, что изначально он был сосредоточен на создании поисковой системы для видео. Но около шести месяцев назад команда поняла, что лучшим продуктом может быть перепрофилирование тех же моделей ИИ, которые они разрабатывали, для редактирования видеоклипов.
Вместе с соучредителями Уиллом Дальстремом (CPO) и Джорданом Брэннаном (CTO), все с опытом работы в области ИИ, Драй понял, что Dumme, возможно, оказался на правильном рынке продуктов после того, как их приложение стало вирусным, вызвав сбой их серверов.
«На самом деле мы не ожидали, что это вызовет большой интерес или что-то в этом роде, поэтому мы просто что-то выложили», — объясняет Драй. «Затем случилось то, что ночью мы проснулись с перегруженными серверами — типа, на самом деле ничего не работало. Поэтому мы все сняли и фактически составили своего рода список ожидания», — продолжает он. «На следующее утро мы, вероятно, разбудили там до 5000 человек, что было интересно».
Позже команда обнаружила, что создатель TikTok разместил короткое видео о продукте, что вызвало поток трафика на их сайт.
«На самом деле это никогда не успокаивалось от этого», — отмечает Драй.
Продукт, который произносится как «пустышка», понравился создателям, потому что он нацелен на упрощение и ускорение работы, связанной с редактированием видео.
Кредиты изображений: думме
Использование Dumme так же просто, как следует из названия. Для начала пользователь вставляет YouTube ссылку на видео, затем нажимает «создать», и ИИ выводит несколько коротких видеороликов, демонстрирующих основные моменты из загруженного контента. Компания заявляет, что использует YouTube в качестве источника, вместо того, чтобы поддерживать необработанные видеоматериалы, чтобы передать модерацию контента на аутсорсинг, то есть, если это разрешено на YouTubeэто разрешено в Dumme.
Время обработки и количество результирующих клипов будет зависеть от длины исходного видео.
Но, например, обработка часового видеоподкаста может занять около 20 минут, а вы начнете получать клипы примерно через пять минут, говорит Драй. По завершении создатели могут загружать видеоклипы, которые по умолчанию не превышают 60 секунд, и загружать их на любую платформу, которая поддерживает короткий контент, например YouTube Шорты, а также другие платформы, такие как Reels или TikTok.
Кредиты изображений: думме
Как это все работает на бэкенде, конечно, гораздо сложнее. Компания заявляет, что изначально Dumme будет узнавать как можно больше из исходного видео через метаданные. Затем он расшифровывает видео и пытается понять семантику того, что говорится, а также просматривает кадры, чтобы попытаться расшифровать эмоции говорящего человека. Эти результаты сопоставляются и передаются в языковую модель, которая пытается определить, какие части видео достойны вырезания. Затем это передается другой модели, которая отслеживает активных говорящих и обрабатывает кадрирование.
Дамм говорит, что он работает с существующими моделями искусственного интеллекта, такими как GPT-4, доработанной версией Whisper и другими, созданными собственными силами — например, с моделью, которая отслеживает активных выступающих в видеокадре. Одна из его моделей также обучена на куче YouTube Shorts, чтобы узнать, что делает его хорошим начальным крючком для привлечения зрителей. И, хотя еще не в прямом эфире, команда также экспериментирует с моделью с открытым исходным кодом, LaViLa от Facebook Research, чтобы лучше понять контекст видео.
По словам компании, работа над ИИ выполняется на облачном провайдере GPU CoreWeave, а не на AWS, поскольку это более доступно.
Поскольку Dumme полагается на ИИ, который обрабатывает произносимые слова, эта технология не подходит для таких вещей, как длинные видео игрового процесса или другие, где люди не разговаривают. Драй говорит, что стартап изначально нацелен YouTube создатели, подкастеры и агентства — последние, по их мнению, будут лучшим выбором для монетизации продукта.
Кредиты изображений: думме
Агентства, объясняет Драй, сегодня часто отдают этот тип работы на аутсорсинг, получая случайные результаты.
«Они просто платят подрядчикам в дешевых юрисдикциях за редактирование собственного контента. И проблема в том, что это по-прежнему довольно дорого и занимает много времени — недели, а не минуты», — говорит он.
На вопрос, как он относится к созданию технологии, которая фактически лишит людей работы, Драй не беспокоился.
«Я думаю об этом так, что, в конце концов… Я думаю, что это все равно, что сказать мне, что учителя математики собираются [be put] без работы, потому что есть нечто, называемое калькулятором…», — объясняет он. «Люди будут адаптироваться. А потом кто-нибудь научит вас пользоваться калькулятором, верно? Поэтому я думаю, что это просто вопрос адаптации к этому», — говорит Драй.
В настоящее время рассматриваемое ценообразование включает уровни, при которых бизнес будет платить 0,40 доллара США за минуту обработанного видео, в то время как более мелкие создатели могут вместо этого выбрать ежемесячную подписку, ограниченную 10 часами контента в месяц. (Эти цифры могут измениться.) Во время тестирования продукт можно было использовать бесплатно.
Ранние последователи использовали Dumme для различных правок, включая создание клипов из своих видеоподкастов для публикации в Shorts, а также вырезание других новых видео и просмотр их бэк-каталогов.
Продукт, по-видимому, конкурирует с другими технологиями ИИ на рынке, в том числе с технологией Jellysmack, которая использует ИИ для увеличения продолжительности работы. YouTube видео в более короткие видеоролики, разрезая их, изменяя их размер и оптимизируя для определенных платформ — в результате приобретения Kamua в 2021 году. Другие инструменты, выполняющие аналогичную работу, включают такие вещи, как Opus Clip, Vidyo.ai, Detail, TubeBuddy, Wisecut и другие. В какой степени Dumme преуспеет или потерпит неудачу, будет зависеть от превосходства конкурентов по качеству работы и стоимости — показателям, которые еще предстоит определить.
Но некоторые инвесторы делают ставку на Думме. Перед запуском стартап привлек начальный раунд в размере 3,4 млн. долл. от Y Combinator, Caffeinated Capital, Макса и Нелли Левчин (через SciFi VC), Сухейла Доши, Нико Чино, Protocol Labs, Криса Пушкасиу и других ангелов.
Учитывая интерес и значительный список ожидания, Дамме говорит, что стремится набирать около 500 человек каждую неделю. Читатели TechCrunch могут перейти в очередь, используя код приглашения TECHCRUNCH, пока не закончатся слоты.