В 2019 году группа инженеров LinkedIn анонсировала DataHub – инструмент метаданных, созданный для помощи в организации, поиске и извлечении информации из огромного массива данных. В 2020 году LinkedIn предоставил его с открытым исходным кодом. Теперь стартап, основанный одним из создателей DataHub и бывшим старшим инженером из Airbnb который помог создать Dataportal последней компании, выходит из скрытности – при поддержке LinkedIn, в частности, – чтобы открыть платформу DataHub в ее последней главе: коммерциализации.
Acryl Data, как называется компания, запускает сегодня 9 миллионов долларов во главе с 8VC, в которой также участвуют LinkedIn и Insight, чтобы помочь другим компаниям использовать инструменты для своих собственных потребностей в больших данных.
Стимул для Acryl Data исходит из того очевидного факта, что большие данные, в частности, способность организовывать, понимать и максимально использовать фрагментированные большие массивы данных (с информацией, поступающей из разных мест и хранящейся в них, будь то Snowflake, Databricks или Looker или что-то еще) – это проблема, которая затрагивает любую организацию, которая имеет большой цифровой компонент в своей деятельности. Традиционно крупные технологические компании были одними из наиболее новаторских в решении этой проблемы, при этом некоторые из них также открыли источники своих технологий, чтобы сделать их пригодными для использования другими.
Прорыв для основателей Acryl, обнаруженный еще до того, как они основали компанию, когда они еще работали в своих соответствующих крупных технологических компаниях, заключался в осознании того, что метаданные являются ключом к организации этой информации больших данных.
«В метаданных интересно то, что они превратились в проблему больших данных», – сказал Ширшанка Дас, выпускник LinkedIn, который является генеральным директором и соучредителем компании с Swaroop Jagadish ( Airbnb квасцы, который является техническим директором). «И поэтому вся ДНК инфраструктуры данных, которая у нас есть, с точки зрения создания крупномасштабных коллекций данных, потоковой передачи, индексации, поиска – все они нуждаются в решениях для управления метаданными, которые могут фактически масштабироваться в соответствии с требованиями современного предприятия. Это, я думаю, и есть наш секретный соус: мы смогли создать платформу метаданных, которая учитывает все лучшие практики создания инфраструктуры данных и применяет их к созданию инфраструктуры метаданных ».
Как проект с открытым исходным кодом DataHub приобрел значительную популярность. Помимо самого LinkedIn, Expedia, Saxo Bank, Klarna и многие другие используют эту структуру – по сути, обобщенный инструмент поиска и обнаружения метаданных – для построения своего собственного графа метаданных для соединения различных объектов данных вместе. В целом проект собрал более 3200 звезд на GitHub и насчитывает более 100 участников.
Acryl Data, как и другие попытки коммерциализации с открытым исходным кодом, планирует создать набор инструментов, который упростит масштабирование и применение этой структуры в большем количестве случаев использования, особенно в тех компаниях, которым может не хватать ресурсов для создания этих реализаций самостоятельно. Первым из них, как говорится, будет каталог данных, основанный на опыте проектирования Airbnbпортал данных. LinkedIn будет сотрудничать с Acryl Data вместе с более широким сообществом разработчиков ПО с открытым исходным кодом над будущими продуктами.
«Уникальный взгляд LinkedIn на мировую экономику дает нам возможность улучшить экономические результаты для сотен миллионов людей во всем мире с помощью аналитики на основе данных и продуктов на базе искусственного интеллекта. Мы полагаемся на DataHub, чтобы находить нужные данные, ориентироваться в десятках тысяч производных наборов данных, которые наши исследователи и инженеры используют каждый день, и эффективно ими управлять », – сказал в своем заявлении Игорь Перишич, директор по данным LinkedIn. «Мы рады сотрудничать с Acryl Data, чтобы продолжать развивать DataHub вместе с ними».
Возможность большая. Collibra, конкурент в той же сфере, в прошлом году поднял раунд на сумму 2,3 миллиарда долларов. Другой, Alation, ранее в этом месяце был оценен в 1,2 миллиарда долларов. Но поскольку остается много места для инноваций, интересно наблюдать, как люди, создавшие одни из самых фундаментальных инструментов в этой области, сами застревают в качестве предпринимателей, чтобы справиться с этой задачей.
«Современный стек данных требует фундаментального переосмысления того, как управлять метаданными», – сказал в своем заявлении директор Insight Partners Джордж Мэтью. «Мы считаем, что необходима платформа для метаданных в реальном времени следующего поколения, и Acryl Data – лучшая команда, которая возглавит эту трансформацию, благодаря своей новаторской работе с DataHub».