Познакомьтесь с Soda, платформой для мониторинга данных, которая поможет вам обнаружить проблемы с настройкой обработки данных. Таким образом, вы сможете отреагировать как можно быстрее и сохранить полную картину данных.
Если вы создаете компанию, ориентированную на цифровые технологии, вы и ваши клиенты, скорее всего, генерируете тонны данных. И вы можете даже использовать эти данные для настройки самого продукта — подумайте о ценах на отели, поиске подходящего ресторана на веб-сайте доставки еды, подаче заявки на получение кредита в финтех-компании и т. Д. Это продукты с большим объемом данных.
«Компании создают платформу данных, как они ее называют, в одном из трех больших облаков. [Amazon Web Services, Google Cloud, Microsoft Azure]. Они размещают там свои данные и делают их доступными для аналитики и не только », — сказал мне соучредитель и генеральный директор Soda Маартен Масшляйн.
Затем вы можете подключиться к этим озерам данных или хранилищам данных для отображения аналитики, визуализации ваших данных, мониторинга ваших услуг и т. Д. Но что произойдет, если в ваших рабочих процессах данных возникнет проблема?
Вам может потребоваться некоторое время, чтобы понять, что есть какие-то недостающие данные или что вы что-то неправильно подсчитываете. Например, Facebook просчитал среднее время просмотра видео за несколько лет. Когда вы обнаружите эту проблему, это может затронуть важную часть вашего бизнеса.
Soda хочет выявлять проблемы с данными как можно быстрее, автоматически и масштабно отслеживая ваши данные. «Мы располагаемся дальше вверх по течению, ближе к источнику данных», — сказал Масчелейн.
Когда вы настраиваете Soda на своей платформе данных, вы мгновенно получаете несколько предупреждений. Сода подскажет, если что-то не так. Например, если ваше приложение сегодня сгенерировало только 6000 записей, в то время как вы обычно генерируете 24000 записей за 24 часа, скорее всего, что-то не так. Или, если вы обычно получаете новую запись каждую минуту, а записи не было в течение 15 минут, ваши данные могут быть устаревшими.
«Но это покрывает лишь небольшую часть того, что считается проблемами данных. Есть больше логики, которую вы хотите проверить и подтвердить », — сказал Масчелейн.
Soda позволяет создавать правила для тестирования и проверки ваших данных. В основном, думайте о наборе тестов при разработке программного обеспечения. Когда вы создаете новую версию своего приложения, ваш код должен пройти несколько тестов, чтобы убедиться, что с новой версией ничего критического не сломается.
С помощью Soda вы можете сразу проверить данные и получить результат. Если тест не прошел, вы можете программно отреагировать — например, остановить процесс и поместить данные в карантин.
Сегодня стартап также запускает Soda Cloud. Это веб-приложение для совместной работы, которое обеспечивает наглядность потоков данных в организации. Таким образом, нетехнические люди могут легко просматривать метаданные, чтобы убедиться, что все работает правильно.
По сути, клиенты Soda используют Soda SQL, инструмент командной строки, который помогает кому-то сканировать данные, вместе с Soda Cloud, веб-приложением для просмотра результатов Soda SQL.
Помимо этих продуктов, Soda считает, что данные становятся целой категорией программных продуктов. Команды разработчиков теперь имеют массу инструментов для автоматизации тестирования, интеграции, развертывания, управления версиями и т. Д. Но у инструментов, специально разработанных для групп данных, есть большой потенциал.
Soda недавно привлекла раунд серии A на 13,5 млн долларов (11,5 млн евро), возглавляемый Singular, новым парижским венчурным фондом, о котором я рассказывал ранее на этой неделе. Посевные инвесторы Soda Point Nine Capital, Hummingbird Ventures, DCF и различные бизнес-ангелы также приняли участие.