Comet сотрудничает со Snowflake для повышения воспроизводимости наборов данных машинного обучения

Это сотрудничество позволит разработчикам отслеживать и изменять свои запросы и наборы данных Snowflake в рамках среды Snowflake. Согласно заявлению Comet, интеграция с платформой Snowflake позволит лучше отслеживать происхождение модели и ее производительность, обеспечивая большую наглядность и понимание, чем при использовании традиционных процессов разработки. Это также повлияет на производительность модели в ответ на изменения в данных.

По словам компаний, использование данных Snowflake на платформе Comet приведет к упрощению и повышению прозрачности процесса разработки моделей. Они утверждают, что облачное хранилище данных Snowflake и платформа ML Comet в совокупности позволят заказчикам создавать, обучать, развертывать и отслеживать модели гораздо быстрее. Интеграция позволяет установить обратную связь между разработкой моделей в Comet и управлением данными в Snowflake. Это позволит постоянно улучшать модели и сократить разрыв между экспериментами с моделями и их внедрением.

Четкое разделение версий между наборами данных и моделями также позволит организациям лучше учитывать изменения данных и их влияние на производственные модели. Это новое предложение от Comet следует за выпуском инструментов и интеграций, направленных на ускорение рабочих процессов специалистов по обработке данных, работающих с большими языковыми моделями (LLM).

Благодаря интеграции с Snowflake, Comet сможет регистрировать, версионировать и связывать запросы, выполненные для извлечения наборов данных из Snowflake, с результирующими моделями. Это предоставит преимущества в области воспроизводимости, совместной работы, проверки и итеративного улучшения моделей. Партнерство и интеграция между Comet и Snowflake направлены на обеспечение более надежной, прозрачной и эффективной основы для разработки моделей машинного обучения.

Компания Comet уточнила, что отслеживание производящих моделей позволяет установить связь между изменениями в моделях производства и изменениями в структуре веществ. Это имеет важное значение не только для отладки и определения производительности, но и для определения качества данных и функций разработки.

Гидеон Мендельс добавил, что отслеживание поступления и обработки данных с течением времени приводит к циклу закономерностей связи, который отличается непрерывным воспроизведением как на структуре управления данными, так и на разработке моделей.

Он также имеет возможность проследить "происхождение модели". Это позволяет любому члену команды изучить модель и ее способ разработки без охвата обширной документации. Это особенно полезно, когда участники команды уходят или когда новые люди присоединяются к работе, так как наблюдается беспрепятственная передача знаний и непрерывность работы процесса разработки моделей.

Comet утверждает, что их клиенты, такие как Uber, Etsy и Shopify, сообщают об улучшении скорости машинного обучения на 70-80% благодаря использованию платформы. Это связано с более быстрыми циклами исследований, что позволяет более быстро выявить модели производства и решить проблемы, а также улучшить сотрудничество и другие факторы.

Гидеон Мендельс добавил, что благодаря высокой эффективности Comet и Snowflake Также можно сэкономить на расходах на входные и выходные данные.