Компания Groq разработала чип, ускоряющий работу ИИ

Демо-версия чат-бота на новом ИИ-чипе уже превзошла все ожидания публики и показала себя эффективнее, чем все модели, которые на данный момент существуют на рынке. Groq способен сгенерировать несколько сотен слов в фактологическом ответе за доли секунды, при этом предоставив все ссылки на источники, которые использовал.

В эксперименте, который провели в компании, ведущий CNN провел живой вербальный диалог с чат-ботом в прямом эфире. Groq показал поразительную скорость ответов, в разы превышающую скорость работы ChatGPT и Gemini.

ИИ-чипы, которые создает компания, получили название LPU ( Language Processing Unit). Устройства оказались более продвинутыми, чем графические процессоры NVIDIA.

Groq не является чат-ботом, а служит лишь помощником для ускорения уже существующих на рынке моделей. Независимые тесты компании показали, что Groq выдает 247 токенов/секунду. Пример для сравнения: Microsoft удалось добиться показателя лишь 18 токенов/секунду.

Благодаря созданию ускорителя популярные модели могут показывать более высокую производительность и скорость работы. Однако существует и обратная сторона - из-за высокой скорости работы ответы чат-ботов могут стать более роботизированными.

Ранее издание involta.media опубликовало статью о том, что китайская компания ByteDance запустила платформу для создания пользовательских чат-ботов.