Названы недостатки одного из самых популярных методов повышения точности ИИ

Этот процесс включает сокращение числа бит, необходимых для представления данных, что снижает вычислительные затраты. Однако последние исследования показали, что квантованные модели показывают результаты низкого качества, если изначальная модель обучалась долго и на большом объеме данных. В некоторых случаях лучше обучить модель меньшего размера, чем квантовать более крупную.

Крупные ИИ-модели показывают, что квантование может ухудшить их работу, что подтверждается результатами Google и Anthropic. Исследования также показали, что существует предел для уменьшения точности, после которого модели начинают терять в качестве.

Ранее издание involta.media опубликовало статью о том, что OpenAI представила новые модели ИИ o3 с улучшенной безопасностью.