T-Bank AI Research представили архитектуру языковых моделей ReBased

Перебазирование снижает стоимость вычислительных ресурсов при использовании искусственного интеллекта практически без ущерба для качества. Это изменение могло бы значительно расширить коммерческое использование языковых моделей, которое в настоящее время ограничено высокими затратами. Новая архитектура также помогает снизить энергопотребление в центрах обработки данных, что окажет положительное влияние на окружающую среду и сократит выбросы парниковых газов.

Опираясь на фундаментальную архитектуру, впервые разработанную исследователями из Стэнфорда, T-Bank AI Research усовершенствовала процесс извлечения информации за счет включения обучаемых параметров, направленных на оптимизацию поиска корреляций в текстовом контенте. Это усовершенствование привело к заметному повышению производительности и точности при работе с длинными текстами, чему способствовало упрощение алгоритма извлечения.

Это алгоритмическое усовершенствование привело к значительному улучшению понимания взаимосвязей, достигнув 10% улучшений. Это обеспечивает большую эффективность и точность процесса.

Использование ReBased значительно сократило затраты, связанные со специализированными задачами, такими как классификация текстов на основе медицинских показателей и диагнозов. Он работает аналогично transformers, но требует значительно меньше ресурсов. Это делает его экономически эффективным решением для этих задач.

Исследования проводились с использованием набора данных MQAR, чтобы оценить способность модели усваивать контекст. Ярослав Аксенов из T-Bank подчеркнул важность научного сотрудничества с коллегами из Стэнфорда, которые работают над аналогичными проектами. Он отметил, что в гибридных конструкциях, вероятно, будет шире использоваться линейные модели в сочетании с трансформаторами.

Источник: CNews.