Ограниченная память помогла ИИ эффективнее осваивать язык

Ученые обнаружили, что искусственный интеллект может эффективнее изучать язык при наличии ограничений памяти, похожих на человеческие.

Для проверки гипотезы исследователи внедрили в языковые модели механизм затухания памяти. В результате система удерживала только последние 3-7 слов, постепенно забывая более ранний контекст. Тестирование на наборе BabyLM показало, что такой подход улучшает понимание грамматики и способность обобщать языковые правила.

При этом был выявлен неожиданный эффект: несмотря на более качественное освоение языка, модели стали хуже прогнозировать скорость чтения человеком. По мнению исследователей, механизмы изучения языка и обработки текста мозгом могут существенно различаться.

0 комментариев