Модель ИИ Code Llama генерирует код и объясняет его на естественном языке

Code Llama действует подобно GitHub Copilot или Amazon CodeWhisperer – генерирует, дополняет и отлаживает код, написанный на Python, C++, Java, PHP, C# и других языках программирования. Кроме того, эта модель ИИ может объяснять написанный код на естественном языке, например, на английском.

Код Llama доступен в нескольких вариантах, включая версию, оптимизированную для Python, и версию, оптимизированную для понимания инструкций (например, «Напишите мне функцию, которая выводит последовательность Фибоначчи»). В ее основе лежит модель генерации текста Llama 2, исходный код которой был открыт несколькими неделями ранее. При обучении Code Llama использовалась смесь общедоступных источников из Интернета, но ей было предоставлено больше времени на изучение кода и его взаимосвязи с естественным языком. Каждая модель обработала около 500 миллиардов токенов, а код для Python был доработан дополнительно. Чтобы система могла понимать инструкции, Meta* использовала отзывы людей-аннотаторов, которые писали «полезные» и «безопасные» ответы на ключевые вопросы.

Одна из моделей Code Llama имеет 34 миллиарда параметров – это самый высокий показатель в мире. Одновременно она является лучшей по производительности среди подобных генераторов кода с открытыми исходными данными. Но иногда модели все равно совершают ошибки. Например, если напрямую попросить ее написать код для программы-вымогателя, то она не сделает этого. А если сформулировать запрос более мягко, то Code Llama выполнит его. Кроме того, модель может генерировать «неточные» или «нежелательные» ответы на подсказки.

Несмотря на это, для многих программистов генераторы кода уже стали серьезным подспорьем в работе, а их производительность возросла примерно в 1,5 раза. Разработчики могут использовать Code Llama как для коммерческих, так и исследовательских проектов, но обязаны подписать согласие не применять ее для злонамеренных целей. Если обнаружится, что кто-то развернул модель на платформе с более чем 700 миллионами активных пользователей в месяц (то есть в социальной сети), то Meta* может запросить лицензию.

В своем блоге корпорация пишет, что Code Llama предназначена для поддержки разработчиков ПО во многих секторах, включая исследования, промышленность, проекты с открытым исходным кодом, неправительственные организации и бизнес. Но на самом деле вариантов ее использования гораздо больше, и разработчики надеются, что они смогут вдохновить коллег на создание новых инновационных инструментов. Тем более, что общедоступные модели ИИ способствуют появлению новых технологий, улучшающих жизнь людей.

*Meta - признана экстремистской и запрещена на территории РФ.