MiniGPT-5 предлагает новый подход к созданию мультимодальных данных

Но, несмотря на успех LLM, они все еще сталкиваются с проблемами, пытаясь создать изображения на основе текстовых подсказок. Для устранения этого пробела разработчики создали новую систему MiniGPT-5, которая основана на "генеративных вокенах".

В основу MiniGPT-5 легла двухэтапная стратегия обучения, которая была ориентирована на генерацию мультимодальных данных без описания. Также разработчики добавили в модель систему наведения без классификаторов. Это поможет модели повысить эффективность вокена для генерации изображений.

Также отметим, что платформа MiniGPT-5 предлагает метод, который использует мультимодальные кодеры. Новая модель предлагает двухэтапную стратегию обучения для генерации мультимодальных выходных данных без описания и включения руководства без классификаторов во время обучения для дальнейшего улучшения качества генерируемых данных.

Со слов разработчиков, целью MiniGPT-5 является интеграция моделей генерации текста с изображениями и предварительно подготовленных мультимодальных моделей LLM. Благодаря вводу "генеративных вокенов", которые являются специальными маркерами, разработчики могут устранять несоответствия и неточности. Такой подход помогает модели работать более точно и допускать меньше ошибок.