Обновленная нейросеть Grok может обрабатывать изображения

Мультимодальная ИИ-модель способна обрабатывать не только текст, но и документы, диаграммы, графические изображения, скриншоты и фотографии. В анонсе нейросети в xAI показали, как Grok переводит фотографию блок-схемы в код Python, пишет рассказ на основе рисунка и даже объясняет мем.

Обновленная версия была представлена спустя 2 недели после запуска Grok-1.5, которая предназначена для кодирования и решения математических задач. Пока что Grok-1.5 доступна закрытому кругу пользователей, которые в дальнейшем также получат возможность протестировать Grok-1.5V.

Кроме Grok-1.5V стартап Илона Маска представил набор контрольных данных, который получил название RealWorldQA. Пользователи получат возможность использовать любое из 700 изображений, которые помогут оценить работу ИИ.

Каждый элемент включает вопросы и ответы, на которые другие нейросети затрудняются дать ответ. В процессе тестирования Grok-1.5V показал лучшие результаты в сравнении с такими нейросетями, как OpenAI GPT-4V и Google Gemini Pro 1.5.

Ранее издание involta.media опубликовало статью о том, что нейросеть Apple ReALM превзошла ChatGPT 4 в ряде ответов.