Корпорация NVIDIA представила тестовую версию приложения Chat with RTX, которое предназначено для локального запуска чат-бота c генеративным ИИ на ПК.

Благодаря чат-боту пользователи смогут создавать сводки и получать релевантные ответы на основе своих видеороликов и документов. Также Chat with RTX может обрабатывать YouTube-видео. Для этого пользователю нужно ввести в чат-бот его URL-адрес, а он в ответ выдаст краткое содержание в текстовом виде.

Еще одной способностью Chat with RTX является обработка PDF-файлов - бот мгновенно сможет извлечь ключевую информацию.

Технология NVIDIA работает на ПК под управлением Windows с видеокартами NVIDIA GeForce RTX 30-й или 40-й серии, оснащёнными не менее чем 8 Гбайт видеопамяти.

При установке Chat with RTX на ПК пользователь получает веб-сервер и экземпляр Python, который работает на базе LLM Mistral или Llama 2. Установка занимает около получаса, приложение занимает около 40 Гбайт.

По мнению экспертов, приложение похоже на раннюю демо-версию для разработчиков. Пока что чат-бот испытывает много трудностей при работе. Например, при попытке индексации большого объема документов приложение дает сбой, который требует сброса всех настроек для дальнейшей работы. Также бот пока не отличается способностями к запоминанию контекста, поэтому последующие ответы никак не связаны с предыдущими.

Ранее издание involta.media опубликовало статью о том, что ASML представила 165-тонную машину для производства AI-чипов.