NVIDIA выпустила альфа-версию приложения Chat with RTX, позволяющего запускать ИИ-чат-бота на базе генеративной большой языковой модели (LLM) локально на вашем ПК.
Возможности:
- Создание кратких сводок и релевантных ответов на основе видеороликов (YouTube) и текстовых документов (PDF).
- Поиск по расшифровке видео: чат-бот способен находить нужные фрагменты в видео за считанные секунды.
- Быстрое извлечение ключевой информации из PDF-файлов, что может быть полезно, например, при работе с юридическими документами.
- Работа без задержек: в отличие от облачных чат-ботов, Chat with RTX работает на вашем компьютере, что обеспечивает мгновенный отклик.
Технические характеристики:
- Операционная система: Windows
- Видеокарта: NVIDIA GeForce RTX 30-й или 40-й серии (минимум 8 ГБ видеопамяти)
- Объем на диске: 40 ГБ
- ОЗУ: 3 ГБ (во время работы)
Как работает:
- При установке Chat with RTX на ПК пользователя устанавливается веб-сервер и экземпляр Python, который использует LLM Mistral или Llama 2.
- Тензорные ядра на графическом процессоре NVIDIA RTX используются для ускорения обработки запросов.
- Пользователь получает доступ к чат-боту через веб-интерфейс.
Ограничения:
- Находится на ранней стадии разработки: чат-бот может демонстрировать нестабильную работу и ошибки.
- Не запоминает контекст: каждый новый запрос обрабатывается независимо от предыдущих.
- Не подходит для больших объемов данных: попытка индексировать более 25 000 документов может привести к сбою.
Перспективы:
Chat with RTX — это интересный проект, демонстрирующий потенциал локальных ИИ-чат-ботов. Он может быть полезен тем, кто не хочет использовать облачные сервисы для обработки своих личных данных.
Важно:
- Текущая версия Chat with RTX предназначена для разработчиков и энтузиастов.
- Для работы приложения требуется мощная видеокарта NVIDIA RTX.