Обзор нейросети Chat with RTX от Nvidia

Нейросеть Chat with RTX от Nvidia – одна из редких нейросетей, работающая локально на устройстве пользователя. То есть вся информация обрабатывается и останется на вашем устройстве без доступа к Интернету. На этой странице вы найдете подробный обзор нейросети Chat with RTX и узнаете, как пользоваться искусственным интеллектом от Nvidia.

Что такое нейросеть Chat with RTX

В феврале 2024 года Nvidia представила бесплатную нейросеть для поиска ответов в режиме чата – Chat with RTX. Инструмент полностью бесплатный, но на момент релиза доступен лишь для части компьютеров с видеокартами от Nvidia.

Поддерживаются только современные линейки видеокарт:

• Nvidia GeForce RTX 30XX, например, RTX 3060.
• Nvidia GeForce RTX 40XX, например, RTX 4090.

Нейросеть поддерживается как десктопными видеокартами, так и мобильными. Например, вы можете запустить ИИ на ноутбуке с видеокартой 30ХХ или 40ХХ с приставкой “Laptop GPU”.

Возможности

Chat with RTX – это локальный чат бот, то есть искусственный интеллект, который работает без подключения к сети Интернет. Информацию для ответов на вопросы ИИ черпает из двух источников:

• Встроенная база данных (~17 Гб), актуальная на середину 2022 года;
• Любой текстовый файл или база данных, загруженная в искусственный интеллект локально.

Последнее – это возможность обучить чат-бот на базе собственной информации. Например, вы можете загрузить в искусственный интеллект собственную научную работу и получать в дальнейшем ответы от ИИ на базе ваших данных.

При работе с нейросетью Chat with RTX никакая информация не передается на сервер Nvidia, подключение к Интернету не требуется и для поиска ответов. Подробнее о возможностях искусственного интеллекта смотрите в официальном ролике:

Системные требования

Видеокарта Nvidia с минимум 8 Гб памяти – это не единственное требование к компьютеру, где вы хотите установить искусственный интеллект от Нвидиа. Ваше устройство должно соответствовать следующим минимальным системным требованиям:

• Операционная система – Windows 10 или Windows 11. На устаревших версиях Windows нейросеть не запустится даже в режиме совместимости. Некоторый дополнительный софт, необходимый для корректной работы ИИ, не работает на старых версиях Windows.
• Жесткий диск – минимум 100 Гб. Рекомендуем устанавливать ИИ на SSD диски, на устаревших HDD работа нейросети будет крайне медленной;
• Оперативная память – минимум 8 Гб, но для стабильной работы рекомендуется не менее 16 Гб для быстрой работы ИИ.

Чем больше видеопамяти, и чем больше оперативной памяти у вас на компьютере, тем быстрее искусственный интеллект будет обрабатывать информацию.

Как установить нейросеть Chat with RTX

Если ваш компьютер соответствует минимальным системным требованиям нейросети Chat with RTX, вы можете установить искусственный интеллект по следующей инструкции:

• Загрузите установочный файл (~35 Гб) с официального сайта Nvidia:

• Установка искусственного интеллекта напоминает установку любого другого софта, например, драйверов Nvidia, поэтому специальных знаний не требуется. Для большинства пользователей подойдет полная установка, где устанавливаются сразу все компоненты.

• Для установки требуется подключение к сети Интернет, так как установщик загрузит некоторые компоненты дополнительно. Общий размер установленной нейросети составит около 100 Гб.

Для запуска ИИ вы можете использовать иконку на рабочем столе, или запустить файл из папки с нейросетью: Путь к папке → NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\app_launch.bat.

Как пользоваться нейросетью Chat with RTX

Каждый запуск нейросети требует примерно 1-2 минуты для загрузки всех необходимых скриптов в CMD Shell. Никаких действий не требуется, кроме как дождаться загрузки всех необходимых компонентов:

После загрузки нейросети, в браузере по умолчанию откроется страница – http://127.0.0.1:1088/?__theme=dark.

Всё взаимодействие с нейросетью осуществляется через окно браузера, хотя доступ к Интернету для этого и не требуется, ИИ работает локально.

Для начала нужно выбрать языковую модель:

• Llama2 (установлена по умолчанию);
• Mistral (вторая базовая модель);
• Любая дополнительная модель, которую вы загрузили вручную.

Также вы можете указать нейросети источник данных в разделе Dataset, это может быть как встроенный в ИИ набор данных, так и ваша собственная информация:

После выбора модели и источника данных, вы можете общаться с ИИ в формате чата, например:

Для вопросов и ответов поддерживается только английский язык. Если вы не владеете языком достаточно, используйте Google Translate, Яндекс Переводчик или любой другой бесплатный инструмент.

В качестве источника данных вы можете использовать любую текстовую информацию в формате .TXT или других форматах, например, в формате PDF, DOC или DOCX. Информация в текстовом файле должна быть структурирована, чтобы ИИ смог извлечь ответ на заданный вами вопрос.

При работе с собственными источниками информации, ИИ не только предоставляет ответ, но и уточняет, где именно ответ был найден. Например:

Это удобно для перепроверки данных, так как вы можете открыть референсный файл и изучить информацию подробно.

Помимо текстовой информации, ИИ от Nvidia умеет обрабатывать информацию из YouTube роликов. Для этого нейросети требуется доступ к сети Интернет и ссылка на ролик на YouTube. Искусственный интеллект за вас изучит содержание видео, после чего вы сможете в чате задать вопрос по содержанию, например:

Нейросеть от Нвидиа не имеет встроенного функционала поиска роликов, поэтому ссылки на ролик вы должны скопировать самостоятельно с сайта youtube.com, например:

Другие видео-платформы не поддерживаются, ИИ умеет обрабатывать только видео с Ютуба.

Ответы на частые вопросы

Chat with RTX от Nvidia – новинка 2024 года, которая уже успела привлечь к себе пристальное внимание не только техногиков, но и простых пользователей. Чтобы вы могли быстрый разобраться, изучите ответы на частые вопросы.

Что лучше – Chat with RTX или ChatGPT 3.5

Chat with RTX и ChatGPT 3.5 – это две бесплатные нейросети, но решение от Nvidia работает локально. Это основной плюс нейросети от Нвидиа, так как для ChatGPT требуется постоянный доступ к Интернету.

Второе отличие ИИ от Нвидиа – вы можете самостоятельно расширить знания искусственного интеллекта. Это позволяет использовать нейронку для обработки собственных файлов, а также для получения ответов на базе максимально свежих данных. Например, вы можете добавить к Chat with RTX информацию из Википедии от 2024 года, что сделает ответы ИИ максимально актуальными.

Поддерживает ли Chat with RTX русский язык?

Искусственный интеллект умеет работать только на английском языке. Это актуально как для языка ответов, так и для языка вопросов, а также для языка информации и базы данных. Вы не сможете “обучить” ИИ на базе данных на русском языке.

ИИ пригодится вам даже в том случае, если вы не знаете английский язык. Используйте бесплатные переводчики для взаимодействия с Chat with RTX на русском языке.

Сколько стоит нейросеть от Nvidia?

Нейросеть Chat with RTX полностью бесплатная, если у вас уже есть видеокарта Nvidia RTX 30XX или 40XX. Если у вас нет необходимой видеокарты, стоимость использования ИИ фактически равна стоимости покупки необходимого оборудования.

Как узнать, какая у меня видеокарта?

Вы можете узнать об установленной видеокарте без установки дополнительных программ. Для этого напишите в поиске на компьютере “Диспетчер устройств”, чтобы открыть необходимый инструмент. В разделе “Видеоадаптеры” вы увидите видеокарту, установленную на вашем устройстве:

Альтернативный способ, как узнать модель установленной видеокарты – использовать сторонние приложения, например, AIDA64.

Можно ли пользоваться инструментом онлайн?

Для установки ИИ требуется интернет, но после этого инструмент работает офлайн. Онлайн версии не существует, то есть вы не сможете без установки ПО запустить чат-бот от Nvidia.

Единственное исключение – поиск ответов внутри видео. Для этого нейросети требуется доступ к Интернету, чтобы изучить информацию внутри ролика на YouTube. Но для работы этого функционала также требуется офлайн клиент, установленный на ваш компьютер.

Как быстро ИИ отвечает на вопросы?

Скорость ответа зависит от возможностей вашего компьютера. ChatGPT или Gemini работают на облачных серверах, то есть не связаны с вашим компьютером, но скорость Chat with RTX зависит напрямую от возможностей вашего ПК.

Если ваше устройство соответствует всем минимальным системным требованиям, ответ на любой вопрос вы можете получить в течение 1-2 минут. В случае, если ваше устройство имеет 32 Гб оперативной памяти или более, а также оборудовано мощной видеокартой, например, RTX 4090, ответ генерируется за считанные секунды.

Есть ли Chat with RTX для MacOS

Нейросеть Chat with RTX работает только на Windows, версии для MacOS не существует. На данный момент нет официальных планов о портировании инструмента для компьютеров Apple.

Кому подойдет нейросеть Chat with RTX от Nvidia

Если на вашем компьютере установлена видеокарта Nvidia RTX 30XX или RTX40XX, то вы можете протестировать нейросеть Chat with RTX. Так вы на практике поймете, если решение подходит для ваших задач. Но этот инструмент нельзя считать офлайн аналогом ChatGPT или его заменой, так как две нейронки сильно отличаются.

Chat with RTX – это нейросеть для всех, кому необходим ИИ с возможностью обработки собственных данных. Например, если вы хотите обучить ИИ нужной вам информации или вам необходимы максимально актуальные ответы на ваши вопросы.

Скачать Chat with RTX стоит и тем, кто хочет быстро обрабатывать информацию в YouTube роликах без необходимости их просмотра. Искусственный интеллект не только сэкономит время на одном ролике, но и позволит обработать максимально большой объем информации в самые сжатые сроки.