NVIDIA 最近发布了一款利用RTX AI 加速技术打造的聊天机器人——「Chat with RTX」早期演示程序。只要你拥有配备8GB显存的NVIDIA RTX 30或40系列显卡,就能体验到这一新技术。其亮点在于,用户可以向大型语言模型提供txt、doc、pdf文件或视频链接,从而定制模型以提供个性化的回答。索引工作在本机上进行,因此无需担心隐私问题。

系统要求

平台Windows
图形处理器NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU,具有至少 8GB VRAM
内存16GB 或更大
操作系统Windows 11
驱动535.11 或更高版本

 

官方下载:【点击前往

 

Chat with RTX 支持各种文件格式,包括文本、pdf、doc/docx 和 xml。只需将应用程序指向包含文件的文件夹,它就会在几秒钟内将它们加载到库中。此外,您可以提供 YouTube 播放列表的网址,应用程序将加载播放列表中视频的转录,使您能够查询它们涵盖的内容。

Chat with RTX 技术演示是根据GitHub上提供的 TensorRT-LLM RAG 开发人员参考项目构建的。开发人员可以使用该参考来开发和部署自己的基于 RAG 的 RTX 应用程序,并由 TensorRT-LLM 加速。

 

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。