本地化大模型 RWKV-Runner 更新v1.4.9 最新版本

本地化大模型 RWKV-Runner 更新v1.4.9 最新版本

更改

功能

允许与某些文档（.pdf、.txt）进行对话（实验）

将/file添加到文本api

允许avatarImg为本地绝对路径

base64预设支持

升级

升级到rwkv0.8.16（DirectML支持；rwkv5.2不再需要确保启用自定义cuda内核）

升级到webgpu 0.2.2（现在建议AMD和Intel用户使用webgpu模式）(https://github.com/josStorer/ai00_rwkv_server)

升级python包

改进

提高cuda内核兼容性（计算兼容性5.3、Jetson Nano、MX系列、Nvidia 10系列+）

RWKVType现在不再依赖于文件名（使用emb）

改善聊天页面的消息中断和重试

更新LoRA微调的sample.jsonl

更新api停止策略以获得更好的自定义user_name和assistant_name支持

编辑后的聊天信息现在标记为“正常”

将默认的世界系列前缀更改为“用户/助手”

合唱

更新manifest.json（RWKV-5）

更新自述文件和客户端文本描述

add pip—无警告脚本位置

将rwkvraven系列标记为旧型号

家务活

Fixes

修复linux内核（部分还原68228a4）

修复了Linux和macOS上的make命令，不再需要对wsl.go文件进行手动操作。（#158、#173、#207）

安装

Windows：https://github.com/josStorer/RWKV-Runner/blob/master/build/windows/Readme_Install.txt

MacOS：https://github.com/josStorer/RWKV-Runner/blob/master/build/darwin/Readme_Install.txt

Linux：https://github.com/josStorer/RWKV-Runner/blob/master/build/linux/Readme_Install.txt

服务器部署示例：https://github.com/josStorer/RWKV-Runner/tree/master/deploy-examples

Changes
Features
allow conversation with some document (.pdf, .txt) (Experimental)
add /file-to-text api
allow avatarImg to be local absolute path
base64 preset support
Upgrades
upgrade to rwkv 0.8.16 (DirectML support; rwkv 5.2 no longer needs to ensure custom cuda kernel enabled)
upgrade to webgpu 0.2.2 (WebGPU Mode is now recommended for AMD and Intel Users) (https://github.com/josStorer/ai00_rwkv_server)
upgrade python packages
Improvements
improve cuda kernel compatibility (compute compatibility 5.3, Jetson Nano, MX Series, Nvidia 10 Series+)
RWKVType now no longer relies on the file name (use emb)
improve message interruption and retry for Chat page
update sample.jsonl of LoRA finetune
update api stop strategy for better custom user_name and assistant_name support
edited chat message now is marked as Normal
change default World series prefix to User/Assistant
Chores
update manifest.json (RWKV-5)
update readme and client text description
add pip --no-warn-script-location
mark rwkv raven series as old model
chore
Fixes
fix linux kernel (partial revert 68228a4)
fix the make command on Linux and macOS, no longer need manual operations on the wsl.go file. (#158, #173, #207)
Install
Windows: https://github.com/josStorer/RWKV-Runner/blob/master/build/windows/Readme_Install.txt
MacOS: https://github.com/josStorer/RWKV-Runner/blob/master/build/darwin/Readme_Install.txt
Linux: https://github.com/josStorer/RWKV-Runner/blob/master/build/linux/Readme_Install.txt
Server-Deploy-Examples: https://github.com/josStorer/RWKV-Runner/tree/master/deploy-examples

Assets 6

https://github.com/josStorer/RWKV-Runner/releases