ging Face 和 ModelScope,可从以下仓库下载:

Hugging Face:https://huggingface.co/BlinkDL/rwkv-7-world
ModelScope:https://modelscope.cn/models/Blink_DL/rwkv-7-world

RWKV-7-World-0.4B 生成案例

以下是 RWKV-7-World-0.4B 的生成案例(使用社区 WebGPU Demo 运行):

RWKV Othello

RWKV 社区成员 @Jellyfish042 基于 RWKV-7 架构开发了 RWKV Othello 项目。

项目 GitHub 仓库: https://github.com/Jellyfish042/RWKV_Othello

RWKV Othello 项目利用 Othello(也称为反转棋或黑白棋)的 CoT 数据训练了仅 8.8M 参数的 RWKV-7-Othello 模型。

RWKV-7-Othello 模型可以和人类或其他模型自动对战 Othello 游戏,且在与人类对战时实现了非常高的胜率。

test time scaling

RWKV-7-Othello 模型支持两种推理模式:关闭搜索和开启搜索。

关闭搜索时,模型会直接预测最佳走法;开启搜索后, RWKV Othello 模型会根据搜索配置进行 cot,而且思考的 token 数越多,棋力越强(获胜概率增大)。

以下是不同的搜索配置与基线模型(深度 = 1,宽度 = 1)进行比较,测试不同搜索树深度和宽度的获胜率(模型: rwkv7_othello_26m_L10_D448_extended ,每个数据点包含 100 局游戏):

RWKV Othello 项目证明 RWKV 模型的恒定资源占用特效在做 CoT 项目时有独特的优势,同时也展示 RWKV 模型在游戏策略和决策任务中的应用潜力。
RWKV WebGPU Demo

无需下载任何应用,在浏览器中运行 RWKV-7-World 模型进行对话、解 15 谜题、音乐作曲,以及可视化查看 state 变化!

基于 web-rwkv 的 RWKV WebGPU Demo 实现了在浏览器中本地运行 RWKV-7 模型!加载模型后,模型将在浏览器中离线运行,不需要任何服务器通信。
对话功能

在 chat 界面选择一个 RWKV-7-World 模型(0.1B 或 0.4B),点击 Load Model 按钮,即可下载并运行模型进行对话。

也可以从本地目录拖动一个 RWKV-7-World 模型到灰框内运行,省略下载的过程。

解 15 谜题

15 谜题(也叫数字推盘游戏或 15 数码)是一个经典的滑块益智游戏,玩家需要在一个 4x4 的方格中放置 1-15 数字并留一个空格,然后通过滑动数字将数字按顺序排列。

在 Demo 的 15 puzzle 界面点击 New Game 按钮,可以设置一局全新的 15 谜题。

点击 start 按钮,WebGPU Demo 会运行 RWKV-puzzle15 模型自动解开当前的 15 谜题,左侧则显示模型的 CoT 推理过程。

RWKV 作曲功能

在 Demo 的 Music 界面,可以驱动 RWKV ABC 模型进行作曲。操作步骤:

点击 Load Model 按钮下载作曲模型
点击 prompt 下拉框选择一个 ABC 格式的 prompt
点击 Generate Music 按钮,开始作曲

 

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。