1. XenForo 1.5.14 中文版——支持中文搜索！现已发布！查看详情
  2. Xenforo 爱好者讨论群：215909318 XenForo专区
XenForo 1.5.14 中文版 Xenforo 爱好者

新闻 RWKV-8 预览之 DeepEmbed：对端侧友好的稀疏设计，解决 MoE 显存占用 下载

本帖由 漂亮的石头 于 2025-05-28 ，12:07 发布。版面名称：软件资讯

  1. 漂亮的石头

    漂亮的石头 版主 管理成员

    注册:
    2012-02-10
    帖子:
    487,522
    赞:
    47
    RWKV-8 "Heron" 是我们的下一代架构，具有多个全新技术。在此我们首先公布其中的 DeepEmbed 技术，它可以实现类似 MoE 的优秀推理性能，同时无需占用显存，甚至无需占用内存，可以让稀疏的大模型真正部署到所有端侧设备。 推理代码：https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v8_rc00_demo.py rwkv-8-...
    RWKV-8 预览之 DeepEmbed：对端侧友好的稀疏设计，解决 MoE 显存占用下载地址
     
    漂亮的石头, 2025-05-28 ，12:07
    #1
正在加载...