deepin 25 适配进迭时空 K3:RISC-V 桌面首次跑通本地大模型

Feng 56 阅读 AI技术

deepin-ports SIG 把 deepin 25 搬上了进迭时空(SpacemiT)K3,本地 AI 模型小U同学(原 UOS AI)能在这块板子上离线跑起来。RISC-V 桌面系统第一次做到开箱即用的本地推理,不用联网、不依赖云端。

K3 的硬件底子:三域协作

K3 是全球首批完整符合 RVA 23 标准的 AI 计算芯片之一,单颗 SoC 里塞了三类核心:

  • 8 颗 X100 通用核:4 发射、乱序执行的 64 位 RISC-V CPU,单核 SpecINT 2006 大于 9.0/GHz,最高主频 2.4 GHz,8 核共享 8 MB L2,整机通用算力约 130 KDMIPS。
  • 8 颗 A100 AI 核:走自研 IME(矩阵运算扩展)指令集,8 核合计约 60 TOPS(INT4 稀疏),可跑最高 300 亿参数模型,30B 下推理速率大于 10 tokens/s。
  • 2 颗 RT24 实时核:负责系统管控与低功耗。

X100 与 A100 都带 RVV 1.0 向量扩展(VLEN 分别为 256 和 1024),共享同一套编程模型,算子不需要额外转换。芯片还集成了支持 Vulkan / OpenGLES 的 3D GPU、4K 编解码视频引擎、PCIe Gen3、USB 3.0,典型功耗 15–25 W。

系统侧怎么落地的

deepin 25 对 K3 的支持不是临时补丁,而是分三层维护:

内核与引导走 deepin-ports-kernel 仓库,维护面向 K3 的 6.18 内核分支和 u-boot;系统镜像依赖 deepin-ports-image 打包机制,跟随 deepin 主线迭代,最近同步加入了 Next(RVA 23)库支持;图形侧在 deepin-ports 仓库适配了 K3 的 GPU 驱动与固件,实机验证可正常工作。

镜像下载、分区、刷写 bootloader 的链路已经在 deepin-ports 镜像列表放出,按部署指南走即可。

Next 库:把工具链基线抬到 RVA 23

deepin 25 主线基于 RVA 20 搭建,核心组件版本对 RVA 23 新硬件已经不够用。deepin-ports SIG 单独开了 Next 仓库(RFC 见 deepin-community/rfcs#18),作为 deepin 25 的上层叠加仓库,同时启用 amd64、arm64、riscv64、loong64 四个架构构建。

它带来的是一套更高基线的基础运行库,核心工具链全局升级:GCC 15(默认)+ 16 原生完整支持 RVA 23 Profile,可直接通过 -march 参数开启相关指令集;Binutils 2.46 引入 RVA 23 的汇编与链接支持;Glibc 2.42 合入 RISC-V RVA 23 相关的字符串与内存操作优化;LLVM 21(默认)+ 22 让 Rust、Clang 构建的软件包吃满最新调优;OpenSSL 3.5 整合了 SM3、SM4、SHA512、ChaCha20 等算法的 RISC-V Vector / Zbb 汇编级调优。

这里有个工程上的取舍:Next 库尽量压缩下游 patch、直接跟随上游版本,因为维护人力有限。它同时也是 deepin 下一代版本的技术校验场。GCC 15/16 与 binutils 中 backport 了 SpacemiT K1/K3 的 IME 支持,这是跑本地 AI 的前提。

本地推理链路:从工具链到应用层

适配镜像里的小U同学,底层是基于 RVA 23 与 SpacemiT 矩阵运算私有扩展构建的本地 AI 运行时 deepin-modelhub。它针对 riscv64 下的 CPU dispatch 做了适配,能根据当前芯片能力自动选择最优算子实现。

llama.cpp 等常用的 GGML 运算库也打开了 SpacemiT 对应指令集支持,整体 variant 已在 RVA 23 库中构建并验证 RVV 加速,同时合入了 K1/K3 私有扩展的加速能力。

实际用法有两条路:直接在 小U同学 里下载并运行本地模型,得到桌面级 AI 助手体验;或者自行从库部署 llama.cpp,加载自定义 GGUF 模型,搭自己的本地推理环境。

 

实测验证与判定标准

系统起来后,用 lscpu 或 /proc/cpuinfo 能识别到 K3 的 8 颗 X100 与 8 颗 A100。跑本地模型时,任务会自动派发到 8 个 A100 AI 核。

验证推理是否真的走了 AI 核,可以看两点:一是 top 里 A100 核心的占用是否起来,二是模型加载日志里有没有命中 SpacemiT 的 IME 算子路径。如果只看到 X100 在跑,说明算子没派发到 AI 核,大概率是模型格式或运行时版本不匹配。

 

适用场景与风险提示

这套方案适合离线推理、边缘 AI 消费硬件、办公会议和内容创作场景。15–25 W 的典型功耗摆在那,长时间满负载跑 30B 模型,散热和供电要提前规划,别拿它当数据中心推理卡用。

Next 仓库目前还在持续构建和校验中,基础库与工具链会继续补全。生产环境建议等版本稳定后再上,尝鲜用体验镜像没问题。

想参与的话

K3 的最新 deepin 25 RISC-V 体验镜像已在 deepin-ports 镜像列表发布,下载、校验、刷写按部署指南走。想贡献的工程师可以申请加入 deepin-ports SIG,或者进 Matrix 研讨群交流。

Feng
这位作者很神秘,还没有填写简介。