llama.cpp RISC-V 64 交叉编译实战：面向 SpacemiT SoC 的 IME 矩阵加速构建与 QEMU 仿真验证

llama.cpp RISC-V 64 交叉编译实战：面向 SpacemiT SoC 的 IME 矩阵加速构建与 QEMU 仿真验证

【免费下载链接】llama.cppLLM inference in C/C++项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp

本文基于仓库内 docs/build-riscv64-spacemit.md 展开，完整覆盖在 x86 主机上交叉编译 llama.cpp 以运行于 SpacemiT（香山/X60、A100 等）RISC-V 64 位 SoC 的全流程：工具链准备、CMake 构建选项、QEMU 仿真运行、矩阵量化类型支持矩阵，并结合ggml/src/ggml-cpu/spacemit/源码深入解释 IME1/IME2 两套矩阵扩展的自动检测与量化内核分发机制。读完后，你可以独立完成一次可部署的 riscv64 构建、在无 RISC-V 硬件的主机上仿真验证，并理解不同量化格式在不同芯片上的加速路径选择。

适用范围与硬件背景

该构建文档仅针对 SpacemiT 的 RISC-V SoC（原文档开头即以 IMPORTANT 注明）。从运行时源码看，llama.cpp 支持的 SpacemiT 核心架构定义在 ggml/src/ggml-cpu/spacemit/ime_env.h 中：

运行时的核心识别逻辑在 ime_env.cpp：解析/proc/cpuinfo中每个 processor 的marchid，并与内置映射表比对。文档性能章节给出的marchid（如 X60 为0x8000000058000001、A100 为0x8000000041000002）与映射表一致，可印证芯片型号识别方式。

两套加速能力在 ggml/src/ggml-cpu/cmake/FindSMTIME.cmake 中定义：

• IME1：通过尝试编译内联汇编vmadot v2, v0, v1检测，能力齐备则定义RISCV64_SPACEMIT_IME1；
• IME2：需要vmadot ... , i4（4-bit 点积累加）同时支持vpack.vv与vnspack.vv（打包/解包指令）才定义RISCV64_SPACEMIT_IME2；
• 若编译器为 GCC ≥ 15，march 字符串还会追加_xsmtvdotii（见 ggml/src/ggml-cpu/CMakeLists.txt）。

检测出的规格以宏的形式注入编译，见 CMakeLists.txt：target_compile_definitions(... GGML_USE_CPU_RISCV64_SPACEMIT ${RISCV64_SPACEMIT_IME_SPEC})，随后加入spacemit/目录下的全部内核源文件（ime.cpp、ime1_kernels.cpp、ime2_kernels.cpp、rvv_kernels.cpp、spine_mem_pool.cpp等）。

第一步：准备 RISC-V 交叉工具链

在 x86_64 主机上交叉编译，先下载 SpacemiT 官方工具链（来自原文档）：

wget https://github.com/spacemit-com/toolchain/releases/download/v1.2.4/spacemit-toolchain-linux-glibc-x86_64-v1.2.4.tar.xz

解压后必须导出根目录环境变量，这是构建的硬性前提：

export RISCV_ROOT_PATH={your_compiler_path}

工具链文件 cmake/riscv64-spacemit-linux-gnu-gcc.cmake 的机制值得注意：

• 若主机本身就是 riscv 架构（CMAKE_HOST_SYSTEM_PROCESSOR以riscv开头），则走本机原生编译分支，不再需要交叉工具链；
• 否则从RISCV_ROOT_PATH环境变量读取编译器路径，未设置时直接FATAL_ERROR（第 9–13 行），并配置riscv64-unknown-linux-gnu-gcc/g++/strip与 sysroot；
• 统一追加编译标志（第 27–29 行）：

set(CMAKE_C_FLAGS "-march=rv64gcv_zfh_zvfh_zba_zicbop -mabi=lp64d -fno-tree-vectorize -fno-tree-loop-vectorize ${CMAKE_C_FLAGS}")

其中-fno-tree-vectorize系列标志用于关闭 GCC 的自动向量化，因为 SpacemiT 内核使用的是显式 RVV/IME 汇编，自动向量化反而可能干扰；链接阶段追加-latomic。此外CMAKE_FIND_ROOT_PATH_MODE_*设置为ONLY/NEVER，确保交叉链接只使用目标 sysroot 中的库与头文件。

第二步：CMake 配置与构建

原文档给出的完整构建脚本如下（需启用GGML_CPU_RISCV64_SPACEMIT，并配合 RISC-V 向量扩展选项）：

cmake -B build \ -DCMAKE_BUILD_TYPE=Release \ -DGGML_CPU_RISCV64_SPACEMIT=ON \ -DGGML_CPU_REPACK=OFF \ -DLLAMA_OPENSSL=OFF \ -DGGML_RVV=ON \ -DGGML_RV_ZVFH=ON \ -DGGML_RV_ZFH=ON \ -DGGML_RV_ZICBOP=ON \ -DGGML_RV_ZIHINTPAUSE=ON \ -DGGML_RV_ZBA=ON \ -DCMAKE_TOOLCHAIN_FILE=${PWD}/cmake/riscv64-spacemit-linux-gnu-gcc.cmake \ -DCMAKE_INSTALL_PREFIX=build/installed cmake --build build --parallel $(nproc) --config Release pushd build make install popd

各选项的作用（结合源码逐一说明）：

构建产物为build/bin/下的llama-cli、llama-server等可执行文件。

第三步：QEMU 仿真验证（无 RISC-V 硬件时）

原文档提供了在 x86 等架构上用 QEMU 仿真运行构建产物的方法：

1. 下载 SpacemiT 定制版 QEMU：

wget https://archive.spacemit.com/spacemit-ai/qemu/jdsk-qemu-v0.0.14.tar.gz

2. 运行仿真（以llama-cli加载 Qwen2.5-0.5B 模型为例）：

export QEMU_ROOT_PATH={your QEMU file path} export RISCV_ROOT_PATH_IME1={your RISC-V compiler path} ${QEMU_ROOT_PATH}/bin/qemu-riscv64 -L ${RISCV_ROOT_PATH_IME1}/sysroot \ -cpu max,vlen=256,elen=64,vext_spec=v1.0 \ ${PWD}/build/bin/llama-cli -m ${PWD}/models/Qwen2.5-0.5B-Instruct-Q4_0.gguf -t 1

要点解析：

• -L ${RISCV_ROOT_PATH_IME1}/sysroot指定 guest 的库搜索根目录，即交叉工具链自带的 glibc sysroot，保证动态链接可解析；
• -cpu max,vlen=256,elen=64,vext_spec=v1.0选择 QEMU 最完整的 CPU 模型，向量寄存器长度设为 256 位（与 X60 的 RVV 宽度匹配），向量扩展规范锁定为 v1.0；
• 仿真主要用于功能验证（指令正确性、模型加载、推理链路），不代表真实性能，性能数据以真机运行为准。

另外，仿真环境还有一个特殊处理：QEMU 下/proc/cpuinfo拿不到真实的marchid，spine_core_info::get_spine_core_info()会返回空列表，此时 ime_env.cpp 会回退到读取SPACEMIT_CORE_ARCH环境变量（十六进制架构 ID）来伪造核心架构信息；若两者都拿不到，构造函数会直接抛出 "Failed to get SPACEMIT_CORE_ARCH from environment or failed to parse it from /proc/cpuinfo" 异常。因此仿真 SpacemiT 后端时，建议按目标芯片设置该变量（例如SPACEMIT_CORE_ARCH=A064模拟 A100 的 IME2 路径）。

量化类型支持矩阵：X60 与 A100

原文档给出了矩阵乘法量化支持表：

这张表与源码中的 repack 类型分发表完全对应。ggml_riscv64_spacemit_get_optimal_repack_type 按张量类型选择专用矩阵内核，其选择逻辑同时受编译宏（RISCV64_SPACEMIT_IME1/IME2）与运行时核心架构（use_ime1/use_ime2）双重约束：

• IME1 路径（X60/A60、X100 核心，要求行维度ne[1] % 16 == 0）：仅 Q4_0、Q4_1、Q4_K 三种类型有 16×32 形状的 IME1 内核——与表中 X60 一列严格一致；
• IME2 路径（A100 核心，要求ne[1] % 32 == 0）：Q2_K、Q3_K、Q4_0（另有ne[0] % 256 == 0时的 32×256 变体）、Q4_1、Q4_K、Q5_0、Q5_1、Q5_K、Q6_K、Q8_0 全部具备 32×32 形状的 IME2 内核——与表中 A100 一列严格一致；
• 未命中任何专用内核的张量会回退到通用 RVV 基线实现（rvv_impl），保证可运行但吞吐较低；
• GGML_TYPE_MXFP4在 ime.cpp 中尚为 TODO 注释状态，暂未启用。

值得注意的一个细节：IME1 与 IME2 的选择由运行时核心架构自动决定（ime_env.cpp：perfer_core_arch_id为 A60/X100 时置use_ime1，为 A100 时置use_ime2）。X60 SoC 的混合核心（通用核 + 少量 AI 核）在初始化时有专门处理：8 核且前 4 核为 x60 架构时，会把前 4 核按 a60 对待（ime_env.cpp），这正是 "X60 只支持 Q4_0/Q4_1/Q4_K" 的硬件根源。

运行时调优环境变量

除构建期选项外，SpacemiT 运行时还提供一组环境变量（全部解析逻辑位于 ggml/src/ggml-cpu/spacemit/ime_env.cpp），原文档未展开，此处补充：

这些变量在模型加载初始化阶段一次性读取并缓存于全局global_spine_env_info（ime_env.h），配合-v详细日志可以看到核心的解析结果（num_cores、num_perfer_cores、use_ime1/use_ime2、mem_backend、cpu_mask等）。

官方性能参考数据

以下为原文档给出的真机llama-bench风格基准（均为 CPU 后端，n_ubatch=128、启用 Flash Attention），引用时请注意测试条件与模型规模：

Spacemit(R) X60（marchid: 0x8000000058000001，4 线程，RVV 宽度 256 位）：

Spacemit(R) A100（marchid: 0x8000000041000002，8 线程）：

从数据可以看出两点：A100 的 IME2 矩阵核心在 0.6B 小模型上的 prompt 处理吞吐（565 t/s）显著高于 X60（49 t/s），印证了 IME2 更宽的矩阵单元；而 X60 上测试的模型均为 Q4_1/Q4_0 量化，正好落在 IME1 支持矩阵内——若给 X60 使用 Q2_K/Q5_K 等量化则会退回 RVV 基线路径。

小结：关键路径速查

需要强调的是：该路径只适用于 SpacemiT SoC；其他 RISC-V 64 平台（如通用 RVV 芯片）应走不带GGML_CPU_RISCV64_SPACEMIT的标准GGML_RVV构建。所有性能数字仅反映文档所列机型与量化组合，换用其他硬件或量化类型前应先自行基准测试。

【免费下载链接】llama.cppLLM inference in C/C++项目地址: https://gitcode.com/GitHub_Trending/ll/llama.cpp