- 人工智能
- 大模型
- 模型量化
- 本地部署
【免费下载链接】JevK5-chat-mlx-8bit
JevK5-chat-mlx-8bit是一款专为 Apple Silicon（M 系列芯片）优化的本地部署大模型：它是基于 Qwen3.5 系架构（qwen3_5_text）的决策模型 JevK5 的8-bit MLX 量化版本，约 3.9B 参数，支持 262,144 tokens 超长上下文，在 8GB 统一内存的 MacBook 上即可流畅对话与推理。数据全部留在本地，隐私零外泄 📦。
🧠 JevK5-chat-mlx-8bit 是什么？
| 特性 | 说明 |
|---|---|
| 架构 | Qwen3_5ForCausalLM（model_type:qwen3_5_text） |
| 参数量 | 约 3.9B |
| 上下文长度 | 262,144 tokens |
| 量化 | 8-bit（平均每权重 8.25 bits，group_size 64） |
| 磁盘 / 显存占用 | 约 4.2 GB |
| 运行框架 | MLX（Apple 原生 GPU 格式） |
| 定位 | 对话 + 决策场景（tags 中的decision-model、system-one、typed-decisions） |
| 许可证 | Apache-2.0（可自由商用） |
它由社区通过 mlx-lm 将源模型 alibiserikbay/JevK5 转换为 MLX 格式，转换记录可查阅 conversion_metadata.json（转换耗时约 30 秒，输出 4.2 GB）。模型结构细节都写在 config.json 中，例如 32 层混合注意力（线性注意力 + 全注意力）、8-bit 量化配置等。
🚀 30 秒快速上手：本地部署三步走
第一步：安装 mlx-lm
pip install mlx-lm第二步：启动交互式对话
mlx_lm.chat --model SirSahOl/JevK5-chat-mlx-8bit第三步（可选）：Python API 调用
from mlx_lm import load, generate model, tokenizer = load("SirSahOl/JevK5-chat-mlx-8bit") # 用 tokenizer.apply_chat_template 拼装多轮消息后调用 generate 即可完整用法见 README.md 的 Quick Start 部分。得益于内置的 chat_template.jinja，模型还支持标准工具调用（function calling）格式，tool_parser_type为qwen3_coder（见 tokenizer_config.json），可以接进你的本地 Agent 工作流 🔌。
⚡ 性能实测：M1 芯片 8GB 也能跑
官方在 Apple M1（8GB 统一内存）上做了 5 轮平均测试（256 max tokens），原始数据见 benchmark_results.json：
| 指标 | 4-bit | 8-bit（本仓库） |
|---|---|---|
| 生成速度 | 17.97 tok/s | 10.35 tok/s |
| 首 token 延迟（TTFT） | 55.74 ms | 96.71 ms |
| 峰值内存 | 420.9 MB | 59.7 MB |
8-bit 版本生成速度接近每秒 10 个 token，阅读级流畅度，且精度损失极小，属于"近乎无损推理"的甜点档 🎯。
🎛 4-bit / 8-bit / 16-bit 怎么选？
根据你的硬件内存对号入座（详见 README.md）：
| 你的硬件 | 推荐精度 | 理由 |
|---|---|---|
| 8GB – 16GB 统一内存 | 4-bit | 速度最快，可一边开 IDE 一边跑模型 |
| 18GB – 36GB（Pro/Max） | 8-bit（本仓库） | 推理质量更高，内存宽裕 |
| 36GB – 192GB（Max/Ultra） | 16-bit | 未量化全精度，适合研究与评测 |
一句话建议：16GB 以上内存选 8-bit；想同时开浏览器和 IDE 就选 4-bit。
🛠 在 LM Studio / Ollama 中部署
在本地推理运行时里，务必配置 3 个 stop token 防止对话循环失控：``、`
- 人工智能
- 大模型
- 模型量化
- 本地部署
【免费下载链接】JevK5-chat-mlx-8bit
相关推荐
MLX-Examples终极指南：在Apple Silicon上从零部署LLaMA模型
MLX Examples终极指南：在Apple Silicon上从零部署LLaMA模型 想要在Apple Silicon设备上轻松运行大型语言模型吗？🤔 ML
示例工程一文看懂Qwen2.5-Coder-1.5B-Instruct_rai_1.8.0_hybrid：AMD Ryzen AI本地大模型终极入门指南
一文看懂Qwen2.5 Coder 1.5B Instruct_rai_1.8.0_hybrid：AMD Ryzen AI本地大模型终极入门指南 Qwen2.5
Qwen3.8-27B-MTP-nvfp4：Apple Silicon本地大模型的239MB"加速器"，一文看懂MTP投机解码
Qwen3.8 27B MTP nvfp4：Apple Silicon本地大模型的239MB"加速器"，一文看懂MTP投机解码 Qwen3.8 27B MTP
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
