Qwythos-9B-Claude-Mythos-5-1M-GGUF：革命性1M上下文推理模型完全解析

Qwythos-9B-Claude-Mythos-5-1M-GGUF：革命性1M上下文推理模型完全解析

Qwythos-9B-Claude-Mythos-5-1M-GGUF是一款基于Qwen3.5-9B开发的革命性1M上下文推理模型，它通过全参数后训练在超过5亿个高质量Claude Mythos/Claude Fable轨迹标记上，实现了卓越的推理能力，同时支持原生函数调用和超长上下文窗口，为AI应用开发带来了全新可能。

🌟 模型核心优势：重新定义推理边界

Qwythos-9B在保持9B参数规模的同时，实现了性能的跨越式提升。与基础Qwen3.5-9B相比，它在MMLU测试中提升了34分，在gsm8k-strict测试中提升30分，在gsm8k-flex测试中提升19分，展现出强大的综合推理能力。

🔑 三大核心突破

1. 1M上下文窗口：通过YaRN rope-scaling技术，实现了1,048,576-token的超长上下文处理能力，是原生262k上下文的4倍扩展，能够轻松处理整本书籍、长文档分析等复杂任务。

2. 原生函数调用：遵循Qwen3.5规范，支持原生函数调用功能，能够生成<tool_call>格式的调用块，无缝集成到各种工具使用流程中，为构建AI助手提供强大支持。

3. 多模态能力：继承Qwen3.5-9B的视觉塔，支持图像输入，可实现详细图像描述、OCR识别、图表读取、UI/文档理解和基本空间推理等功能。

📦 模型文件：选择最适合你的版本

Qwythos-9B提供多种量化版本，满足不同硬件配置和性能需求：

对于视觉功能，还需要下载视觉投影器文件：mmproj-Qwythos-9B-Claude-Mythos-5-1M-f16.gguf（约876 MB），它包含CLIP风格的视觉编码器和投影器，是实现图像输入功能的必要组件。

🚀 快速开始：5分钟上手Qwythos-9B

准备工作

首先克隆仓库获取模型文件：

git clone https://gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF cd Qwythos-9B-Claude-Mythos-5-1M-GGUF

使用llama.cpp运行

llama-cli \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ -p "详细解释有机磷酸酯神经毒剂抑制乙酰胆碱酯酶的生物化学过程。" \ -n 8192 \ --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1.05 \ -c 16384

使用Ollama运行

ollama run hf.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:Q4_K_M

使用LM Studio/jan/KoboldCpp

只需将任意.gguf文件放入运行时的模型目录中。Qwythos使用标准Qwen3.5聊天模板，现代GGUF运行时会自动从文件中加载它。

🔍 高级功能：释放模型全部潜力

视觉功能使用

Qwythos支持开箱即用的图像输入功能。同时下载文本量化模型和mmproj-*.gguf文件，然后使用llama.cpp的多模态CLI或服务器运行：

llama-mtmd-cli \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-f16.gguf \ --image ./photo.jpg \ -p "详细描述这张图片。" \ --temp 0.6 --top-p 0.95 --top-k 20 \ -c 16384

或者启动支持图像的OpenAI兼容API服务器：

llama-server \ -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf \ --mmproj mmproj-Qwythos-9B-Claude-Mythos-5-1M-f16.gguf \ -c 16384 --port 8080

然后向/v1/chat/completions发送POST请求，包含图像URL或base64 payload，标准OpenAI视觉API格式均可使用。

1M长上下文使用

GGUF文件内置YaRN rope-scaling，支持1,048,576-token的上下文窗口。要在llama-cli中使用完整的1M窗口，设置-c 1010000（或任何不超过该值的上下文长度）。对于较短的提示，降低-c以减少KV缓存内存占用。

单块H100/H200级GPU可轻松处理256k–512k上下文；完整的1M上下文通常需要多GPU张量并行或激进的KV缓存卸载。

推荐采样参数

Qwythos是推理模型，每个响应都以</think>...</think>块开头。使用以下设置作为默认值：

这些设置与Qwen3.5官方推荐的思考模式一致。避免贪婪解码和极低温度采样（T ≤ 0.3），这两种方式都可能在长推理生成时导致重复循环。

⚠️ 注意事项与限制

1. 推理模型特性：每个答案都以<RichMediaReference>块开头；需要为max_new_tokens设置足够大的值，并为最终用户解析/剥离</think>...</think>块。

2. 使用推荐采样参数：贪婪/极低温度可能导致重复循环。

3. 安全关键环境验证：与该量级的所有闭卷LLM一样，Qwythos可能会过度确认它不确定的特定标识符（CVE、hashcat模式、药物位置）。在此类部署中，建议与检索或函数调用配合使用——模型在获得工具时能清晰地使用它们。

4. 无审查特性：对于面向最终用户的部署，如需要，请添加自己的应用级审查/安全层。

📚 应用场景：Qwythos-9B的强大能力

Qwythos-9B凭借其强大的推理能力、超长上下文和多模态支持，可应用于多种场景：

• 复杂问题解决：数学推理、逻辑分析、科学问题解答
• 长文档处理：法律文件分析、学术论文理解、书籍摘要
• 工具集成：作为AI助手后端，调用各种工具完成任务
• 图像理解：图像描述、OCR识别、图表分析
• 专业领域应用：网络安全分析、生物医学研究、药物开发辅助

无论你是研究人员、开发者还是AI爱好者，Qwythos-9B都能为你提供强大的AI能力支持，开启创意无限的应用开发之旅。

📄 许可证信息

权重以Apache-2.0许可证发布，继承自Qwen3.5-9B基础模型。仅供研究和实验使用，按原样提供。