10分钟上手Intern-S2-Preview-397B：从部署到首次推理的完整指南
【免费下载链接】Intern-S2-Preview-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-Preview-397B
Intern-S2-Preview-397B是一款功能强大的多模态基础模型，专为科学智能和长程任务设计。它通过创新的视觉-语言预训练范式、大规模多任务强化学习和长程智能体强化学习，在通用推理、科学问题解决和智能体能力方面实现了显著提升。本指南将帮助你在10分钟内完成从环境准备到模型部署及首次推理的全过程。
模型简介：为什么选择Intern-S2-Preview-397B？
Intern-S2-Preview-397B具备三大核心特性，使其在开源模型中脱颖而出：
全新预训练范式：直接从科学文献原始页面学习，在共享表示空间中联合建模符号语义和视觉关系，无需中间解析，增强了空间和视觉推理能力。
科学模态推理与生成：通过跨20多个领域的多样化科学强化学习任务训练，在通用推理性能上领先开源模型，并在生物分子相互作用设计、材料结构生成等专业科学任务中表现出色。
通用与科学长程智能体：将多个智能体框架连接到大规模沙盒环境进行黑盒智能体强化学习，提高了通用和科学领域长程任务的泛化能力和性能上限。
硬件准备：快速部署的基础要求
为确保模型顺利运行，建议使用以下硬件配置：
- 推荐配置：H100 (x8) 或 H200 (x8) 节点
- 最低要求：具备足够显存的GPU，支持LMDeploy、vLLM或SGLang等推理框架
环境搭建：3步完成准备工作
1. 克隆项目仓库
首先，克隆Intern-S2-Preview-397B项目仓库到本地：
git clone https://gitcode.com/InternLM/Intern-S2-Preview-397B cd Intern-S2-Preview-397B2. 安装依赖项
根据你选择的部署框架，安装相应的依赖：
LMDeploy (>=0.14.0)：
pip install lmdeploy>=0.14.0vLLM (>=v0.22.1)：
pip install vllm>=0.22.1SGLang (>=v0.5.13)：
pip install sglang>=0.5.13
3. 模型文件检查
确保项目目录中包含必要的模型文件，如：
model-00001-of-00190.safetensors等模型权重文件tokenizer.json和vocab.json等分词器文件configuration_interns2_preview.py模型配置文件
部署指南：3种框架任选，快速启动服务
LMDeploy部署（推荐）
LMDeploy是一款高效的LLM部署工具，支持多种优化策略。以下是基本部署命令：
# 启动代理服务器 lmdeploy serve proxy --server-name 0.0.0.0 --server-port 23333 # 启动API服务器 lmdeploy serve api_server \ ./ \ --trust-remote-code \ --backend pytorch \ --dp 4 \ --ep 8 \ --enable-prefix-caching \ --proxy-url http://0.0.0.0:23333 \ --reasoning-parser default \ --tool-call-parser interns2-preview如需启用MTP推测解码加速推理，可添加相关参数：
--speculative-algorithm qwen3_5_mtp \ --speculative-num-draft-tokens 4 \ --max-batch-size 256vLLM部署
vLLM以其高效的PagedAttention机制著称，适合高并发场景：
export VLLM_DEEP_GEMM_WARMUP=skip export VLLM_USE_DEEP_GEMM=0 export VLLM_FLASHINFER_MOE_BACKEND=latency vllm serve ./ \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 \ --mm-encoder-tp-mode dataSGLang部署
SGLang提供灵活的推理控制，适合需要定制推理流程的场景：
python3 -m sglang.launch_server \ --model-path ./ \ --trust-remote-code \ --tp-size 8 \ --mem-fraction-static 0.8 \ --enable-flashinfer-allreduce-fusion \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder首次推理：简单3步体验模型能力
1. 准备推理参数
推荐使用以下采样参数以获得最佳结果：
top_p = 0.95 top_k = 50 min_p = 0.0 temperature = 0.82. 使用OpenAI兼容API调用模型
部署完成后，可通过OpenAI兼容API进行推理：
from openai import OpenAI client = OpenAI( api_key="EMPTY", base_url="http://0.0.0.0:23333/v1" # 根据实际部署地址调整 ) messages = [ {"role": "user", "content": "请解释什么是量子计算，并举例说明其潜在应用。"} ] response = client.chat.completions.create( model="internlm/Intern-S2-Preview-397B", messages=messages, temperature=0.8, top_p=0.95, max_tokens=1024 ) print(response.choices[0].message.content)3. 检查推理结果
成功运行后，你将看到模型返回的关于量子计算的解释和应用举例。这表明你已成功完成Intern-S2-Preview-397B的部署和首次推理！
高级功能：释放模型全部潜力
工具调用能力
Intern-S2-Preview-397B支持工具调用，可扩展其能力：
# 定义工具函数 def get_current_temperature(location: str, unit: str = "celsius"): """获取指定位置的当前温度""" # 实现细节... # 调用工具 tools = [{"type": "function", "function": {...}}] # 工具定义 response = client.chat.completions.create( model="internlm/Intern-S2-Preview-397B", messages=messages, tools=tools, tool_choice="auto" )思维模式切换
模型默认启用思维模式以增强推理能力，可根据需求禁用：
response = client.chat.completions.create( model="internlm/Intern-S2-Preview-397B", messages=messages, extra_body={"chat_template_kwargs": {"enable_thinking": False}} )长上下文推理
通过配置YaRN RoPE参数，支持超长文本处理：
# LMDeploy长上下文部署示例 lmdeploy serve api_server \ ./ \ --session-len 512000 \ --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}'常见问题解决：快速排查部署难题
显存不足
- 解决方案：减少
--tensor-parallel-size或--dp参数，或使用模型并行技术。
推理速度慢
- 解决方案：启用MTP推测解码，或调整
--max-batch-size参数优化吞吐量。
API连接失败
- 解决方案：检查服务是否启动，端口是否正确，网络是否通畅。
总结：开启你的AI探索之旅
通过本指南，你已成功部署Intern-S2-Preview-397B并完成首次推理。这款强大的多模态模型将为你的科学研究、智能应用开发提供有力支持。如需深入了解更多功能，请参考项目中的部署指南和源代码文件，如configuration_interns2_preview.py。
现在，尽情探索Intern-S2-Preview-397B带来的无限可能吧！🚀
【免费下载链接】Intern-S2-Preview-397B项目地址: https://ai.gitcode.com/InternLM/Intern-S2-Preview-397B
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
