1.环境配置
首先安装vLLM和其他需要的依赖：
!pip install -q "vllm>=0.8.5"WARNING: huggingface-hub 0.30.2 does not provide the extra 'hf-xet' WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv!pip install -q openaiWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv2.API 服务
你需要打开一个 终端（Terminal），运行以下命令来启动 API 服务，首先设置环境变量，启动 vLLM 服务并加载 Qwen3-8B 模型，同时设置最大输入长度和 GPU 内存利用率。
export VLLM_USE_MODELSCOPE=true vllm serve Qwen/Qwen3-8B --max-model-len 8192 --gpu-memory-utilization 0.95模型加载会需要几分钟的时间
运行后你会看到以下日志，表示服务启动成功：
3.调用 API 与模型对话
使用OpenAI官方 Python 库连接本地部署的 vLLM 接口。通过设置 api_key 为 "EMPTY"（vLLM 默认不做认证）以及将API地址指向本地运行的vLLM服务（http://localhost:8000/v1），我们就可以像调用 OpenAI 官方接口一样使用本地部署的 Qwen3-8B 模型进行聊天、补全等任务。
from openai import OpenAI openai_api_key = "EMPTY" openai_api_base = "http://localhost:8000/v1" client = OpenAI( api_key=openai_api_key, base_url=openai_api_base, )我们向本地部署的 Qwen3-8B 模型发起一次对话，其输出受 temperature 和 top_p 控制，以平衡创造性与合理性。生成的回复最长设置为 1024 个 token。
response = client.chat.completions.create( model="Qwen/Qwen3-8B", messages=[ {"role": "user", "content": "用中文介绍一下大语言模型的作用"}, ], temperature=0.6, top_p=0.95, max_tokens=1024, ) print("Chat response:", response.choices[0].message.content)Chat response: <think>
好的，用户让我用中文介绍一下大语言模型的作用。首先，我需要明确大语言模型的定义和主要功能。大语言模型，比如像GPT、BERT这样的模型，它们是基于大量文本数据训练的，能够理解和生成自然语言。
接下来，用户可能想知道这些模型在哪些领域有应用。常见的应用场景包括自然语言处理任务，比如文本生成、翻译、问答系统、情感分析等。可能还需要提到它们在客服、教育、医疗等行业的具体应用案例。
另外，用户可能对技术细节不太了解，所以需要避免使用太多专业术语，用通俗易懂的语言解释。同时，要强调大语言模型的优势，比如处理复杂任务的能力、多语言支持、持续学习等。
还要考虑用户可能的深层需求。他们可能想了解大语言模型的实际价值，或者是否适合自己使用。因此，可以提到这些模型如何提高效率、降低成本，或者在创新方面的潜力。
需要确保信息准确，比如提到训练数据量、参数规模，但不用太详细。还要注意结构清晰，分点介绍，这样用户容易理解。最后，可能需要提醒一些注意事项，比如数据隐私、伦理问题，但用户的问题主要是作用，这部分可能不需要深入，除非用户有进一步的问题。
总结一下，回答应该包括定义、核心能力、应用场景、优势、实际影响，以及可能的注意事项。保持语言简洁明了，符合中文表达习惯。
</think>
大语言模型（Large Language Models，LLM）是人工智能领域的重要成果，其核心作用在于通过深度学习技术理解和生成自然语言，从而实现与人类类似的语言交互能力。以下是其主要作用和应用：
---
### **1. 自然语言理解与生成**
- **文本生成**：根据输入内容创作文章、故事、诗歌、代码等，例如撰写新闻稿、编写程序代码或生成创意文案。
- **问答系统**：回答用户提出的复杂问题，涵盖知识问答、逻辑推理、多步骤问题等，例如智能客服、学术研究辅助。
- **多语言支持**：支持多种语言的翻译、跨语言对话和内容创作，打破语言障碍。
---
### **2. 提升效率与智能化**
- **自动化任务**：替代重复性人工工作，如文档整理、数据标注、邮件撰写等，节省时间成本。
- **个性化服务**：根据用户需求定制内容，例如推荐系统、个性化学习计划或定制化营销文案。
- **知识整合**：从海量文本中提取关键信息，帮助用户快速获取所需知识，例如总结报告、分析市场趋势。
---
### **3. 创新与探索**
- **创意辅助**：为艺术家、作家、设计师提供灵感，例如生成故事情节、设计广告方案或优化产品描述。
- **科学研究**：辅助学术研究，例如文献综述、假设生成、实验设计等，加速科研进程。
- **跨领域应用**：结合其他技术（如图像识别、语音合成）实现更复杂的交互，例如虚拟助手、智能音箱等。
---
### **4. 实际应用场景**
- **企业服务**：用于客服机器人、智能客服、商业分析、市场调研等。
- **教育领域**：辅助教学内容生成、个性化学习路径设计、自动批改作业等。
- **医疗健康**：支持医学文献检索、患者咨询、疾病预测等。
- **娱乐与媒体**：生成剧本、创作音乐歌词、优化内容推荐算法等。
---
### **5. 技术优势**
- **强大的语言理解能力**：能够处理复杂语义、上下文关联和多轮对话。
- **持续学习能力**：通过不断训练和更新，适应新知识和用户需求。
- **高扩展性**：可集成到各类系统中，灵活应用于不同场景。
---
### **注意事项**
- **数据隐私**：需确保训练数据和用户信息的安全性。
- **伦理问题**：避免生成虚假信息、歧视性内容或侵犯版权。
- **技术局限**：当前模型仍存在理解偏差、逻辑错误等问题，需结合人工审核。
---
总之，大语言模型正在深刻改变人类与信息交互的方式，推动各行各业的智能化升级，同时也需要在技术、伦理和应用层面持续探索与规范。
Qwen3 模型支持两种思考模式，思考模式适合处理复杂任务，如逻辑推理、多步骤计算、结构化写作等，模型在生成回答前会进行多轮思考，模拟出“逐步分析、再输出”的过程。而在非思考模式下模型提供快速、近乎即时的响应，适用于那些对速度要求高于深度的简单问题。在调用接口时，可以通过指令来切换思考模式。
chat_response = client.chat.completions.create( model="Qwen/Qwen3-8B", messages=[ {"role": "user", "content": "用中文介绍一下大语言模型的作用。"}, ], temperature=0.7, top_p=0.8, max_tokens=1024, presence_penalty=1.5, extra_body={"chat_template_kwargs": {"enable_thinking": False}}, ) print("Chat response:", chat_response.choices[0].message.content)Chat response: 大语言模型（Large Language Models，简称LLM）是一种基于深度学习的自然语言处理技术，能够理解和生成人类语言的复杂模式。它们通过在海量文本数据上进行训练，学习到语言的语法、语义和上下文关系，从而具备强大的语言理解和生成能力。
### 大语言模型的主要作用包括：
1. **文本生成**
大语言模型可以生成各种类型的文本，如文章、故事、诗歌、邮件、对话等。它可以根据给定的提示或输入内容，创作出符合语境和逻辑的新内容。
2. **问答系统**
它可以回答用户提出的问题，涵盖多个领域，如科技、文化、历史、生活常识等。通过理解问题的意图并结合已有知识，提供准确且相关的答案。
3. **翻译与多语言支持**
大语言模型可以实现多种语言之间的互译，帮助用户跨越语言障碍进行交流。例如，将中文翻译成英文，或将英文翻译成日语等。
4. **代码生成与编程辅助**
一些大语言模型具备生成代码的能力，可以根据自然语言描述编写程序代码，甚至能进行代码调试和优化，为开发者提供便利。
5. **情感分析与内容理解**
它可以分析文本的情感倾向（如积极、中性、消极），判断语气和态度，广泛应用于社交媒体监控、舆情分析等领域。
6. **个性化推荐**
在电商、娱乐等领域，大语言模型可以基于用户的兴趣和行为数据，生成个性化的推荐内容，如商品推荐、视频推荐等。
7. **智能客服与聊天机器人**
大语言模型可以用于构建智能客服系统，提供24小时在线服务，解答客户疑问，提升用户体验和效率。
8. **教育与学习辅助**
在教育领域，它可以作为虚拟教师或学习助手，帮助学生理解知识点、解答作业问题，甚至提供个性化的学习建议。
9. **内容创作与编辑**
写作工具可以借助大语言模型来辅助创作，比如撰写报告、写小说、润色文章等，提高创作效率和质量。
10. **数据分析与信息提取**
它可以从大量文本中提取关键信息，如实体识别、关键词提取、摘要生成等，辅助企业进行数据挖掘和决策支持。
### 总结
大语言模型正在深刻改变我们与信息交互的方式，其强大的语言理解和生成能力使其在多个行业和场景中发挥着越来越重要的作用。随着技术的不断发展，大语言模型的应用范围还将进一步扩大，为人们的生活和工作带来更多便利和创新。
可以看到在非思考模式下，模型输出省略了推理过程，更适合用于轻量级问答、闲聊或对响应时间有严格要求的场景。
