升级Qwen3-1.7B后，金融推理体验大幅提升实录-开发者社区

升级Qwen3-1.7B后，金融推理体验大幅提升实录

1. 背景与升级动因

随着大语言模型在金融分析、智能投研等专业领域的深入应用，对模型的逻辑推理能力、上下文理解精度以及响应稳定性提出了更高要求。此前使用的Qwen系列模型虽已具备较强的通用语义理解能力，但在处理复杂金融问题时仍存在推理链条断裂、答案冗余或信息提取不准确等问题。

2025年4月29日，阿里巴巴集团正式开源新一代通义千问大语言模型系列——Qwen3（千问3），涵盖从0.6B到235B的多种参数规模，并引入混合专家（MoE）架构。其中Qwen3-1.7B模型凭借其轻量级部署优势和显著提升的思维链（Chain-of-Thought, CoT）推理能力，在边缘设备和本地化服务场景中展现出巨大潜力。

本文记录了将原有模型升级至 Qwen3-1.7B 后，在金融问答任务中的实际表现变化，并结合 LangChain 集成调用、LoRA 微调优化及推理性能测试，全面展示其在真实业务场景下的改进效果。

2. 环境搭建与基础调用

2.1 启动镜像并接入 Jupyter

通过 CSDN 提供的 Qwen3-1.7B 镜像快速启动开发环境，内置 Jupyter Notebook 支持交互式调试与实验验证。镜像已预装 Hugging Face Transformers、LangChain、Accelerate 等核心依赖库，极大简化了部署流程。

进入 Jupyter 后，可通过以下方式调用远程 API 接口进行模型测试：

from langchain_openai import ChatOpenAI import os chat_model = ChatOpenAI( model="Qwen3-1.7B", temperature=0.5, base_url="https://gpu-pod69523bb78b8ef44ff14daa57-8000.web.gpu.csdn.net/v1", # 替换为当前实例地址 api_key="EMPTY", extra_body={ "enable_thinking": True, "return_reasoning": True, }, streaming=True, ) response = chat_model.invoke("你是谁？") print(response.content)

关键配置说明：
enable_thinking=True：启用内部思维过程生成，增强复杂问题的推理深度。
return_reasoning=True：返回<think>...</think>格式的中间推理步骤，便于审计与可解释性分析。
streaming=True：支持流式输出，提升用户交互体验。

该接口调用成功返回如下结构化响应示例：

<think> 首先需要明确“流动性风险”的定义……接着结合银行资产负债表特征分析……最后提出应对策略。 </think> 流动性风险是指金融机构无法及时获得充足资金……

这一机制使得模型不仅给出答案，还能呈现完整的金融逻辑推导路径，显著优于传统黑箱式输出。

3. LoRA 微调提升领域适应性

尽管 Qwen3-1.7B 原生具备较强的语言理解能力，但针对特定金融子领域（如财报解读、信贷评估、市场趋势预测）仍需进一步专业化训练。为此，采用低秩自适应（LoRA）微调技术对模型进行增量训练。

3.1 数据集准备与格式构建

使用公开金融问答数据集 question_answer.xlsx，筛选出包含上下文信息且属于训练集的样本。

构建指令模板如下：

def build_sample(row): prompt = """ 你是一个金融分析师，擅长根据所获取的信息片段，对问题进行分析和推理。 你的任务是根据所获取的信息片段（<context></context>之间的内容）回答问题。 回答保持简洁，不必重复问题，不要添加描述性解释和与答案无关的任何内容。 已知信息： <context> {context} </context> 问题： {question} 请回答： """.replace("{context}", row['context']).replace("{question}", row['question']).strip() + '/no_think' return prompt

标签侧则强制保留<think>结构以匹配推理模式输出：

df['output'] = df['answer'].apply(lambda x: '<think>\n</think>' + x)

最终转换为对话格式数据集：

[ { "role": "user", "content": "你是一个金融分析师...\n请回答：/no_think" }, { "role": "assistant", "content": "<think>\n</think>2023年全球经济增长动力持续回落..." } ]

3.2 环境依赖与模型加载

安装必要的高效训练组件：

pip install --no-deps bitsandbytes accelerate xformers==0.0.29.post3 peft trl==0.15.2 triton cut_cross_entropy unsloth_zoo pip install sentencepiece protobuf "datasets>=3.4.1" huggingface_hub hf_transfer pip install transformers==4.51.3 pip install --no-deps unsloth

拉取原始模型权重：

git clone https://huggingface.co/Qwen/Qwen3-1.7B

使用 Unsloth 加速框架加载模型并注入 LoRA 层：

from unsloth import FastLanguageModel import torch model, tokenizer = FastLanguageModel.from_pretrained( model_name="/kaggle/working/Qwen3-1.7B", max_seq_length=4096, load_in_4bit=True, ) model = FastLanguageModel.get_peft_model( model, r=32, target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"], lora_alpha=32, lora_dropout=0, bias="none", use_gradient_checkpointing="unsloth", random_state=3407, )

Unsloth 的引入使训练显存占用降低 30%，同时支持更大的 batch size，有效提升了训练效率。

3.3 训练过程与参数设置

基于 TRL 库的 SFTTrainer 实现监督微调：

from trl import SFTTrainer, SFTConfig trainer = SFTTrainer( model=model, tokenizer=tokenizer, train_dataset=train_dataset, args=SFTConfig( dataset_text_field="text", per_device_train_batch_size=2, gradient_accumulation_steps=4, warmup_steps=5, max_steps=200, learning_rate=2e-4, logging_steps=1, optim="adamw_8bit", weight_decay=0.01, lr_scheduler_type="cosine", seed=3407, report_to="none", ) ) trainer_stats = trainer.train()

训练过程中 loss 曲线平稳下降，约 150 步后趋于收敛，表明模型已较好地拟合金融问答模式。

3.4 模型保存与合并

完成微调后，分别保存 LoRA 权重与合并后的完整模型：

version = "1.0" model.save_pretrained("lora_model") tokenizer.save_pretrained("lora_model") # 合并 LoRA 到主干，生成 16-bit 精度模型 model.save_pretrained_merged(f"model_{version}", tokenizer, save_method="merged_16bit")

合并后的模型可脱离 PEFT 框架独立运行，适用于生产环境部署。

3.5 推送至 Hugging Face Hub

为便于共享与复用，将模型推送至 Hugging Face：

try: model.push_to_hub_merged( "fengn/qwen3", tokenizer, save_method="merged_16bit", token="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" ) print("成功推送合并模型") except Exception as e: print(f"合并推送失败: {e}") # 回退标准推送 model.push_to_hub("fengn/qwen3", token="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") tokenizer.push_to_hub("fengn/qwen3", token="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") print("成功推送标准模型")

4. 推理测试与效果对比

4.1 加载合并后模型进行本地推理

清理显存并加载微调后模型：

import torch import gc from transformers import AutoModelForCausalLM, AutoTokenizer torch.cuda.empty_cache() gc.collect() device = "cuda" if torch.cuda.is_available() else "cpu" model_path = "/kaggle/working/model_1.0" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16 if device == "cuda" else torch.float32, trust_remote_code=True, low_cpu_mem_usage=True ).to(device)

定义推理函数：

def inference_with_context(context, question, model, tokenizer): input_text = f""" 你是一个金融分析师…… 已知信息： <context> {context} </context> 问题： {question} 请回答： """.strip() + '/no_think' inputs = tokenizer(input_text, return_tensors="pt").to(device) outputs = model.generate(**inputs, max_new_tokens=512, pad_token_id=tokenizer.eos_token_id) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response.split("请回答：")[-1].strip().replace("/no_think", "")

4.2 实际案例测试

输入一段财报信息：

某科技公司2023年第三季度财报显示： - 营业收入：120亿元，同比增长25% - 净利润：18亿元，同比增长30% - 研发投入：15亿元，占营收的12.5% - 现金流：净流入8亿元 - 主要业务：云计算服务、人工智能解决方案

提问：“基于这些财务数据，该公司的盈利能力和成长性如何？”

微调后模型输出：

<think> 首先分析盈利能力指标：净利润率为18/120=15%，处于较高水平；研发投入占比12.5%说明技术驱动明显。 再看成长性：营收增长25%、利润增长30%，增速高于行业平均，体现良好扩张势头。 现金流健康，支撑持续投资。 </think> 该公司具备较强的盈利能力（净利率15%）和高成长性（营收+25%，利润+30%），研发投入力度大，现金流充裕，整体财务状况健康，未来发展潜力较大。

相比原版模型仅简单罗列数据，微调版本能主动计算关键比率、识别增长动因，并做出综合判断，体现出更强的专业性和逻辑组织能力。