实战指南：如何用 Python 从零构建一个具有 Web 浏览能力的 Agent

实战指南：如何用 Python 从零构建一个具有 Web 浏览能力的 Agent

前言

大模型的诞生让AI的语义理解和推理能力实现了质的飞跃，但知识截止性和信息局限性始终是横亘在通用人工智能面前的两大难题：你问GPT-4 2024年巴黎奥运会中国的金牌数，它会告诉你它的知识截止到2023年10月无法回答；你问最新款小米SU7的终端售价，它给出的答案可能还是半年前的发布价，完全没有参考价值。

而具备Web浏览能力的Agent，正是解决这一问题的核心方案：它能像人一样主动搜索信息、抓取网页内容、验证信息真伪，最终整合出准确、实时的答案。本文将带你从零开始，用1000行以内的Python代码，实现一个可运行、可定制、生产级可用的Web浏览Agent，所有代码均可直接复制运行。

本文目标读者：有Python基础、对大模型和Agent概念有初步了解的开发者，读完本文你将掌握：

• Web浏览Agent的核心架构与工作原理
• 大模型工具调用、搜索集成、网页抓取、语义检索全流程实现
• 生产级Agent的优化方案与最佳实践

一、核心概念与问题背景

1.1 什么是Web浏览Agent

Web浏览Agent是一类具备自主访问公开互联网能力的智能代理，它能根据用户的查询需求，自主制定搜索策略、调用搜索引擎、抓取并解析网页内容、整合多来源信息，最终输出符合用户需求的结构化答案。和传统的搜索引擎、爬虫、RAG系统不同，它具备自主决策能力，不需要人工预设规则就能完成复杂的信息查询任务。

1.2 问题背景与需求

大模型的固有缺陷决定了Web浏览能力是Agent落地的必备能力：

1. 知识截止限制：所有预训练大模型的知识都有截止时间，无法覆盖截止后的新事件、新数据、新政策
2. 动态信息缺失：商品价格、股票行情、天气、赛事结果等实时变化的信息，不可能提前预训练到模型中
3. 事实验证需求：大模型的幻觉问题需要通过多来源交叉验证才能解决，Web信息是最核心的验证依据
4. 长尾场景覆盖：用户的开放式问题覆盖了各行各业的细分领域，不可能通过预训练或者私有知识库覆盖所有场景

我们要实现的Agent需要满足以下核心需求：

• 支持判断用户查询是否需要搜索，不需要搜索的问题直接回答，降低成本
• 支持自主生成搜索关键词，多轮迭代搜索补充信息
• 支持静态/动态网页抓取，自动清洗无用内容、抽取核心信息
• 支持语义检索，从长网页中提取和用户问题相关的内容，降低大模型Token消耗
• 支持标注信息来源，答案可追溯、可验证
• 支持自定义大模型、搜索工具、抓取规则，适配不同场景需求

1.3 边界与外延

能力边界：本文实现的是信息查询类Web Agent，核心能力是信息检索与整合，暂不支持复杂网页交互（比如自动下单、填写表单、提交数据），这部分能力我们会在后续文章中扩展。
能力外延：可以轻松扩展多模态内容抓取（图片、视频字幕）、多语言搜索、定向站点搜索、舆情监控、价格对比等专属功能。

1.4 核心要素组成

一个完整的Web浏览Agent由五大核心模块组成：

1.5 概念对比与关系图

1.5.1 核心概念属性对比

我们把Web浏览Agent和大家熟悉的传统爬虫、普通RAG系统做对比，帮助大家理解差异：

1.5.2 实体关系ER图

二、核心算法原理与数学模型

2.1 核心算法原理

Web浏览Agent的核心是思考-行动-观察的ReAct框架：大模型先思考当前需要做什么，是直接回答还是搜索，如果是搜索就生成搜索Query，然后执行搜索、抓取内容、得到观察结果，再进入下一轮思考，直到有足够信息回答问题。

核心算法步骤如下：

1. 将用户查询和系统Prompt输入大模型
2. 大模型输出结构化的思考和行动：如果行动是回答则终止流程，返回答案；如果行动是搜索则执行下一步
3. 调用搜索引擎获取相关网页列表
4. 抓取网页内容，清洗后做语义分块，检索出和用户问题最相关的内容片段
5. 将搜索到的内容作为观察结果输入大模型，重复步骤2
6. 达到最大搜索轮次后，强制大模型基于已有信息生成答案

2.2 数学模型

我们用到的核心数学模型有两个：

2.2.1 余弦相似度（语义检索）

用来计算用户查询和网页内容块的语义相似度，提取最相关的内容：
sim(Q,Ci)=Q⋅Ci∣∣Q∣∣×∣∣Ci∣∣sim(Q, C_i) = \frac{Q \cdot C_i}{||Q|| \times ||C_i||}sim(Q,Ci​)=∣∣Q∣∣×∣∣Ci​∣∣Q⋅Ci​​
其中：

• QQQ是用户查询的Embedding向量
• CiC_i