Grok Bot智能体结合FFmpeg实现一句话视频剪辑与整理

之前一直在折腾视频剪辑和素材整理的流程，剪一段片子往往要同时打开剪辑软件、字幕工具、云盘目录，先看时长，再找时间点，最后还要手动整理成文档，整套动作重复且耗时。后来我把 Grok Bot 智能体接到自建的视频处理服务上，实现了“一句话完成视频剪辑与整理”：只要告诉智能体“把第 2 分钟到第 3 分钟截出来，生成一段 30 秒的短视频，并输出这段内容的要点”，它就能自动解析意图、调用剪辑工具、返回可下载的视频文件，同时生成整理文档。本文把这套方案的完整思路、架构设计、代码实现和平台配置过程整理出来，适合正在做智能体落地、想接入视频处理能力的开发者参考。

1. Grok Bot 智能体到底是什么

在搭建方案之前，先要把概念理清楚。很多人一看到“智能体”三个字，就以为是一个独立的聊天机器人或者某个 App，其实智能体更准确的理解是：以大语言模型为大脑，通过“思考 - 决策 - 调用工具 - 完成任务”这样的循环，去解决真实业务问题的程序系统。

1.1 智能体的朴素理解

我们可以把智能体拆成三个部分来看：

• 大脑：大语言模型，负责理解用户说的话、拆解任务、生成下一步动作，Grok Bot 中的 Grok 就是承担这个角色的大模型。
• 工具：真正干活的模块，比如视频剪辑服务、文件读写接口、数据库查询接口、第三方 API。大模型本身不会剪视频，但它知道“什么时候调用哪个工具、传什么参数进去”。
• 编排：把大脑和工具连接起来的流程，常见形式包括提示词（Prompt）、工具注册表、状态记忆、多轮对话管理。

用一句话概括：智能体 = 大模型 + 工具 + 执行流程。

1.2 Grok Bot 在智能体中的位置

Grok Bot 可以理解为一类基于 Grok 大模型构建的对话式智能体。它并不局限于单个产品形态，你可以把它接入到 Dify、Coze 这类智能体开发平台，也可以在代码里通过模型 API 直接调用。

在本文方案中，Grok Bot 负责的是“指挥官”角色，它接收用户的一句话指令，例如：

帮我把 meeting.mp4 的 00:01:30 到 00:02:15 剪出来， 转成 720p，然后根据这段内容写一段 100 字的摘要。

Grok Bot 会先识别出：

• 输入文件：meeting.mp4
• 起始时间：00:01:30
• 结束时间：00:02:15
• 操作类型：剪辑 + 转码 + 摘要
• 输出要求：720p，100 字摘要

然后把操作参数整理成 JSON，调用我们提前注册好的“视频处理工具”，等工具返回结果后，再组织成自然语言回复给用户。

1.3 智能体与普通 ChatBot 的差异

普通 ChatBot 的能力边界在“对话”里，它能回答问题、生成文本，但无法对现实世界产生动作。智能体的关键差异在于它具备工具调用能力，也就是通常说的 Function Calling / Tool Calling。

举个例子：

• 普通 ChatBot：用户问“帮我看看服务器磁盘”，它只能回复“你可以执行 df -h 命令”。
• 智能体：用户说“帮我看看服务器磁盘”，它会直接调用磁盘查询工具，返回当前磁盘使用率，并根据结果判断是否需要告警。

这个差异决定了我们能不能用 Grok Bot 完成真实的视频剪辑任务，而不是只得到一段“剪辑教程”。

1.4 智能体与 Skill 的区别

在智能体平台中经常看到“技能（Skill）”和“智能体（Agent）”两个概念。Skill 更偏向于一个可复用的能力单元，比如“提取视频关键帧”是一个 Skill；“帮我分析这段视频并生成剪辑方案”是一个完整的智能体任务。智能体往往会组合多个 Skill，再加上对话逻辑、记忆和决策策略。

因此在设计时，建议先把视频剪辑、音频提取、信息整理等能力拆成独立模块，再由 Grok Bot 智能体按需调度。

2. “一句话完成视频剪辑与整理”需求拆解

明确概念之后，要把业务需求转成技术方案。这一步决定了代码怎么写、平台怎么配。

2.1 业务场景描述

我假设一个非常常见的场景：运营同学经常要处理会议录屏、直播回放、课程视频，需要快速截取片段，然后根据片段内容输出摘要或剪辑说明。

传统做法是：

1. 用剪辑软件打开视频。
2. 拖动进度条找到起始点和结束点。
3. 执行剪辑并导出。
4. 再打开文档工具写摘要。

整套流程依赖人工操作，而且短视频素材一多，时间成本成倍增加。本文目标是通过 Grok Bot 智能体，把以上流程压缩成一句话：

把 input/live.mp4 从 00:05:00 剪到 00:06:30， 分辨率改成 1280x720， 然后根据裁剪出来的内容生成一份剪辑说明文档。

智能体收到指令后，需要完成：

• 理解任务：识别这是一个视频处理请求。
• 解析参数：路径、起始时间、结束时间、分辨率。
• 调用工具：调用视频剪辑服务。
• 整理结果：读取处理后视频的信息，生成结构化输出。

2.2 系统架构设计

整个系统分为三层：

为什么不把视频剪辑逻辑直接写进智能体代码里？因为平台型智能体更适合做模型管理和工具编排，而视频处理涉及大量系统命令和文件 IO，单独做成服务更好维护，也能被其他系统复用。

2.3 为什么选择 Dify / Coze 这类平台

在技术选型时，自研智能体框架和直接使用平台是两条路线。

自研方案灵活性最高，但需要自己维护模型接入、对话管理、工具调用协议。如果你有 Java 项目或 Python 项目需要嵌入智能体能力，可以直接用 LangChain 或自写 Function Calling 逻辑。

平台方案上手快，Dify、Coze 这类平台已经封装好了 Agent 模型编排、OpenAPI 工具接入、日志追踪、发布管理，适合先跑通业务流程。本文选择 Dify 作为演示平台，因为它的自定义工具接入方式比较通用，也能在社区版本中本地部署。

3. 环境准备与版本说明

开始写代码前，先把运行环境准备好。由于 Grok 模型 API 和 Dify 平台版本更新较快，下面的版本信息只作为参考，请以你实际使用的版本为准。

3.1 操作系统与基础环境

• 操作系统：Ubuntu 22.04 LTS（Windows / macOS 也可，命令略有差异）
• Python：3.10 或更高版本
• 包管理工具：pip
• 视频处理工具：FFmpeg
• 智能体平台：Dify 社区版或云端版
• 模型：Grok 模型 API（具体名称以平台接入页为准）

3.2 安装 FFmpeg

FFmpeg 是视频处理的核心工具。在 Ubuntu 上安装：

sudo apt update sudo apt install ffmpeg -y

安装完成后验证：

ffmpeg -version

如果输出版本信息，说明安装成功。在 Windows 上可以下载 FFmpeg 可执行文件并配置环境变量，也可以使用包管理器安装。

3.3 安装 Python 依赖

我们使用 Flask 暴露 REST API，方便智能体平台通过 HTTP 调用。创建虚拟环境并安装依赖：

mkdir grok-video-agent cd grok-video-agent python3 -m venv venv source venv/bin/activate pip install flask requests

然后把依赖记录到 requirements.txt：

pip freeze > requirements.txt

3.4 准备测试视频

在项目目录下创建一个input文件夹，放入一个测试视频文件，比如live.mp4。这个视频将作为智能体剪切的素材。

mkdir -p input output

后续工具服务只允许操作这两个目录，避免任意路径访问。

4. 搭建视频处理工具服务

这一节进入核心代码部分。视频处理服务需要提供三个能力：

• 读取视频信息：获取时长、分辨率、编码等元数据。
• 视频剪辑：截取指定时间段，可调整分辨率。
• 内容整理：根据元数据和用户输入生成结构化文档。

下面逐块实现。

4.1 项目结构

grok-video-agent/ ├── app.py # Flask 主服务 ├── video_tool.py # 视频处理核心逻辑 ├── requirements.txt ├── input/ │ └── live.mp4 └── output/

4.2 实现视频处理核心逻辑

创建video_tool.py，封装 FFmpeg 调用。这里强调一个安全原则：不要用字符串拼接命令，而是用列表形式传给 subprocess，避免路径中有空格或特殊字符时出错，也避免命令注入风险。

# 文件路径：video_tool.py import json import os import subprocess INPUT_DIR = os.path.join(os.path.dirname(__file__), "input") OUTPUT_DIR = os.path.join(os.path.dirname(__file__), "output") def get_video_info(filename: str) -> dict: """读取视频文件信息，返回时长、分辨率、编码等信息。""" safe_path = resolve_input_path(filename) if not safe_path: raise ValueError("文件不存在或不在允许目录内") cmd = [ "ffprobe", "-v", "quiet", "-print_format", "json", "-show_format", "-show_streams", safe_path, ] result = subprocess.run(cmd, capture_output=True, text=True, check=True) data = json.loads(result.stdout) video_stream = None for stream in data.get("streams", []): if stream.get("codec_type") == "video": video_stream = stream break if not video_stream: raise ValueError("未找到视频流") return { "filename": filename, "duration": float(data.get("format", {}).get("duration", 0)), "width": video_stream.get("width"), "height": video_stream.get("height"), "codec": video_stream.get("codec_name"), "bit_rate": data.get("format", {}).get("bit_rate"), } def cut_video( filename: str, start_time: str, end_time: str = None, resolution: str = None, output_filename: str = None, ) -> dict: """截取视频片段，支持指定时间段和分辨率。""" safe_input = resolve_input_path(filename) if not safe_input: raise ValueError("文件不存在或不在允许目录内") output_filename = output_filename or f"cut_{start_time.replace(':', '-')}.mp4" safe_output = os.path.join(OUTPUT_DIR, output_filename) cmd = ["ffmpeg", "-y", "-i", safe_input, "-ss", start_time] if end_time: cmd += ["-to", end_time] if resolution: cmd += ["-vf", f"scale={resolution}"] cmd += ["-c:a", "copy", safe_output] subprocess.run(cmd, capture_output=True, text=True, check=True) return { "status": "success", "output_path": safe_output, "output_filename": output_filename, } def resolve_input_path(filename: str) -> str: """将传入的文件名解析为绝对路径，并限制在 input 目录内。""" safe_path = os.path.abspath(os.path.join(INPUT_DIR, filename)) if not safe_path.startswith(os.path.abspath(INPUT_DIR)): raise ValueError("非法路径") if not os.path.exists(safe_path): raise ValueError("文件不存在") return safe_path

这里的resolve_input_path做了路径防御，避免用户传入../../etc/passwd这类路径去读取系统文件。生产项目建议把文件白名单和权限控制做得更细。

4.3 实现 Flask 接口

创建app.py，把上面的逻辑暴露成 HTTP 接口。

# 文件路径：app.py from flask import Flask, jsonify, request import video_tool app = Flask(__name__) @app.post("/api/v1/video/info") def video_info(): """获取视频信息。请求体：{"filename": "live.mp4"}""" data = request.get_json(force=True) filename = data.get("filename") try: info = video_tool.get_video_info(filename) return jsonify({"code": 0, "data": info}) except Exception as exc: return jsonify({"code": 1, "message": str(exc)}), 400 @app.post("/api/v1/video/cut") def video_cut(): """剪切视频。请求体：{"filename": "live.mp4", "start_time": "00:01:30", "end_time": "00:02:15", "resolution": "1280x720"}""" data = request.get_json(force=True) try: result = video_tool.cut_video( filename=data.get("filename"), start_time=data.get("start_time"), end_time=data.get("end_time"), resolution=data.get("resolution"), output_filename=data.get("output_filename"), ) return jsonify({"code": 0, "data": result}) except Exception as exc: return jsonify({"code": 1, "message": str(exc)}), 400 @app.post("/api/v1/video/description") def video_description(): """生成视频内容整理文档。请求体：{"filename": "live.mp4", "start_time": "00:01:30", "end_time": "00:02:15", "note": "用户补充说明"}""" data = request.get_json(force=True) filename = data.get("filename") start_time = data.get("start_time", "") end_time = data.get("end_time", "") note = data.get("note", "") try: info = video_tool.get_video_info(filename) description = ( f"视频文件：{filename}\n" f"视频总时长：{info['duration']} 秒\n" f"分辨率：{info['width']}x{info['height']}\n" f"剪辑范围：{start_time} - {end_time}\n" f"用户备注：{note}\n" f"说明：本片段由 Grok Bot 智能体自动剪辑生成，" f"详见输出目录中的视频文件。" ) return jsonify({"code": 0, "data": {"description": description}}) except Exception as exc: return jsonify({"code": 1, "message": str(exc)}), 400 if __name__ == "__main__": app.run(host="0.0.0.0", port=8000)

这里的视频整理接口目前是比较简单的模板输出。如果你接入了语音转文字模型，可以在这里扩展：先提取音频，再调用 ASR 服务生成转录文本，最后让智能体基于转录文本写摘要，效果会更好。

4.4 启动服务并验证

启动 Flask 服务：

python app.py

在另一个终端测试视频信息接口：

curl -X POST http://127.0.0.1:8000/api/v1/video/info \ -H "Content-Type: application/json" \ -d '{"filename": "live.mp4"}'

预期输出是一个 JSON，包含时长、分辨率、编码等信息。

再测试剪切接口：

curl -X POST http://127.0.0.1:8000/api/v1/video/cut \ -H "Content-Type: application/json" \ -d '{"filename": "live.mp4", "start_time": "00:01:30", "end_time": "00:02:15"}'

执行成功后，output目录下会生成对应的 mp4 文件。

5. 在 Dify 中创建 Grok Bot 智能体

后端服务就绪后，接下来在 Dify 平台中创建智能体应用，把 Grok 模型和视频处理工具关联起来。

5.1 创建一个空白应用

登录 Dify 后，在应用列表点击“创建应用”，选择“聊天助手”或“Agent”类型。不同版本的入口名称可能不同，如果看到 Agent / 智能体应用类型，就选择它。

应用名称建议写成Grok 视频剪辑助手，方便后续识别。

5.2 配置 Grok 模型

在应用设置中找到“模型”或“系统模型”配置，选择 Grok 模型。如果你在模型列表中找不到 Grok 选项，通常有两种办法：

• 在平台“模型供应商”中添加 Grok 的 API Key。
• 通过自定义模型接入 OpenAI 兼容协议的方式配置。

不同模型对工具调用（Function Calling）的支持程度不同，务必确认所选模型支持工具调用能力，否则智能体无法正确生成工具参数。

5.3 导入视频处理工具

Dify 支持通过 OpenAPI schema 导入自定义工具。把我们上面的三个接口整理成openapi.yaml：

openapi: 3.0.0 info: title: Video Processing Tool description: 提供视频信息读取、视频剪切、视频整理能力 version: 1.0.0 servers: - url: http://your-server-ip:8000 paths: /api/v1/video/info: post: summary: 获取视频信息 operationId: getVideoInfo requestBody: required: true content: application/json: schema: type: object properties: filename: type: string description: 视频文件名，文件需位于 input 目录 responses: "200": description: 视频信息 /api/v1/video/cut: post: summary: 剪切视频 operationId: cutVideo requestBody: required: true content: application/json: schema: type: object properties: filename: type: string start_time: type: string description: 起始时间，格式 00:01:30 end_time: type: string description: 结束时间，格式 00:02:15 resolution: type: string description: 输出分辨率，例如 1280x720 output_filename: type: string description: 输出文件名 responses: "200": description: 剪辑结果 /api/v1/video/description: post: summary: 生成视频整理说明 operationId: getVideoDescription requestBody: required: true content: application/json: schema: type: object properties: filename: type: string start_time: type: string end_time: type: string note: type: string description: 用户补充说明 responses: "200": description: 整理文档

在 Dify 的自定义工具页面，选择“导入 OpenAPI 规范”，把上面的 YAML 粘贴进去。导入后，Dify 会识别出三个工具方法：getVideoInfo、cutVideo、getVideoDescription。

注意servers.url里的地址需要是 Dify 能访问到的地址。如果你是本地开发，可以使用局域网 IP；如果是云端 Dify，需要把服务部署到公网可访问的位置，或者使用内网穿透方案（这里只讨论正常业务部署，相关网络配置请遵循平台规范）。

5.4 编写系统提示词

智能体的行为取决于提示词设计。在应用的“提示词”区域，建议编写如下系统提示词：

你是一个视频处理助手，负责帮助用户完成视频剪辑和内容整理。 你可以使用的工具： 1. getVideoInfo：获取视频基本信息，包括时长、分辨率、编码。 2. cutVideo：剪切视频片段，可以指定开始时间、结束时间、输出分辨率。 3. getVideoDescription：生成视频整理说明。 使用规则： - 当用户提到视频文件时，先确认文件名是否在 input 目录中。 - 当用户给出时间点时，要转换为 HH:MM:SS 格式，例如 2分30秒 要写成 00:02:30。 - 当用户要求剪辑视频时，调用 cutVideo 工具。 - 当用户要求整理或总结时，调用 getVideoDescription 工具。 - 如果用户没有明确文件名，主动询问，不要猜测。 - 工具调用完成后，用简洁的中文向用户说明结果。

这段提示词的关键在于：

• 明确工具边界，避免模型自己编造不存在的接口。
• 规定时间格式转换，减少参数解析错误。
• 规定未知信息需要反问，而不是猜一个文件名。

5.5 发布并测试

保存配置后，在调试对话框里输入一句话：

帮我把 live.mp4 从 00:01:30 剪到 00:02:15，并生成一段整理说明。

如果一切正常，你会看到 Grok Bot 先调用getVideoInfo获取视频信息，再调用cutVideo执行剪切，最后调用getVideoDescription生成说明，然后汇总结果回复。

6. 一次完整的“一句话剪辑”演示

为了更直观地展示效果，下面给出一个完整的交互链路。

用户输入：

帮我处理一下 input 里的 live.mp4，把 00:03:20 到 00:04:00 截出来， 输出 1280x720，然后写一段 50 字左右的摘要说明。

Grok Bot 的思考过程大致是：

1. 确定操作对象：live.mp4。
2. 确定操作类型：剪切 + 调整分辨率 + 生成摘要。
3. 解析参数：
   • start_time = 00:03:20
   • end_time = 00:04:00
   • resolution = 1280x720
4. 调用 cutVideo 工具，传入上述参数。
5. 等待工具返回结果，若成功则继续。
6. 调用 getVideoDescription，传入文件名和时间段，附加用户要求。
7. 汇总输出。

最终 Grok Bot 回复示例：

已完成剪辑。 - 源文件：live.mp4 - 剪切范围：00:03:20 - 00:04:00 - 输出分辨率：1280x720 - 输出文件：output/cut_00-03-20.mp4 整理说明： 本片段总时长 40 秒，内容为直播中段的关键讲解部分。 用户备注：需要用于短视频平台发布，因此输出为 720p。

从用户角度看，整个过程真的只是一句话，复杂的参数解析和工具调用都被 Grok Bot 自动处理了。

如果把这套流程接到企业微信、钉钉、飞书机器人中，运营同学直接在聊天窗口发送指令，就能完成剪辑和整理，这在实际项目中价值很高。

7. 常见问题与排查思路

在搭建过程中，最容易遇到以下几类问题。

这里提一个容易忽略的坑：FFmpeg 的-ss参数放在-i之前和之后，行为不一样。放在-i之前是快速 seek，定位速度快但时间点可能不够精确；放在-i之后是精确 seek，处理速度稍慢但定位准确。批量剪辑场景下，建议根据精度要求选择合适的参数位置。

# 快速 seek ffmpeg -ss 00:01:30 -i input.mp4 -to 00:02:15 -c copy output.mp4 # 精确 seek ffmpeg -i input.mp4 -ss 00:01:30 -to 00:02:15 -c copy output.mp4

如果需要精确保留每一帧，导出时建议重新编码：

ffmpeg -i input.mp4 -ss 00:01:30 -to 00:02:15 -c:v libx264 -c:a aac output.mp4

8. 最佳实践与工程建议

智能体开发不能只看“能跑通”，还要考虑稳定性、安全性和可维护性。以下建议来自工程落地的经验总结。

8.1 把工具能力边界写清楚

给智能体配置工具时，每一个工具的描述都要写清楚：

• 这个工具是干什么的？
• 需要哪些参数？
• 参数格式是什么？
• 在什么情况下不应该调用这个工具？

模型是根据描述来决定调用时机的，描述越清晰，误调用越少。比如cutVideo的描述里明确“不要随意修改分辨率，除非用户明确要求”，会比简单写一句“剪切视频”稳定得多。

8.2 对用户输入做参数校验

模型生成的参数不一定每次都合法。在 Flask 接口层，必须做参数校验：

• 时间格式是否符合 HH:MM:SS。
• 分辨率是否在允许列表内。
• 文件名是否包含危险字符。
• 输出文件名是否规范。

如果校验不通过，接口要返回明确的错误信息，帮助智能体修正参数，而不是返回一段晦涩的堆栈。

8.3 使用消息队列处理耗时任务

视频剪辑属于耗时操作。一个 5 分钟的视频重新编码可能需要几十秒甚至更久，如果 Flask 接口同步阻塞，用户体验会很差，也容易触发智能体平台超时。

生产环境建议：

• 客户端调用接口后立即返回任务 ID。
• 后端把任务写入消息队列，由 Worker 异步处理。
• 智能体通过另一个接口查询任务状态。
• 任务完成后，智能体再通知用户结果。

RSS 系统的完整架构就会变成：用户一句话 -> Grok Bot 创建任务 -> 异步剪辑 -> 状态查询 -> 结果返回。这比本文的同步实现更接近生产级方案。

8.4 做好权限与安全隔离

视频服务不要直接暴露在公网，至少应该增加 API Key 鉴权。Dify 自定义工具支持在 Header 中携带认证信息，可以在服务端验证请求来源。

同时，工具服务应运行在最小权限用户下，只允许访问指定目录，避免被恶意利用。

8.5 从简单规则逐步迭代，不要一开始做“全家桶”

智能体的强大在于组合，但复杂度也来自组合。建议先只接一个cutVideo工具，跑通一条完整链路；再逐步增加音频提取、字幕生成、内容摘要、多视频拼接等能力。

每次新增工具，都要回到提示词里补充对应的调用规则。工具一多，模型可能出现选错工具的情况，这时可以通过调整工具描述、增加示例对话来改善。

8.6 保留日志与可观测性

在接口层记录每次调用的入参、出参、耗时和错误信息。一旦智能体行为异常，可以快速定位是模型理解错了，还是工具执行失败了。

日志格式建议采用 JSON 结构化输出，方便接入日志平台分析和告警。

9. 扩展方向：从单智能体到多智能体

当你把“一句话视频剪辑”跑通之后，可以继续向多智能体方向扩展。比如一个完整的视频发布流程可以拆成多个角色：

• 剪辑智能体：负责片段剪切、转码。
• 整理智能体：负责生成标题、摘要、标签。
• 质检智能体：负责检查视频分辨率、时长是否合规。
• 发布智能体：负责上传到内容平台。

每个智能体各司其职，通过流程编排串联起来。Dify、Coze 这类平台都提供了工作流编排能力，你可以用节点把多个智能体和工具串成一条流水线，让用户只发一次指令，后面全自动执行。

不过在扩展之前，建议先把单智能体场景打磨好：参数解析准确、工具调用稳定、错误处理清晰。多智能体只是把单点能力“拼接”起来，基础不稳，流程越长越容易出错。

本文从概念、架构、代码、平台配置到排错和扩展，完整走了一遍 Grok Bot 智能体落地“视频剪辑与整理”的流程。如果你正在做类似的知识库整理、内容生产自动化、文件处理类智能体，这套“大模型 + 工具服务 + 编排平台”的套路是可以直接复用的。建议你按照第 4 节的代码把视频工具服务先跑起来，再去平台上配一个最小的对话应用，感受一次“一句话完成剪辑”的完整链路，然后根据实际业务逐步叠加能力。