【SAM3教程-4】使用文本精准分割视频里的目标，附完整代码教程

《博主简介》

小伙伴们好，我是阿旭。
专注于计算机视觉领域，包括目标检测、图像分类、图像分割和目标跟踪等项目开发，提供模型对比实验、答疑辅导等。

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

引言

在计算机视觉领域，基于文本提示的视频目标分割一直是一个热门方向。
前3篇文章详细介绍了SAM3对于图片的一些分割教程，链接如下：
【SAM3教程-1】SAM3 使用文本提示进行图像分割详细步骤与示例【附源码】
【SAM3教程-2】使用正负样本提示框一键分割图片中的相似目标详细步骤与示例
【SAM3教程-3】使用提示点 + 提示框精准 “圈” 出指定目标，正负样本搭配更高效！【附源码】

本文将详细介绍如何使用SAM3模型通过文本提示来实现视频中目标的自动分割与跟踪，即使你是初学者也能轻松上手。
实现效果如下：
给出一段视频，下方通过文本提示：plane,可以一键分割并跟踪视频中所有的飞机目标。【可以根据自己的视频内容进行文本提示】

一、准备工作：环境与依赖库

首先需要导入必要的Python库，这些库将帮助我们实现视频处理、模型加载和结果可视化等功能：

importcv2# 用于图像处理importtorch# 深度学习框架importnumpyasnp# 数值计算库importsupervisionassv# 计算机视觉工具库frompathlibimportPath# 文件路径处理fromPILimportImage# 图像处理fromtypingimportOptional# 类型提示fromIPython.displayimportVideo# 视频展示fromsam3.model_builderimportbuild_sam3_video_predictor# SAM3模型构建importos# 文件系统操作

二、定义辅助函数

我们需要定义两个关键辅助函数，分别用于加载视频帧和处理分割结果的可视化。

1. 加载视频帧函数

defload_frame(directory:str,index:int):""" 从目录中加载具有特定索引的帧，格式为‘%05d.jpg’（例如，00000.jpg, 00001.jpg） Args: directory (str): 视频每一帧所在的目录 index (int): 每一帧的id """directory_path=Path(directory)frame_path=directory_path/f"{index:05d}.jpg"# 构造帧文件路径ifnotframe_path.exists():raiseFileNotFoundError(f"Frame not found:{frame_path}")frame=cv2.imread(str(frame_path))ifframeisNone:raiseFileNotFoundError(f"Failed to load frame:{frame_path}")returnframe

这个函数的作用是从指定目录中按索引加载视频帧，采用%05d.jpg的命名格式（如00000.jpg表示第0帧），方便我们按顺序访问视频的每一帧。

2. 结果可视化函数

defannotate(image:np.ndarray,detections:sv.Detections,text=None)->np.ndarray:h,w,_=image.shape text_scale=sv.calculate_optimal_text_scale(resolution_wh=(w,h))# 计算合适的文本大小# 初始化掩码标注器mask_annotator=sv.MaskAnnotator(color=COLOR,color_lookup=sv.ColorLookup.TRACK,# 按跟踪ID分配颜色opacity=0.6# 掩码透明度)annotated_image=image.copy()annotated_image=mask_annotator.annotate(annotated_image,detections)# 绘制掩码iftext:# 如果需要添加文本标签label_annotator=sv.LabelAnnotator(color=COLOR,color_lookup=sv.ColorLookup.TRACK,text_scale=text_scale,text_color=sv.Color.BLACK,text_position=sv.Position.TOP_CENTER,text_offset=(0,-30))# 生成标签文本labels=[f"#{tracker_id}{text}"fortracker_idindetections.tracker_id]annotated_image=label_annotator.annotate(annotated_image,detections,labels)returnannotated_image

这个函数负责将分割结果（掩码和标签）绘制到原始图像上，使我们能够直观地看到分割效果。它会根据图像大小自动调整文本比例，并为不同的跟踪目标分配不同的颜色。

三、加载SAM3模型

接下来需要加载SAM3模型，这是实现文本驱动分割的核心：

# 使用GPU加速（如果可用）DEVICES=[torch.cuda.current_device()]# 初始化图像模型并加载预训练权重checkpoint_path="models/sam3.pt"# 模型文件路径bpe_path="assets/bpe_simple_vocab_16e6.txt.gz"# BPE文件路径predictor=build_sam3_video_predictor(checkpoint_path=checkpoint_path,bpe_path=str(bpe_path),gpus_to_use=DEVICES)

• checkpoint_path：SAM3模型权重文件的路径
• bpe_path：字节对编码（BPE）文件路径，用于处理文本提示
• gpus_to_use：指定使用的GPU设备，加速模型推理

四、视频转帧：处理前的准备

原视频：

SAM3处理视频时需要先将视频转换为一帧帧的图片：

SOURCE_VIDEO="TestFiles/2.mp4"# 源视频路径output_dir='output'# 帧图片输出目录ifnotos.path.exists(output_dir):os.makedirs(output_dir)# 创建目录（如果不存在）# 使用ffmpeg将视频转为帧图片!ffmpeg-i{SOURCE_VIDEO}-q:v2-start_number0output/%05d.jpg

这里使用ffmpeg工具将视频按顺序转换为jpg格式的图片，存储在output目录中，命名格式为00000.jpg、00001.jpg等，方便后续按索引访问。转存后如下所示：

五、初始化视频处理会话

创建一个视频处理会话，让模型加载并准备处理视频：

# 启动一个新的会话response=predictor.handle_request(request=dict(type="start_session",resource_path=SOURCE_VIDEO,))session_id=response["session_id"]# 获取会话ID，用于后续操作

会话ID是后续所有操作的标识，确保我们的所有指令都应用到同一个视频处理任务上。如果需要重新开始，可以使用reset_session重置会话：

# 重置会话（如需重新处理）_=predictor.handle_request(request=dict(type="reset_session",session_id=session_id,))

六、添加文本提示：告诉模型要分割什么

现在我们需要告诉模型要分割的目标是什么，这里以"plane"（飞机）为例：

# 显示第一帧画面，确定我们要处理的起始帧frame_idx=0# 添加文本提示text="plane"# 要分割的目标文本描述response=predictor.handle_request(request=dict(type="add_prompt",session_id=session_id,frame_index=frame_idx,# 在第几帧添加提示text=text,# 文本提示内容))result=response["outputs"]# 获取第一帧的分割结果

通过这段代码，我们在视频的第0帧（第一帧）添加了"plane"的文本提示，模型会在该帧中识别并分割出飞机目标。

七、可视化第一帧分割结果

让我们看看第一帧的分割效果：

# 定义颜色调色板COLOR=sv.ColorPalette.from_hex(["#ffff00","#ff9b00","#ff8080","#ff66b2","#ff66ff","#b266ff","#9999ff","#3399ff","#66ffff","#33ff99","#66ff66","#99ff00"])# 转换结果格式并可视化detections=from_sam(result)annotated_frame=annotate(frame,detections,text)sv.plot_image(annotated_frame)

运行这段代码后，你将看到第一帧图像上被分割出的飞机区域被半透明颜色覆盖，并标注了"#ID plane"的标签。并且每个目标都有一个唯一ID。

八、在整个视频中跟踪目标

有了第一帧的分割结果，我们可以让模型在整个视频中跟踪并分割目标：

defpropagate_in_video(predictor,session_id):frame_outputs={}# 存储每帧的输出结果# 流式处理视频中的所有帧forresponseinpredictor.handle_stream_request(request=dict(type="propagate_in_video",session_id=session_id,)):frame_outputs[response["frame_index"]]=response["outputs"]returnframe_outputs# 执行视频跟踪frame_outputs=propagate_in_video(predictor=predictor,session_id=session_id)

这个函数会逐帧处理整个视频，利用SAM3的跟踪能力，将第一帧的分割结果传播到后续所有帧，实现目标的持续跟踪与分割。

九、生成最终视频分割结果

最后，我们将所有帧的分割结果合成为一个视频：

TARGET_VIDEO="out_result.mp4"# 输出视频路径TARGET_VIDEO_COMPRESSED="out_result-compressed.mp4"# 压缩后的视频路径# 定义处理每一帧的回调函数defcallback(frame:np.ndarray,index:int)->np.ndarray:output=frame_outputs[index]# 获取当前帧的分割结果detections=from_sam(output)# 转换格式returnannotate(frame,detections,text)# 绘制分割结果# 处理视频并生成结果sv.process_video(source_path=SOURCE_VIDEO,target_path=TARGET_VIDEO,callback=callback)# 压缩视频以减小文件大小!ffmpeg-y-loglevel error-i{TARGET_VIDEO}-vcodec libx264-crf28{TARGET_VIDEO_COMPRESSED}

通过这段代码，我们将原始视频与分割结果结合，生成一个带有目标分割标注的新视频。最后使用ffmpeg对视频进行压缩，方便存储和分享。

至此，我们完成了使用SAM3通过文本提示进行视频目标分割与跟踪的全部流程。你可以尝试更换不同的视频和文本提示（如"car"、"person"等），看看模型的表现如何。

通过这种方法，我们无需手动标注目标，只需提供简单的文本描述，就能让模型自动在视频中找到并跟踪目标，极大地提高了视频处理的效率。

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！