基于Claude Code与MCP协议的智能桌面机器人：语音控制与任务规划实践

1. 项目缘起：当语音指令遇见“会写代码”的桌面机器人

最近在捣鼓桌面机器人，一个想法冒了出来：能不能让机器人不仅听懂我的话，还能自己“思考”怎么执行？比如我说“把桌上的笔拿过来”，它不只是机械地执行预设的“移动到坐标A，抓取，移动到坐标B”，而是能自己分析环境、规划路径、处理突发情况。这听起来像是科幻片里的场景，但借助 Claude Code 和 MCP 协议，我把它变成了现实。

这个项目的核心，我称之为“Voice-Controlled Desktop Robot with Claude Code Brain”。简单说，就是给一个普通的桌面机器人（比如基于 Arduino 或树莓派的机械臂/小车）装上两个“大脑”：一个负责听懂人话（语音识别），另一个负责把听到的话变成可执行的、复杂的机器人动作序列（Claude Code）。而连接这两个大脑的“神经系统”，就是 MCP 协议。这不再是简单的“语音遥控”，而是让机器人具备了基于自然语言指令进行任务分解和代码级响应的初级智能。

为什么是 Claude Code 和 MCP？市面上语音助手很多，但大多只能触发固定技能。而 Claude Code 是一个能理解上下文、编写和解释代码的 AI 模型，特别适合处理“把笔拿过来”这种模糊指令。它能把指令拆解成“识别笔的位置”、“规划避障路径”、“控制机械臂抓取”等一系列子任务，并生成对应的控制代码。MCP 则提供了标准化的“插座”，让 Claude Code 这个“大脑”能安全、可控地连接到我的机器人“身体”上，读取传感器数据、发送电机指令。

如果你也厌倦了给机器人写死板的脚本，想让你的创造物更“聪明”一点，能应对更开放的任务，那么这个结合了最新 AI 开发范式与硬件控制的项目，会是一个极具挑战和成就感的尝试。接下来，我将从硬件选型、软件架构、核心集成到避坑实录，完整分享我的构建过程。

2. 核心架构解析：Claude Code、MCP 与机器人的三位一体

要实现语音控制下的智能响应，整个系统需要清晰的分层。我的设计遵循“感知-决策-执行”的经典控制模型，但用现代 AI 工具链进行了重构。

2.1 硬件层：桌面机器人的身体与感官

我的机器人主体是一个基于树莓派 4B 的六自由度机械臂，搭配一个可移动的底盘。选择树莓派是因为它有足够的算力运行本地语音识别模型和 MCP 服务器，同时其 GPIO 引脚能方便地连接舵机控制器、电机驱动板和各类传感器。

关键硬件清单与选型理由：

• 主控板：树莓派 4B (4GB RAM)。足够运行轻量级语音识别和 Python 服务，社区支持好，GPIO 资源丰富。比 Arduino 强大，适合作为“边缘大脑”。
• 执行器：6个 MG996R 舵机用于机械臂，2个带编码器的直流减速电机用于底盘。编码器对于实现精准移动和闭环控制至关重要。
• 传感器：
  • USB 摄像头 (Logitech C270):提供视觉输入，用于目标识别（如“笔”）。
  • 麦克风阵列 (ReSpeaker 2-Mics Pi HAT):专为树莓派设计的麦克风板，能提供比普通 USB 麦克风更好的拾音和降噪效果，对于嘈杂环境下的语音识别成功率提升明显。
  • 超声波传感器 (HC-SR04):用于简单的避障和距离探测。
• 电源：独立的 5V/3A 电源为树莓派供电，7.4V 锂电池组通过降压模块为舵机和电机供电。强烈建议动力电源与控制电源分离，避免电机启动时的电压骤降导致树莓派重启。

这个硬件组合构成了机器人的“身体”和基础“感官”（听觉、视觉、触觉）。

2.2 中间件层：MCP 协议——机器人的标准化“神经系统”

这是本项目与传统机器人项目的分水岭。我没有直接在树莓派上写一个庞大的、包含所有控制逻辑的 Python 脚本，而是引入了Model Context Protocol。

MCP 是什么？你可以把它想象成一套机器人的“标准插座”或“API 说明书”。它定义了一套标准方式，让外部的 AI 模型（如 Claude Code）能够安全地查询（Read）机器人的状态（如摄像头画面、传感器读数）和执行（Write）操作（如转动舵机、移动底盘）。

为什么必须用 MCP？

1. 解耦与安全：将复杂的 AI 推理逻辑（Claude Code）与底层的硬件控制代码分离。Claude Code 不需要知道 MG996R 舵机的 PWM 信号细节，它只需要调用move_arm_to(x, y, z)这样的高级指令。MCP 服务器负责将这些高级指令翻译成具体的硬件操作。这避免了 AI 直接操作硬件可能带来的风险。
2. 标准化与可移植性：一旦为我的机器人实现了 MCP 服务器，任何支持 MCP 协议的 AI 助手（不仅是 Claude Code，未来也可能是其他模型）都能直接控制它，无需重写适配代码。
3. 动态能力扩展：机器人新增一个传感器或功能，我只需要在 MCP 服务器中增加对应的“工具”（Tool）描述，Claude Code 就能立刻知道并学会使用它，实现了能力的“热插拔”。

在我的项目中，MCP 服务器运行在树莓派上，它提供了以下关键“工具”供 Claude Code 调用：

• get_camera_image(): 返回当前摄像头画面（Base64 编码）。
• get_ultrasonic_distance(): 返回超声波传感器测得的距离。
• move_base(distance, angle): 控制底盘移动。
• control_arm(joint_angles): 控制机械臂各关节角度。
• gripper_open()/gripper_close(): 控制夹爪。

2.3 智能层：Claude Code——机器人的“决策大脑”

Claude Code 运行在我的开发笔记本上（性能更强），通过网络与树莓派上的 MCP 服务器通信。它的角色是高级任务规划师和代码生成器。

工作流程举例：当用户说出“把红色积木放到蓝色盒子旁边”。

1. 语音识别（树莓派本地）:语音信号被转换为文本：“把红色积木放到蓝色盒子旁边”。
2. 指令传递:文本指令通过网络发送给 Claude Code。
3. Claude Code 推理与规划:
   • Claude Code 首先会通过 MCP 调用get_camera_image工具，获取当前场景图片。
   • 它分析图片，识别出“红色积木”和“蓝色盒子”的位置（这里可能需要结合视觉模型，Claude Code 可以协调调用）。
   • 接着，它开始规划任务：a. 移动到底盘到积木附近；b. 控制机械臂抓取积木；c. 移动到底盘到盒子附近；d. 放下积木。
   • 对于每一步，Claude Code 会生成对应的控制代码片段，例如调用move_base时，它需要根据图像坐标和实际空间映射，计算出具体的distance和angle参数。
4. 代码执行与反馈:Claude Code 将生成的一系列 MCP 工具调用指令发送回树莓派的 MCP 服务器。MCP 服务器执行这些指令，控制硬件动作，并在必要时将执行结果（如移动是否完成）反馈给 Claude Code，用于决策下一步。

Claude Code 的优势在于其代码理解能力。它不仅能调用工具，还能处理工具返回的复杂数据（如图片），并能进行简单的数值计算（如坐标转换），使得基于自然语言的复杂、多步骤任务成为可能。

3. 软件环境搭建与核心组件部署

有了架构蓝图，下一步就是搭建软件环境。这是项目成功的基础，也是最容易踩坑的地方。

3.1 树莓派系统与基础环境

首先在树莓派上安装 Raspberry Pi OS Lite (64-bit)，并完成基础配置（换源、更新、开启 SSH 等）。然后安装必备的 Python 环境（我使用 Python 3.9）和库：

# 安装必备系统库 sudo apt update && sudo apt upgrade -y sudo apt install -y python3-pip python3-venv libatlas-base-dev libopenblas-dev libportaudio2 # 创建虚拟环境 python3 -m venv ~/robot_venv source ~/robot_venv/bin/activate # 安装核心Python包 pip install pyserial opencv-python-headless numpy RPi.GPIO

3.2 构建 MCP 服务器

这是软件部分的核心。我使用 Python 的mcp库来快速搭建。首先安装 MCP 库：

pip install mcp

然后创建 MCP 服务器文件mcp_server.py。以下是一个高度简化的示例，展示了如何定义“获取距离”和“移动底盘”两个工具：

# mcp_server.py import asyncio from mcp.server import Server, NotificationOptions from mcp.server.models import InitializationOptions import mcp.server.stdio import random # 模拟传感器数据 # 模拟硬件控制函数 def read_ultrasonic(): """模拟读取超声波传感器，返回厘米距离""" # 实际项目中，这里会是操作GPIO的代码 return random.randint(10, 100) def move_motors(left_speed, right_speed): """模拟控制电机""" print(f"[HARDWARE] Moving motors: L={left_speed}, R={right_speed}") # 实际控制电机驱动的代码在这里 return True async def main(): # 初始化服务器 server = Server("desktop-robot-mcp") # 1. 定义工具：获取超声波距离 @server.list_tools() async def handle_list_tools(): return [ { "name": "get_ultrasonic_distance", "description": "读取超声波传感器测量的前方障碍物距离，单位厘米。", "inputSchema": { "type": "object", "properties": {} # 此工具无需输入参数 } }, { "name": "move_base", "description": "控制机器人底盘移动。基于差速转向模型。", "inputSchema": { "type": "object", "properties": { "linear_velocity": { "type": "number", "description": "线速度，单位 m/s。正数前进，负数后退。" }, "angular_velocity": { "type": "number", "description": "角速度，单位 rad/s。正数左转，负数右转。" }, "duration": { "type": "number", "description": "执行持续时间，单位秒。" } }, "required": ["linear_velocity", "angular_velocity", "duration"] } } ] # 2. 实现工具调用 @server.call_tool() async def handle_call_tool(name: str, arguments: dict): if name == "get_ultrasonic_distance": distance = read_ultrasonic() return [{ "type": "text", "text": f"当前前方障碍物距离为 {distance} 厘米。" }] elif name == "move_base": linear = arguments.get("linear_velocity", 0) angular = arguments.get("angular_velocity", 0) duration = arguments.get("duration", 1.0) # 将线速度和角速度转换为左右轮速（简化模型） # 实际项目需要根据机器人轮距等参数精确计算 left_speed = linear - angular right_speed = linear + angular success = move_motors(left_speed, right_speed) await asyncio.sleep(duration) # 模拟移动过程 move_motors(0, 0) # 停止 return [{ "type": "text", "text": f"底盘移动指令执行完毕。线速度={linear} m/s, 角速度={angular} rad/s, 持续{duration}秒。" }] else: raise ValueError(f"未知工具: {name}") # 3. 运行服务器（使用stdio传输，方便与Claude Code Desktop连接） async with mcp.server.stdio.stdio_server() as (read_stream, write_stream): await server.run(read_stream, write_stream, InitializationOptions()) if __name__ == "__main__": asyncio.run(main())

注意：这是一个极简的模拟示例。真实项目中，read_ultrasonic和move_motors函数需要替换为真实的硬件操作代码（如使用RPi.GPIO或pigpio库生成 PWM 信号）。工具列表也需要根据你的机器人实际功能扩展，如get_camera_image,control_arm等。

3.3 配置 Claude Code Desktop 连接 MCP 服务器

这是让 AI 大脑连接上机器人身体的关键一步。我使用的是 Claude Code Desktop 应用。

1. 定位配置文件：Claude Code 的 MCP 配置通常位于~/.config/Claude/claude_desktop_config.json（Linux/macOS）或%APPDATA%\Claude\claude_desktop_config.json（Windows）。
2. 编辑配置文件：在配置文件中添加你的 MCP 服务器信息。配置方式取决于服务器传输类型。我的树莓派 MCP 服务器使用 stdio，但需要通过 SSH 隧道连接。更实用的方式是在树莓派上运行 MCP 服务器时，使用sse（Server-Sent Events）传输并开放一个 HTTP 端口。

修改mcp_server.py，使用 SSE 传输：

# ... 前面的 server 定义部分不变 ... from mcp.server.sse import SseServerTransport import uvicorn from contextlib import asynccontextmanager @asynccontextmanager async def lifespan(app): # 启动时逻辑 yield # 关闭时逻辑 # 创建 FastAPI 应用并挂载 MCP SSE 路由 app = FastAPI(lifespan=lifespan) transport = SseServerTransport("/messages") server.register_transport(transport, app) if __name__ == "__main__": # 在树莓派上运行，监听所有接口的 8000 端口 uvicorn.run(app, host="0.0.0.0", port=8000)

3. Claude Code 配置示例 (claude_desktop_config.json):

{ "mcpServers": { "desktop-robot": { "command": "ssh", "args": [ "pi@<你的树莓派IP>", "-p", "22", "cd /home/pi/robot_project && source robot_venv/bin/activate && python /home/pi/robot_project/mcp_server_sse.py" ], "env": {} } } }

或者，如果使用上述 SSE 方式，配置更简单（无需 SSH 命令嵌套）：

{ "mcpServers": { "desktop-robot-sse": { "url": "http://<你的树莓派IP>:8000/sse" } } }

重要提示：使用 SSE 方式需要确保树莓派的 8000 端口在防火墙中开放，并且你的开发机可以访问该 IP。SSH 隧道方式更安全，但配置稍复杂。选择哪种取决于你的网络环境。

配置完成后，重启 Claude Code Desktop。如果配置成功，你在与 Claude 对话时，它能“看到”并调用你定义的机器人工具。

3.4 集成语音识别模块

为了让整个流程自动触发，我们需要一个常驻的语音监听服务。我选择在树莓派上运行轻量级的Vosk离线语音识别库，它识别准确度不错，且对树莓派友好。

# 在树莓派上安装 Vosk pip install vosk # 下载小型中文模型 wget https://alphacephei.com/vosk/models/vosk-model-small-cn-0.22.zip unzip vosk-model-small-cn-0.22.zip

然后编写一个简单的语音监听脚本voice_listener.py，它持续监听麦克风，当识别到特定唤醒词（如“小机”）后，开始录制后续指令，识别成文本，然后通过 HTTP 请求发送给运行 Claude Code 的电脑上的一个指令处理接口。

# voice_listener.py (简化版) import json import queue import sys import sounddevice as sd from vosk import Model, KaldiRecognizer model = Model("vosk-model-small-cn-0.22") # 模型路径 q = queue.Queue() def callback(indata, frames, time, status): if status: print(status, file=sys.stderr) q.put(bytes(indata)) def listen_and_send(): with sd.RawInputStream(samplerate=16000, blocksize=8000, dtype='int16', channels=1, callback=callback): rec = KaldiRecognizer(model, 16000) print("开始监听... 唤醒词：'小机'") while True: data = q.get() if rec.AcceptWaveform(data): result = json.loads(rec.Result()) text = result.get("text", "") if "小机" in text: print(f"唤醒指令: {text}") # 这里开始录制后续指令，或直接处理包含指令的文本 # 将最终指令文本通过 requests.post 发送给 Claude Code 处理接口 # ... else: partial = json.loads(rec.PartialResult()) # 可以实时显示部分识别结果 if __name__ == "__main__": listen_and_send()

运行这个脚本，树莓派就具备了离线语音唤醒和识别能力。识别到的指令文本，通过网络发送给 Claude Code 进行处理，从而触发整个智能任务链。

4. 从指令到动作：Claude Code 的任务规划与代码生成实战

环境搭好了，大脑和身体连上了，接下来看核心智能如何工作。我们通过一个完整案例来剖析。

任务指令：“小机，请检查一下桌子左边有没有水杯，如果有，告诉我它离你多远。”

1. 语音识别与触发：voice_listener.py识别到“小机”和后续指令，生成文本字符串，并通过 HTTP 请求发送给 Claude Code 处理服务。
2. Claude Code 接收与解析：我的处理服务（一个简单的 Flask API）收到指令后，将其作为用户输入，调用 Claude Code 的 API。提示词（Prompt）至关重要：

你是一个桌面机器人的控制大脑。你可以通过以下工具控制机器人： - get_camera_image(): 获取机器人摄像头的当前画面。 - get_ultrasonic_distance(): 获取机器人前方障碍物的距离，单位厘米。 - rotate_base(angle): 控制机器人底盘旋转指定角度（度）。正数左转，负数右转。 - move_base_forward(distance_cm): 控制机器人底盘向前移动指定距离（厘米）。 用户指令是：“检查一下桌子左边有没有水杯，如果有，告诉我它离你多远。” 请规划你的行动步骤，并依次调用工具来完成这个任务。你只能使用上述工具。在需要视觉判断时，调用 get_camera_image 并描述你看到的内容。

3. Claude Code 的思考与规划：Claude Code 会分析指令，它明白需要先定位“桌子左边”。它可能会生成如下推理和工具调用序列：

   • 步骤1：调用rotate_base(90)，让机器人向左旋转大约90度，使摄像头朝向“左边”。
   • 步骤2：调用get_camera_image()，获取旋转后的画面。
   • 步骤3：分析图像。Claude Code 本身是文本模型，但我们可以通过提示词让它协调调用一个视觉描述 API（如本地部署的 BLIP 模型），或者我们事先在 MCP 服务器里集成了一个describe_image()工具，该工具内部调用视觉模型。假设它分析后返回：“画面中有一张桌子，桌子中央有一个笔记本电脑，桌子左侧边缘有一个蓝色的圆柱形物体，可能是水杯。”
   • 步骤4：基于描述，Claude Code 判断“可能有一个水杯”。为了确认并测距，它需要让机器人靠近一点。
   • 步骤5：调用move_base_forward(30)，向前移动 30 厘米。
   • 步骤6：再次调用get_camera_image()和describe_image()确认：“蓝色圆柱物体确认是一个带手柄的水杯。”
   • 步骤7：调用get_ultrasonic_distance()获取与水杯的物理距离。返回：“距离为 25 厘米。”
   • 步骤8：Claude Code 整合信息，生成最终回复：“我在桌子左边发现了一个蓝色的水杯，它目前距离我大约 25 厘米。”

4. 执行与反馈：Claude Code 生成的这一系列工具调用，会被我的处理服务解析并依次发送给树莓派的 MCP 服务器执行。MCP 服务器执行每个动作，并将结果（如图片描述、距离数据）返回给 Claude Code，供其决定下一步。所有步骤完成后，Claude Code 生成最终的自然语言回复，可以通过树莓派的语音合成（如 pyttsx3）播报出来。

这个过程的精妙之处在于：我没有预先编写“检查水杯”这个固定流程。Claude Code 基于对指令的理解、可用的工具集以及每次工具返回的实时环境信息，动态生成了“旋转-观察-前进-再观察-测距”的行动计划。这意味着，对于“把沙发上的遥控器拿过来”或“去看看阳台的花是不是该浇水了”这类新指令，只要 MCP 提供了必要的移动和感知工具，Claude Code 都有可能尝试规划出合理的执行方案。这实现了有限的“通用性”。

5. 开发避坑实录与性能优化心得

在实际搭建和调试过程中，我遇到了不少问题，这里分享几个关键的坑和解决方案。

5.1 MCP 服务器连接失败与配置陷阱

问题：在 Claude Code Desktop 中配置 MCP 服务器后，Claude 依然看不到工具，或连接时报错。

排查过程：

1. 检查配置文件路径和语法：JSON 格式非常严格，一个多余的逗号都会导致解析失败。使用 JSON 验证工具检查claude_desktop_config.json。
2. 确认传输方式：我最初使用stdio传输，但通过 SSHcommand启动的方式在 Windows 主机上遇到路径和环境问题。后来改用sse传输，在树莓派上独立运行 MCP 服务器（uvicorn），Claude Code 通过url连接，稳定性大增。
3. 网络与防火墙：使用sse时，确保树莓派防火墙允许 8000 端口入站 (sudo ufw allow 8000)，并且开发机和树莓派在同一局域网，能互相 ping 通。
4. 查看日志：在树莓派上运行 MCP 服务器时，确保没有 Python 报错。在 Claude Code Desktop 中，可以通过View -> Toggle Developer Tools打开控制台，查看网络请求和 MCP 相关的日志信息，这里常有连接失败的详细原因。

解决心得：优先使用 SSE 传输进行开发和调试，它解耦了服务器和客户端，日志清晰，重连方便。等流程完全跑通后，再考虑是否需要为最终部署优化为其他传输方式。

5.2 硬件控制延迟与指令同步

问题：Claude Code 连续发出多个指令（如move_base_forward后立即get_camera_image），但机械臂或底盘动作较慢，导致图像获取时机器人还没停稳，画面模糊。

解决方案：

1. 在 MCP 工具实现中加入阻塞等待：在move_base这类耗时工具的函数内部，完成硬件驱动调用后，加入一个time.sleep(duration)或等待电机编码器反馈达到目标值的循环，确保工具调用在动作完成后才返回“执行完毕”的信号。
2. 设计工具状态反馈：让工具返回更丰富的状态信息，而不仅仅是“完成”。例如，move_base可以返回{"status": "moving", "progress": 0.5}，Claude Code 可以查询一个get_robot_status工具来等待状态变为idle。
3. 提示词工程：在给 Claude Code 的提示词中明确强调：“每个移动指令执行后，需要等待至少 2 秒，让机器人稳定下来，再进行视觉感知操作。”

5.3 语音识别误唤醒与指令歧义

问题：环境噪音导致误唤醒；或指令“拿过来”过于模糊，Claude Code 不知道拿什么、从哪里拿到哪里。

优化措施：

1. 语音识别优化：使用像 ReSpeaker 这样的麦克风阵列硬件，配合其自带的声源定位和降噪算法，能显著提升唤醒词识别率。在软件层面，可以调整 Vosk 的识别敏感度，或采用更专业的唤醒词检测库，如 Snowboy。
2. 指令结构化设计：设计更明确的指令范式。例如，采用“唤醒词 + 动词 + 对象 + 位置”的结构，如“小机，把桌上的红色马克杯拿到我面前”。在提示词中教育 Claude Code：“如果指令中对象或位置不明确，请通过调用get_camera_image工具观察环境，并向用户提问澄清，例如‘请问您指的是哪个红色的杯子？’”
3. 上下文记忆：利用 Claude Code 的会话记忆能力。在一次对话中，如果用户说“把它放回去”，Claude Code 能联系上文知道“它”指的是刚才操作的“红色马克杯”，“放回去”指的是放回原来的位置。

5.4 视觉感知集成与成本权衡

问题：Claude Code 是纯文本模型，无法直接“看”图。需要额外集成视觉模型来描述图像，增加了系统复杂度和延迟。

我的方案：

1. 在 MCP 服务器内集成轻量级视觉模型：我在树莓派上使用ONNX Runtime部署了一个轻量化的目标检测模型（如 YOLOv5s）。然后创建一个 MCP 工具detect_objects()，该工具内部调用这个模型分析最新拍摄的图片，并返回一个物体列表及其边界框。这样，Claude Code 调用detect_objects()得到的是结构化的文本信息（如[{'label': 'cup', 'confidence': 0.95, 'position': 'left'}]），它就能直接理解和推理了。
2. 权衡：在树莓派上运行视觉模型会消耗大量 CPU/内存，可能影响其他服务的实时性。一个折中方案是在同一网络内用一台更强大的设备（如旧笔记本）专门运行视觉服务，MCP 服务器通过 RPC 调用它。这引入了网络延迟，但解放了树莓派的资源。

性能数据参考：在我的树莓派 4B 上，运行 Vosk 中文小模型，语音识别延迟约 0.5-1 秒。运行一个简化版 YOLOv5s 模型，处理一张 320x320 的图片需要约 1.5-2 秒。MCP 工具调用（网络往返）延迟在 50-200 毫秒。因此，一个完整的“听-看-想-动”循环，耗时可能在 3-5 秒。这对于演示和概念验证是可接受的，但离“流畅”交互还有距离。优化方向包括使用更小的模型、模型量化、以及将部分计算卸载到 GPU（如果有的话）。

6. 项目总结与未来演进思考

构建这个“Voice-Controlled Desktop Robot with Claude Code Brain”的过程，是一次将前沿 AI 应用模式（MCP）与经典机器人学结合的深度实践。它验证了通过自然语言指挥机器人完成非预设复杂任务的可行性。项目的最大价值不在于机器人本身能完成多少任务，而在于提供了一种可扩展的架构范式：任何支持 MCP 协议的 AI 智能体，都能无缝接入这个机器人平台，赋予其新的能力。

回顾整个过程，几个关键决策点至关重要：选择树莓派作为边缘主控提供了足够的软件灵活性；采用 MCP 协议进行能力抽象是项目成功的关键，它实现了 AI 大脑与机器人身体的解耦；在提示词中精心设计 Claude Code 的角色与工具使用规范，直接决定了任务规划的合理性和可靠性。

目前这个项目仍处于原型阶段。如果要向更实用、更强大的方向演进，我会优先考虑以下几个方向：

1. 多模态模型本地部署：随着像 Qwen2-VL、Llava 等多模态模型在边缘设备上的部署逐渐成为可能，未来可以直接在树莓派或配套的 Jetson Nano 上运行一个能“看懂”图片的轻量级多模态模型。这样，Claude Code 只需将图片传给这个本地视觉模型并提问，无需依赖外部服务，延迟和隐私性都会得到极大改善。
2. 技能（Skill）固化与学习：对于一些经过验证的、高效的复杂任务流程（如“精准抓取”），可以将其固化成一个新的 MCP 工具skill_pick_up(object_name)。这个工具内部封装了视觉定位、路径规划、抓取力控制等一系列底层操作。这样，Claude Code 就可以直接调用这个高级“技能”，而不是每次都从头规划，提高了效率和成功率。更进一步，可以让机器人记录成功执行的任务序列，自动生成可复用的技能。
3. 更复杂的任务与场景：当前场景还是相对简单的桌面环境。可以引入 SLAM（同步定位与地图构建）技术，让机器人具备对室内环境的全局认知和自主导航能力。结合更强大的机械臂，可以尝试更复杂的家庭服务任务，如“从冰箱里拿一罐可乐”。

这个项目像打开了一扇门，门后是 AI 与实体世界交互的广阔天地。它不再是一个简单的遥控玩具，而是一个拥有“代码级”思考能力、能理解你的意图并尝试自主解决问题的伙伴。虽然每一步都充满挑战，但看到它最终听懂指令，转动“脑袋”，思考片刻然后开始行动时，那种成就感是无可比拟的。