# 基于 MCP 的智能语音控制机械臂夹取系统

本项目开发了一个针对于机械臂夹取任务的机器人的基于 MCP 的大预言模型智能体，MCP 服务中绑定了机器人运动所需要的各种 API，包括视觉识别，图像处理，物体夹取，物体放置等的 API。 智能体基于 Langchain 和 Langgraph 构建，首先构建链式图像识别智能体，并通过结构化输出将结构化物体坐标数据传入给任务规划智能体，任务规划智能体通过对用户输入进行分析，将任务拆解成各个小步骤，分布去调用绑定的 MCP 工具，最终完成整个夹取工作 首先需要启动 MCP 服务器，启动完成之后启动通过 Langgraph 构建的树状机械臂操作智能体，首先智能体会识别当前场景，识别完成之后要求用户输入目标问题，比如，将绿色零食夹取放到蓝色盘子里，智能体会将任务分解为夹取和放置两个部分，并自助调用相应的基于 streamable-http 的 MCP 服务，并最终完成任务，完成后主动权交给用户，进行下一轮的循环任务。

 ![基于 MCP 的智能语音控制机械臂夹取系统](https://developer.download.nvidia.com/zh-CN/images/community/showcase/voice-controlled-arm.jpg "基于 MCP 的智能语音控制机械臂夹取系统")

\*此项目展示图片来自项目作者

### 项目开发者
 刘子昂, 高鼎, 李文超, 孙培桐, 司佳辉

### 相关技术...

- Langchain/Langgraph
- NIM
- Image
- Video

### 资源

[查看项目代码库](https://gitcode.com/qq_51988514/URGrasp)

[观看项目相关视频](https://www.bilibili.com/video/BV1sRj3zAEXG/?spm_id_from=333.1387.homepage.video_card.click)