大模型智能体:设备/界面操控、记忆规划与工具调用可靠性(Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination)
陈露、俞凯团队的开源智能体工作,覆盖安卓GUI交互训练评测平台、记忆增强的手机任务自动化、多模态对话式GUI智能体、半参数强化学习智能体,以及降低工具调用幻觉的可靠性对齐。
- 负责团队
- X-LANCE 陈露、俞凯课题组 / OpenDFM(Danyang Zhang、Zichen Zhu、Hongshen Xu 等)
- 所属学院
- 计算机学院
- 技术成熟度
- TRL 4
- 合作方式
- 联合开发委托研发许可
- 产业链环节
- 决策
- 技术详情
Mobile-Env是基于DeepMind AndroidEnv的移动端GUI交互训练与评测平台(论文arXiv:2305.08144)。MobA(NAACL 2025系统演示论文)采用“全局智能体(理解指令、追踪历史记忆、规划任务)+局部智能体(以函数调用形式预测具体动作)”的双层智能体架构,并结合反思模块和多方面记忆完成手机任务自动化;META-GUI(EMNLP 2022)是多模态对话式GUI智能体及数据集。Rememberer(NeurIPS 2023)让大模型借助长期经验记忆做半参数强化学习;工具幻觉可靠性对齐Relign(ICML 2025,GitHub仓库说明误标为ICML 2024,README称数据与代码“即将公开”)和“训练大模型拒答未知问题”RLKF(COLM 2024)用来降低误调用。俞凯个人页把具身智能体和图形界面理解及交互列为研究兴趣,这类“语言指令→技能调用→执行反馈”的规划技术可以迁移到机器人任务分解。衡阳的机器人整机厂和控制器厂可以参照Mobile-Env搭建自有技能评测环境,并委托开发面向产线或园区的任务智能体。(来源:https://github.com/X-LANCE/Mobile-Env;https://github.com/OpenDFM/MobA;https://github.com/OpenDFM/Rememberer;https://github.com/X-LANCE/ToolHallucination;https://arxiv.org/abs/2305.08144;https://x-lance.github.io/kaiyu/index_zh.html;https://x-lance.sjtu.edu.cn/~kaiyu/index_zh.html;https://www.cs.sjtu.edu.cn/jiaoshiml/chenlu.html;https://x-lance.sjtu.edu.cn/repositories)
- 关键指标
GitHub:Mobile-Env 64 星,Rememberer 40 星,MobA 28 星,ToolHallucination 14 星
- 专利 / 软著
- 登录后可见 · 登录
- 联系人与方式
- 仅分院工作人员可见
