上海交通大学主页校地产学研对接与资源平台试运行登录注册 / 入驻
湖南高等研究院衡阳分院
首页/成果库/大模型智能体:设备/界面操控、记忆规划与工具调用可靠性(Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination)
成果库决策

大模型智能体:设备/界面操控、记忆规划与工具调用可靠性(Mobile-Env、MobA、META-GUI、Rememberer、ToolHallucination)

陈露、俞凯团队的开源智能体工作,覆盖安卓GUI交互训练评测平台、记忆增强的手机任务自动化、多模态对话式GUI智能体、半参数强化学习智能体,以及降低工具调用幻觉的可靠性对齐。

更新于 2026-09-13
负责团队
X-LANCE 陈露、俞凯课题组 / OpenDFM(Danyang Zhang、Zichen Zhu、Hongshen Xu 等)
所属学院
计算机学院
技术成熟度
TRL 4
合作方式
联合开发委托研发许可
产业链环节
决策
技术详情

Mobile-Env是基于DeepMind AndroidEnv的移动端GUI交互训练与评测平台(论文arXiv:2305.08144)。MobA(NAACL 2025系统演示论文)采用“全局智能体(理解指令、追踪历史记忆、规划任务)+局部智能体(以函数调用形式预测具体动作)”的双层智能体架构,并结合反思模块和多方面记忆完成手机任务自动化;META-GUI(EMNLP 2022)是多模态对话式GUI智能体及数据集。Rememberer(NeurIPS 2023)让大模型借助长期经验记忆做半参数强化学习;工具幻觉可靠性对齐Relign(ICML 2025,GitHub仓库说明误标为ICML 2024,README称数据与代码“即将公开”)和“训练大模型拒答未知问题”RLKF(COLM 2024)用来降低误调用。俞凯个人页把具身智能体和图形界面理解及交互列为研究兴趣,这类“语言指令→技能调用→执行反馈”的规划技术可以迁移到机器人任务分解。衡阳的机器人整机厂和控制器厂可以参照Mobile-Env搭建自有技能评测环境,并委托开发面向产线或园区的任务智能体。(来源:https://github.com/X-LANCE/Mobile-Env;https://github.com/OpenDFM/MobA;https://github.com/OpenDFM/Rememberer;https://github.com/X-LANCE/ToolHallucination;https://arxiv.org/abs/2305.08144;https://x-lance.github.io/kaiyu/index_zh.html;https://x-lance.sjtu.edu.cn/~kaiyu/index_zh.html;https://www.cs.sjtu.edu.cn/jiaoshiml/chenlu.html;https://x-lance.sjtu.edu.cn/repositories)

关键指标

GitHub:Mobile-Env 64 星,Rememberer 40 星,MobA 28 星,ToolHallucination 14 星

专利 / 软著
登录后可见 · 登录
联系人与方式
仅分院工作人员可见

关联到这里的记录