人形、半人形机器人本体和控制技术的发展向人工智能模型及其高效部署提出了迫切、核心的需求。该项研究沿“多传感器感知-智能认知与推理-自主决策规划-任务动作执行”方向展开，在构建高性能云端计算平台与机器人本体端运算单元的分层架构基础上，实现包括视觉信号、声音信号的多传感器数据捕捉与传输。聚焦研发基于多模态大模型的认知与推理系统，构建任务理解、步骤规划、以及技能动作的生成与下发一体化系统。该项研究包括语音识别与生成技术、多模态任务理解与推理、机器人任务规划与分层控制、模仿学习与强化学习策略等。其研究成果将为工业制造、家庭看护、医护疗养等行业提供全新的人机协同模式。