**摘要 **多智能体强化学习 (Multi-agent Reinforcement Learning, MARL) 近年来获得广泛关注并在 不同领域取得进展. 其中, 协作多智能体强化学习专注于训练智能体团队以协同完成单智能体难以 应对的任务目标, 在路径规划, 无人驾驶, 主动电压控制和动态算法配置等场景展现出巨大的应用潜 力. 如何提升系统协作效能是协作多智能体强化学习领域研究重点之一, 以往的研究工作主要在简 单, 静态和封闭的环境设定中展开. 随着人工智能技术落地的驱使, 目前在多智能体协作领域也有部 分研究开始对开放环境下的多智能体协作展开研究, 这些工作从多个方面对智能体所处环境中要素 可能发生改变这一情况进行探索与研究, 并取得一定进展. 但是当前主流工作仍然缺乏对该方向的 综述. 本文从强化学习概念着手, 针对多智能体系统, 协作多智能体强化学习, 典型方法与测试环境 进行介绍, 对封闭到开放环境下的协作多智能体强化学习研究工作进行总结, 提炼出多类研究方向并 对典型工作进行介绍. 最后, 本文对当前研究的优势与不足进行了总结, 对未来开放环境下协作多智 能体强化学习的发展方向与待研究问题进行展望, 以吸引更多研究人士参与这个新兴方向的研究与 交流. 关键词 强化学习, 多智能体系统, 多智能体协作, 开放环境机器学习, 开放环境多智能体协作