近年来，多智能体深度强化学习发展迅速并被广泛用于各种多智能体协同任务，已经成为人工智能领域的一个研究热点，但如何实现多智能体高效协同仍是其当前面临的重大挑战之一。作为一种流行的解决方案，面向关系建模的合作多智能体深度强化学习方法通过刻画智能体与智能体、智能体与系统整体的关系来准确捕获并利用智能体的个体贡献和智能体间相互作用以有效促进多智能体协同，具有重要研究意义和应用价值。首先简要介绍多智能体系统中存在的关系和多智能体深度强化学习的基础知识；然后从关系建模层次的角度出发将面向关系建模的合作多智能体深度强化学习算法分为基于个体间关系建模、基于个体与全局间关系建模以及基于多尺度关系建模这3类，并对其基本原理及优缺点进行全面梳理；而后着重介绍其在无人集群控制、任务与资源分配、智能交通运输等领域中的应用情况；最后总结当前面临的主要挑战并对未来研究方向进行展望。