多智能体设置在机器学习中的重要性日益突出。超过了最近的大量关于深度的工作多agent强化学习，层次强化学习，生成对抗网络和分散优化都可以看作是这种设置的实例。然而，多学习代理人的存在这些设置使得培训问题的非平稳常常导致不稳定的训练或不想要的最终结果。我们提出学习与对手的学习意识（萝拉），一种方法，原因的预期。其他代理的学习。罗拉学习规则包括一个额外的术语，解释了在预期的参数更新的代理政策其他药物。我们发现，利用似然比策略梯度更新的方法，可以有效地计算萝拉更新规则，使该方法适合于无模型强化学习。这种方法因此规模。大量的参数和输入空间和非线性函数逼近。初步结果表明，遭遇两萝拉剂导致出现针锋相对针锋相对因此，在无限重复的囚徒困境中进行合作，而独立学习则没有。在这域，LOLA也得到更高的支出相对于朴素的学习者，并且对基于高阶梯度法的开发具有鲁棒性。应用于无限重复
便士匹配，只有萝拉剂收敛到纳什平衡.我们也将萝拉应用到网格世界任务中。一个嵌入式的社会困境使用深复发性政策。再次，通过考虑其他Agent的学习，LOLA代理商学会合作出于私利。(Due to the advent of deep RL methods that allow the study of many agents in rich environments, multi-agent reinforcement learning has flourished in recent years. However, most of this work considers fully cooperative settings (Omidshafiei et al., 2017; Foerster et al., 2017a,b) and emergent
communication in particular (Das et al., 2017; Mordatch and Abbeel, 2017; Lazaridou, Peysakhovich, and Baroni, 2016; Foerster et al., 2016; Sukhbaatar, Fergus, and others, 2016). Considering future applications of multi-agent RL, such as self-driving cars, it is obvious that many of these will be
yEqual Contribution only partially cooperative and contain elements of competition and selfish incentives)