티스토리 뷰
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning 리뷰
HTS3 2021. 5. 1. 00:01QMIX는 저번 COMA리뷰에 이은 2번째 멀티에이전트 강화학습에 대한 논문리뷰입니다.
QMIX에 대해 공부할때는 크게 3가지 자료를 보시면 많이 도움이 되는데요,
1. 원 논문
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
In many real-world settings, a team of agents must coordinate their behaviour while acting in a decentralised way. At the same time, it is often possible to train the agents in a centralised fashion in a simulated or laboratory setting, where global state
arxiv.org
2. 후속 논문
www.jmlr.org/papers/volume21/20-081/20-081.pdf
'
3. 저자 발표영상
이렇게 3가지를 보시면 정리가 잘되는 편입니다.
QMIX를 간단히 summary하자면
1. Value function decomposing을 신경망을 이용해서 구현하여 VDN보다 좀 더 general한 function representation을 얻음
2. Monotonic constraint를 통해 factorized $Q_{tot}$를 Q-learning방식으로 학습하기만 해도 cooperative 전략 수립을 하는 decentralized policy를 뽑아낼 수 있음
3. Starcraft2 환경에서 기존의 VDN, IQL같은 MARL방식들보다 더 우수함을 보임
으로 요약할 수 있습니다.
자세한 리뷰는 아래 슬라이드쉐어에 정리했습니다.
<원본 링크>
www.slideshare.net/minjaej1/qmix-monotonic-value-function-factorization-paper-review
QMIX: monotonic value function factorization paper review
The paper review of the QMIX algorithm. Multi agent reinforcement learning setting. Simple review
www.slideshare.net