connected agent simulation -2-

 

어쩌다 보니 2탄

 

저번에 했던 것에 이어서 connected agent들이 목표지점을 향해 가는 방향으로 학습 할 수 있는 환경을 만들어 볼 수도 있겠다고 생각했다. 아직 시뮬레이션 초기화랑 렌더링 하는 부분까지만 완성을 했는데 open gym 포맷으로 조금씩 발전시켜 나가 볼 듯함.

---

Custom openai gym

openai gym은 강화학습을 시작하면 한번쯤은 돌려봤을 환경들인데, 환경과 에이전트가 서로 상호작용한다는 프로세스를 단순화 시킨 프레임워크라 개인 환경을 짠다고하면 대체로 gym 스타일로 짜려고 한다. 요즘엔 gym을 그냥 상속받아서 그안에 step 이나 reset, render 같은 부분을 내가 원하는대로 맞춰서 쓸 수 있는데 방법은 아래 링크를 가면 잘 나와있다. 멀티에이전트 환경의 경우 open ai gym 말고 petting zoo 스타일을 사용하면 편리한데, 이것도 링크를 남겨둔다.

github.com/openai/gym/blob/master/docs/creating-environments.md

openai/gym

www.pettingzoo.ml/dev_docs

특히 petting zoo의 경우 병렬환경이라던지 에이전트의 비동기적 행동이라던지 멀티에이전트를 위한 여러 wrapper/api 들도 지원하고 있어 멀티에이전트 강화학습을 염두에 둔다면 한번 공부해 볼 만한 프레임 워크임

Matplotlib animation 안쓰고 시뮬레이팅 하는 법

잘 사용할 줄 몰라서 funcanimation을 위주로 렌더링을 하고 있었는데 그냥 pause를 쓰면서 돌려도 된다는 사실을 알게됨

matplotlib.org/stable/gallery/animation/animation_demo.html#sphx-glr-gallery-animation-animation-demo-py

pyplot animation — Matplotlib 3.4.1 documentation

너무 간단한건데, 어렵게 쓰고 있었다.