티스토리 뷰
[keep9oing] - Crowd-Robot Interaction:Crowd-aware Robot Navigation with Attention-based Deep Reinforcement Learning
HTS3 2020. 2. 2. 01:33논문 메모는 본격적인 논문리뷰가 아닌 노트장에 대충 끄적이는 느낌의 포스팅이 될 것이다. 본격적인 리뷰는 메모가 어느정도 쌓이거나 좀더 의미있는 고찰이 가능해진 시점에 테마에서 중요하다 생각되는 논문을 위주로 정리한다.
https://arxiv.org/abs/1809.08835
Crowd-Robot Interaction: Crowd-aware Robot Navigation with Attention-based Deep Reinforcement Learning
Mobility in an effective and socially-compliant manner is an essential yet challenging task for robots operating in crowded spaces. Recent works have shown the power of deep reinforcement learning techniques to learn socially cooperative policies. However,
arxiv.org
처음으로 써보는 논문 관련 포스팅. 최근 ICRA 2019에 업로드된 강화학습과 관련된 논문들을 찾던 중 관심 갖게된 군중(human crowd)와 무인 이동 로봇의 상호작용에 관한 내용이다. 상호작용 자체에 대해 다룬 논문도 많지만 이 논문은 특히 deep reinforcement learning을 활용한 navigation에 관한 문제를 풀고있다.
실질적으로 군중속에서 로봇이 어떻게 움직여야 효율적으로 목적지에 도달할지 학습하는 것이 목표이다. Value function을 네트워크로 근사하여 사용하는 방법을 채택했다. Imitation learning방식을 적용하기 위해 ORCA라는 시뮬레이션에서 얻어진 것으로 학습 시간을 어느정도 단축했다고 한다. 전체적인 워크 플로우는 [19][20][22]논문에서 차용한 것같고, 별다른 자세한 설명은 없었다.
Interaction module, pooling module, planning module의 단계로 네트워크들을 구성해 학습시켰다. 군중 인식에 대한 내용들은 머신 러닝에서 social network라는 카테고리로 많이 연구되어졌다. 논문에서 강조하는 파트는 pooling module에서 attention기법을 사용했다는 것이다. 네트워크는 pytorch를 통해 구현됐다.
실험은 ORCAm CADRLm LSTM-RL과 자신들의 모델을 양,질적으로 비교하여 결과를 보여줬다. 임무 성공률, 사람과 충돌률, 임무달성 시간, 그리고 discomfort frequency라는 사람과 너무 가까울때를 가정한 평가지표를 통해 논문 알고리즘의 우수성을 증명했다.
질적으로는 한 케이스에 대해 attention mechanism이 얼마나 reasonable하게 상황에 대처하는지 다른 알고리즘들과 비교하면서 설명했는데, 양적 비교에서 큰 차이를 보이지 않는 점을 고려할때 좀 더 흥미롭게 읽을 수 있었다. 진짜 지능적으로 움직이는 것처럼 잘 설명을 풀어나갔다고 본다.
하지만 실제 데모영상에서는 확 와닿지 않는다.
https://www.youtube.com/watch?v=0sNVtQ9eqjA
처음이라 그런지 어느정도의 양으로 쓰고 어떤 구성을 차용하면 좋을지 감이안온다. 계속 쓰면서 개선해나갈 생각.
평소에 알고싶었던, 로봇이 인간들 틈에서 잘 생활하려면 어떤 기능이 필요할까 에대한 실마리를 준 논문이었다. 생각보다 오랜기간 연구가 진행되었고 많은 방법론들이 multi agent 제어에서도 가져올 수 있다는 것을 참고문헌들을 보면서 알게 됐다. ICRA 2019에 비슷한 논문으로 강화학습이 아닌 방법으로 문제를 푸는 논문이 있는데 이 논문을 다음에 읽어 볼 생각이다.path planning에 대한 공부를 충분히 해야할 이유가 생겼다.