티스토리 뷰
2023년도 이제 이틀정도 남았습니다. 매년하는건 아니지만 올해 마무리를 하며 간단히 작성합니다.
올 한해는 크게 두 시즌으로 나뉜것 같네요. 상반기는 연구와 공부를 진행했고, 하반기는 밀려드는 과제에 휩쓸려 다녔습니다. 연구는 그동안 진행하던 학습기반 task allocation (mission planning) 연구를 좀 더 복잡한 환경에 대해 심화시켜 적용하는 것과 non holonomic robot들의 학습기반 flocking 알고리즘에 대한 연구를 진행했습니다. flocking은 군집로봇들이 특별한 formation없이 부딪히지 않고 몰려다니는 이동 방식인데, 사실 학위과정을 시작하며 가장 해보고 싶었던 연구라 상당히 만족하면서 진행했습니다. 과제는,, 올해가 첫해인 과제도 있어서 상당히 애를 먹었는데, 다행히 마무리 되었네요. 연구/공부한것들을 위주로 좀 정리해보려고 합니다.
Task allocation (mission planning)
기존에 제가 진행하던 학습기반 task allocation연구가 제약조건이 거의 없는 상황에서 진행했다면 이번에 진행했던 연구는 이종 (속도, 연료최대량) agent가 다수로 존재하고 연료가 제한적인 energy limited 상황에서 recharging까지 고려하는 task allocation 상황을 가정하고 강화학습을 적용해봤습니다. 결과적으론 나쁘지않은 퀄리티의 솔루션을 얻을 수 있었습니다만 많은 분석이 필요하다고 생각되어 정리중입니다.
보통 vehicle routing 스타일로 문제를 정의하고 pointer mechanism같은 신경망 구조를 활용해서 학습을 진행하는데, 아직 학습은 되는데 어떻게 문제가 풀리는 건지 명확하게 알려진바가 없는 분야라고 생각이됩니다. 최근 연구가 진행중인 neural algorithmic reasoning 분야를 보면 많은 인사이트를 얻을 수 있을 것으로 생각됩니다. 또한 multi agent reinforcement learning 관점에서 heterogeneous agent를 어떻게 다룰지도 주 관심사였고 이부분에 대한 좀 더 깊은 연구도 진행해보고 싶은 마음이 있습니다. 추후에는 path plan이 고려사항으로 추가될 것 같습니다.
Flocking
군집로봇 flocking은 관심은 굉장히 많았으나 기회가 되지않아 계속 손을 못대보던 분야였습니다. 우연히 기회가 닿아서 상반기에 좀 기존 연구 공부와 함께 학습기법을 적용해볼 수 있었습니다. 보통 multi agent control 쪽에서 많이 다루는 분야인데 학습으로 연구한 그룹이 있어서 열심히 논문 구현과함께 follow up해봤습니다.
특히 DDPG, PPO, SAC를 항상 남이 쓴걸 썼는데, multi-agent 세팅에서 parameter sharing 개념으로 적용하느라 처음으로 모든 부분을 직접 작성했는데 많은 공부가 되었습니다. 그리고 타겟 플랫폼을 고정익 (fixed wing)으로 지정하고 진행을 했었는데, 이것도 재밌었네요.
올해는 실질적인 성과물이 없어서 개인적으로 실적면에서는 실패한 한해라고 생각이 되었습니다. 그래도 2023년 1월 부터 지금까지 작업한 기록들을 쭉 훑어보니 놀고만 있었던건 아닌것 같다고 생각이 들었습니다. 올해 목표가 논문2편을 쓰는 것이었는데, 내년에는 잘 정리하여 꼭 달성해보고자 다짐하게되었네요. 그리고 체력 분배와 시간 관리또한 전략적으로 진행해야 할 것을 느꼈습니다. 작년까지만해도 두서없이 일을 진행해도 어느정도 잘 마무리를 하는 편이었는데, 연차가 쌓이면서 개인 실적 이외의 부분에 대한 책임이 늘어나고 기대받는 성과또한 늘어나다보니 올해 막판(특히 11~12월) 에는 체력/정신/시간적으로나 무너져 내리는 것을 느꼈습니다. 일이 마무리된 후에는 번아웃 증후군이 굉장히 심하게 왔었네요 ㅠ
내년에는 좀 새로운 일들이 있습니다. 1~3월 동안 영국으로 가 flocking, task allocation관련하여 집중하여 연구해볼 수 있는 기회가 생겼습니다. 올해있었던 문제들을 교훈으로 삼아 내년에는 좀 더 성장하는 한해를 보내보고자 합니다. 아 그리고 블로그 글도 좀 더 많이 써보자는 목표도 세웠습니다! (최소 10편?)
팀블로그 분들도 모두 아주 조금 남았지만 연말 잘보내시고 내년에도 많은 성취가 있기를 기원합니다!
'keep9oing' 카테고리의 다른 글
| [논문리뷰] Time Limits in Reinforcement Learning (1) | 2024.03.08 |
|---|---|
| 로봇 잡생각 - 로봇이 하나의 단위가 된다면 (9) | 2023.03.23 |
| [논문리뷰]Sold!: Auction methods for multirobot coordination (0) | 2022.11.21 |
| Robotarium - 원격 로봇 테스트 베드 (5) | 2022.04.07 |
| 로봇 작업 할당 - Hungarian Algorithm (9) | 2022.04.05 |