이번 포스팅은 무인기나 로봇의 다개체 시스템을 위한 알고리즘을 연구하고 적용해보면서 경험해본 군집 시스템 운용을 위한 구조화에 대한 두서없는 개인적인 생각이다. 군집 무인기나 멀티 로봇 시스템을 다룰 때 단일 개체인 상황과 가장 다른 부부을 꼽자면 군집 구조이다. 이 때 군집 구조는 크게 중앙 집중, 계층화, 분산화 구조처럼 3가지를 나눌 수 있다.이 구조를 또 다시 의사결정 혹은 정보공유(통신) 2가지 측면에서 나눠서 생각할 수 있게 된다.특히 정보공유에 (통신)이라고 붙인 이유는, 두 개념이 서로 강하게 의존적이지만 때에 따라서 분리될 수 있기 떄문에 이렇게 불렀다. 그럼 대충 크게 6가지 정도되는 경우의 수가 나오게 되는 것이다. 저 2가지 측면[의사결정/정보공유(통신)]으로 나눠진다는 것이 좀 생..
[논문 리뷰] Distributed neighbor selection in multi agent network
분산형 multi agent 제어 분야에서는 주로 agent들의 합의(consensus)가 얼마나 빨리 이뤄지는 지가 주된 관심사이다.예를 들어, formation 제어에서 모든 agent들이 정해진 거리를 유지하는 것과, randezvous 제어에서 공통된 위치로 모이는 것과 같은 일들이 중요한 것이다. multi agent 제어 분야가 일반적인 single agent제어와 가장 다른점은 agent간의 통신을 고려해야 한다는 점이다. 이 때 agent들이 어떤 모양으로 연결되어 통신 가능한지 나타낸 것이 network topology인데, 이 형상이 consensus가 이뤄지는 수렴 속도에 큰 영향을 미친다. 이 network topology는 무선 통신의 경우 통신 거리에 따라 다르게 형성 될 수 도..
뉴턴 메서드는 함수의 해를 근사적으로 찾는 수치해석 기법이며 변수의 시작점에서 Taylor Expansion을 통해 2차 함수를 근사하고 이후 근사한 2차 함수의 값이 감소(또는 증가)하는 방향으로 이동시키며 최소 값(또는 최대 값)을 만족시키는 최적 해를 찾습니다.*일반적으로 극값이지만 편의를 위해 최소 값을 찾는 문제로 제한*함수가 컨벡스하다면 locally optimal solution = globally optimal solution입니다. 그렇지 않다면 globally optimal solution임을 보장할 수 없습니다.경사 하강법의 1차 근사와 달리 2차 함수로 근사하기 때문에 근사하는 지점 부근에서 상대적으로 더 자세히 모델링하므로 성능이 더 좋습니다.이러한 수치적으로 해를 구하는 방법은 ..
[논문리뷰] Imitation Bootstrapped Reinforcement Learning
Imitation Bootstrapped Reinforcement Learning저자 : Hengyuan Hu, Suvir Mirchandani, Dorsa Sadigh논문 : https://arxiv.org/abs/2311.02198작성 : 이해구, gpt il은 확실히 샘플링 효율이 좋다. 그래서 특정 테스크를 로봇에게 학습 시킬때 실제로 RL보다 잘 작동하는데, 당연하게도 소위 말하는 "전문가의 작업 데이터"를 모으는 게 힘들다. 따라서 il은 근본적인 확장성 문제를 가지게 된다. 비슷한 작업이라도 약간만 달라지면 fine 튜닝이 필요하게 된다. 이를 해결하기 위해 RL에서 IL 을 효율적인 자율 향상 방법으로 사용할 수 있다면 매우 좋은 프레임워크가 된다. 논문에서는 모방학습 부트스트랩 RL..
선형 시불변 시스템의 연속 상태 공간 모델의 이산화
노션에다 정리한걸 그대로 가져와봤는데 안되서 html을 긁어왔더니 되네요.. 노션에서 작성된 형식을 그대로 옮기는게 꽤 불편하네요Continuous State Space Model of Linear Time invariant Systemx˙=Ax(t)+Bu(t)y(t)=Cx(t)+Du(t),t≥0{\dot x} = Ax(t)+Bu(t) \\ y(t) = Cx(t)+ Du(t), t\geq 0x˙=Ax(t)+Bu(t)y(t)=Cx(t)+Du(t),t≥0, (1) The matrix exponential function asddteAt=AeAt=eAtA{d\over dt}e^{At} =Ae^{At}=e^{At}A dtdeAt=AeAt=eAtA, (2) Multiplying both sides of (1) ..
[LLM] Transformer :: GPT 쓰긴 싫지만 GPT 안쓰면 도태될까봐 두려운 할미 MZ의 뒤늦은 LLM 공부 (1) Auto-regressive란?
작성자 : UNIST 기계공학과 석사과정생 임가은 ㅡAuto-regressive 란, transformer [1] 의 decoder가 작동하는 방식입니다. 다음 출력을 생성할 때, 이전의 예측 결과를 고려하는 방식이에요. 예를 들어 아직 미완성인 어떤 input sequence (y_1, y_2, ...y_t) 문장이 주어졌을 때, 문장의 다음 단어인 y_t+1 단어를 예측하는 과정에서 앞의 단어들이 등장할 확률을 conditional probability로 고려해 주는 거에요. ㅡ잠깐 사전지식으로, transformer 는 크게 encoder와 decoder로 구성되어 있습니다. 대부분의 유명한 nearul sequence transduction model들은 encoder와 decoder 조합을 구..
작성자 : UNIST 기계공학과 석사과정생 임가은 ㅡChatGPT 등장 이후, 저에겐 약 1년간은 절대 GPT를 사용하지 않겠다고 결심했던 기간이 있었습니다. 왠지 인간의 고유한 능력, 질문하고 사유한 뒤 나름의 답을 내리는 것 마저 기계에게 빼앗겨버린 느낌이랄까요? 어디까지 효율을 추구해야 할지 혼란스러우면서도, 한편으로는 GPT를 사용하는 친구들의 과제 제출 속도를 따라갈 수 없어 마지못해 사용하기 시작하게 되었던 것 같아요. 저의 GPT 사용 history를 간단히 풀어보자면, 2022년 말에는 3개월 무료 체험권을 연구실 동료에게 선물받아 어찌저찌 사용했습니다. 2023년에는 무지막지한 ROS package 설치와 Gazebo, Unreal 등 가상환경 구성을 할 일이 많았고, 이때 GPT가 큰 ..
Trajectory optimization(TO)을 몇달간 공부하고 사용하면서 알게 된 사실들을 조금 정리해보려 한다. 분명 강력한 오프라인 플래너지만 확실히 한계점도 존재한다. 이제는 벌써 트렌드와는 멀어진 기술이지만 개인적으로 학습 기반으로 넘어가기 전에 Trajectory optimization과 MPC는 해보고 가는 게 좋다 생각했다. 나처럼 TO를 처음 접하고 고통 받는 사람들을 위해 명확한 사실은 아니지만, 대충 내가 느낀 걸 적어본다.1. 스케일 Down to 스케일 Up 모든 문제 해결의 시작은 단순화이다. TO 문제 또한 가장 먼저 문제를 단순화시키고 단순화 된 문제에서 원하는 해결책을 찾았다면 그 다음 조금씩 Scale up 한다. 단순화 하는 방법으로는 차원 줄이기, 제약 사항 늘리..