로봇이 아닙니다.

박사과정 중 헤밍웨이에게 듣는 조언

HTS3 — Thu, 2 Jul 2026 00:48:23 +0900

가끔 별생각 없이 읽은 문장이 오래 남을 때가 있다. 최근에 어니스트 헤밍웨이의 글쓰기와 관련된 문장을 읽었는데, 처음에는 그냥 소설가의 작법에 관한 말이라고 생각했다. 그런데 곱씹어볼수록 이 말이 논문을 쓰는 일에도 꽤 잘 맞는다는 생각이 들었다.

헤밍웨이는 『Death in the Afternoon』에서 이렇게 썼다.

If a writer of prose knows enough of what he is writing about he may omit things that he knows and the reader, if the writer is writing truly enough, will have a feeling of those things as strongly as though the writer had stated them. The dignity of movement of an ice-berg is due to only one-eighth of it being above water. A writer who omits things because he does not know them only makes hollow places in his writing.

간단히 요약하면 아래와 같다.

작가가 내용을 충분히 알고 진실하게 쓰면, 다 설명하지 않아도(생략하더라도) 독자는 숨은 의미를 느낀다. 빙산이 물 위에 조금만 드러나도 거대함을 느끼게 하듯, 좋은 글의 힘은 보이지 않는 깊이에서 나온다. 하지만 모르기 때문에 생략하면 글은 깊어지는 것이 아니라 텅 비게 된다.

흔히 헤밍웨이의 “빙산 이론”으로 이야기되는 문장이다. 글에 모든 것을 다 드러낼 필요는 없다. 오히려 잘 쓴 글은 많은 것을 말하지 않고도 느끼게 한다. 다만 그 생략은 작가가 충분히 알고 있을 때만 가능하다. 알고 있기 때문에 생략하는 것과 모르기 때문에 생략하는 것은 전혀 다르다.

이 문장을 읽으면서 논문 쓰기가 떠올랐다. 논문에서도 생략은 필수다. 모든 배경지식을 설명할 수 없고, 모든 방법론적 선택을 길게 방어할 수 없고, 모든 부가적인 결과를 본문에 넣을 수도 없다. 좋은 논문은 필요한 것을 남기고 나머지를 적절히 덜어내는 글이다. 중요한 것은 생략 자체가 아니라 생략의 이유다. 내가 충분히 알고 있기 때문에 생략하는 것은 압축이다. 내가 잘 모르기 때문에 생략하는 것은 구멍이다.

논문을 쓰다 보면 literature review에서 중요한 계보가 빠져 있거나, method를 왜 그렇게 선택했는지 설명이 약하거나, result와 discussion 사이에 논리적 점프가 있거나, limitation으로 인정해야 할 문제를 조용히 지나가면 글 어딘가가 비어 보인다. 신기하게도 이런 빈 곳은 저자보다 독자가 더 빨리 알아챈다. 리뷰어는 특히 더 그렇다.

논문에서 생략해도 되는 것은 내가 설명할 수 있지만 지금은 쓰지 않는 것이다. 생략하면 안 되는 것은 내가 설명할 수 없어서 피하고 있는 것이다.

이쯤에서 재밌어진 나는 다른 작가들의 글쓰기 조언들도 함께 알아보았다.

조지 오웰은 「Politics and the English Language」에서 이렇게 말했다.

“What is above all needed is to let the meaning choose the word, and not the other way about.”

의미가 단어를 고르게 해야지, 단어가 의미를 끌고 가게 해서는 안 된다는 말이다.

“novel”, “robust”, “significant”, “important”, “meaningful”, “comprehensive” 같은 단어들은 너무 쉽게 나온다. 그런데 그런 단어들이 실제로 정확한 의미를 운반하고 있는지는 별개의 문제다.

예를 들어 이런 문장은 논문에서 흔히 볼 수 있다.

"This study provides a novel and meaningful contribution to the literature."

겉으로는 논문다운 문장처럼 보인다. 하지만 무엇이 새로운지, 누구에게 meaningful한지, 어떤 literature에 대한 contribution인지, 기존 연구의 이해를 어떻게 바꾸는지가 문장 안에 없다.

조앤 디디온은 「Why I Write」에서 이렇게 썼다.

“I write entirely to find out what I’m thinking, what I’m looking at, what I see and what it means.”

나는 내가 무엇을 생각하는지, 무엇을 보고 있는지, 그것이 무슨 의미인지 알아내기 위해 쓴다는 말이다.

논문 초고를 쓰기 전에는 내가 내 연구를 꽤 잘 이해하고 있다고 생각한다. 그러나 Introduction을 쓰다 보면 내가 정확히 어떤 gap을 겨냥하고 있는지 애매해진다. Method를 쓰다 보면 내가 당연하다고 생각했던 선택의 근거가 충분하지 않다는 걸 알게 된다. Result를 쓰다 보면 데이터가 실제로 말해주는 것과 내가 말하고 싶은 것 사이의 차이가 보인다. Discussion을 쓰다 보면 이 논문이 결국 무엇을 주장하는지 다시 보게 된다.

이런 점에서 초고는 이미 완성된 생각을 옮겨 적는 과정이 아니다.

아서 퀼러-쿠치의 조언은

“Murder your darlings.”

내가 아끼는 문장, 멋있다고 생각하는 표현, 공들여 쓴 장면이라도 글 전체를 위해 필요하지 않다면 지우라는 뜻이다.

논문에서는 이 말이 더 잔인하게 느껴진다. 박사과정에서 논문을 쓰다 보면 특히 버리기 어려운 내용들이 생긴다. 오래 고생해서 얻은 분석, 힘들게 만든 그림, 많이 읽고 정리한 문헌, 개인적으로 애착이 가는 해석, 꽤 잘 썼다고 생각하는 문단. 하지만 논문에서 중요한 기준은 내가 그 부분을 얼마나 좋아하는지가 아니다. 그 부분이 이 논문의 main claim을 제대로 뒷받침 하는 지가 중요하다.

때론 낭만에 취해 비약적 의견을 넣은 적이 많은데, 좋은 평가를 받아본적이 없다.

문학이나 논문이나 공통적으로 독자들에게 많이 읽히고, 원하는 바를 전달하고자 한다. 그래서 다른 포맷이지만 좋은 글로써 근본적으로 지향하는 바는 닮아 보인다.

그러나 이런 블로그 포스팅은 얼마나 자유로운가. 평가 받지않고, 원하는 만큼 구조적이면서도 두서없이 글쓰는 순간이 가장 즐겁다. :)

Tactile/In Hand Manipulation 연구 동향 팔로우

미니멀공대생 — Mon, 20 Apr 2026 19:27:44 +0900

Jitendra Malik 교수님과 Haozhi Qi의 연구를 팔로우하는 글

우선 "In-Hand Object Rotation via Rapid Motor Adaptation(RMA)"을 읽어보자. 해당 논문에서는 오직 Proprioceptive information(해당 글에서는 고유수용감각 정보라고 번역)만 이용해서 시뮬레이션에서 학습을 진행한 후 파인 튜닝 없이 실제 로봇에서 정책을 실행한다. 심지어 학습 시킨 물체도 간단한 실린더 물체였지만, 실제에서는 다른 모양, 무게를 가진 물체를 잘 돌리는 모습을 보여준다. 물론 복잡한 동작은 아니고 z axis로 회전시키는 동작이다.

이 논문의 근원은 "RMA:Rapid Motor Adaptation for Legged Robots"와 "Learning Quadrupedal Locomotion over Challenging Terrain"이다. 이 논문에서 말하는 근본적인 아이디어는 손가락 끝으로 전달되는 다양한 요소들이 컴팩트한 표현으로 압축될 수 있다는 것이다. 이런 다양한 요소들을 컴팩트하게 학습하면 제어기가 모아둔(history) 고유수용감각 정보들부터 요소들을 예측하여 다양한 물체에 적응해서 조작할 수 있다고 한다.

중요한 점은 실제 로봇에서는 물리적 요소들을 알 수가 없기 때문에 RMA에서 나온 방식을 이용해서 현재 제어입력과 과거 고유수용감각 정보들의 차이를 이용해 예측한다.

기본적인 최근 In-hand manipulation + tactile 프레임워크랑 비슷한 형태이다.

Privileged Information(해당 글에서는 특권 정보라 번역)을 정책에게 전달해준다. 다만, 직접적으로 전달하는 것이 아니라 임베딩을 통해서 9차원 정보를 8차원 임베딩을 하여 전달한다.

논문에서는 생각보다 Observation의 길이가 길다. 최근 3step에서의 관절 상태와 최근 3step에서의 명령을 합쳐서 길이 96의 1차원 벡터를 이용한다. 논문에서는 정책과 함께 임베딩 함수(Object Prop Encoder)를 PPO로 같이 학습한다.

실제 환경에서 돌리기 위해서는 결국 임베딩 된 z 값 예측인 z_hat을 예측해야 한다. 고유수용감각 정보 기록과 액션 히스토리의 차이를 이용해서adaptation module phi로 z_hat을 예측. 경로랑 특권 정보를 예측 된 z_hat으로 정책을 돌려 저장한다. 추가적으로 실제(시뮬) z 값을 저장하여 데이터 셋 B를 저장한다. 이를 이용해서 Adam을 이용해서 L2 거리로 phi를 최적화 한다.

다음으로 알아볼 논문은 "Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing"이다. 해당 논문에서는 tactile skin에 대한 tactile model을 제시하여 shear, normal force를 zero-shot sim-to-real 전달이 가능하도록 한다.

논문에서는 특권 정보를 이용해 오라클 정책을 학습시킨다. 이후 observation 엔코더와 함께 tactile policy를 센서 모델과 함께 학습시킨다. 여기서도 오라클 정책을 학습시키는 방법이 이전 RMA논문과 거의 동일하다. 다른점이라면 그저 latent z를 학습하는 과정에서 tactile sensor 모델을 사용했으며, z_hat을 구하는 데에서는 실제 tactile 센서 값을 필터링하여 사용했다는 점. 즉, 큰 틀에서는 이전 논문과 다른점이 없다.

다음 논문은 "Learning Dexterous Manipulation Skills from Imperfect Simulations"이다.

이 논문은 Fig2가 전부 설명해준다. RMA논문처럼 우선 다루려는 물체를 간단하게 만들고 이를 조작하는 정책을 하나 만든다. 그리고 이 정책을 현실에서 돌린다, 이때 생기는 sim-to-real 문제는 사람이 텔레옵으로 조금씩 정리해준다. 그리고 이때 발생하는 정보를 저장한다. 그리고 모은 데이터를 이용해서 BC를 학습한다. 이렇게 되면 현실 데이터를 이용해서 Tactile 정보를 이용할 수 있는 BC Policy를 얻을 수 있다.

이전 논문에서 동일 프레임워크를 사용한다. 오라클 정책을 학습하고 latent space를 예측할 수 있는 adaptive module phi를 만들고 이를 이용해 최종 시뮬레이션에서 학습한 정책을 만드는 형태. 다만, 이를 바로 이용하지는 않고 현실에서 돌리고 Human in the loop를 통해 현실 데이터를 모아서 tactile sensor를 활용하는 형태.

이 Tactile , In-Hand Manipulation 연구 틀이 공유하는 것은 5가지로 정리할 수 있다.

End-to-End가 아닌 중간 표현을 하나 둔다. 앞서 설명한 논문에서는 9차원의 특권 정보를 8차원의 latent z로 압축한다. 또 다른 논문에서는 적당한 RL-Policy를 돌려서 skill primitive, assisted teleoperation을 중간 단계로 사용하여 real demonstration으로 넘어간다. tactile을 이용하는 In-Hand Manipulation 논문에서도 실제와 맞는 텍타일 센서 모델을 이용해서 policy 학습으로 연결한다.
시뮬레이션 정보와 실제 로봇에 있는 정보의 차이를 다룬다. 다이나믹스 정보를 실제에서는 못보니 고유수용감각 정보로 latent를 추정하고, tactile 센서 또한 sim-to-real tactile skin model을 만든다. Imperfect simulation에서는 simulation이 불완전하기 때문에 sim에서 끝내지 않고 real 데이터를 모아서 그 다음 스텝으로 넘어간다. 즉 "현실에서는 똑같은 정보를 얻지 못한다" 라는 데서 시작한다.
task-relevant adaptation 중심이지, 완전한 물리 재현이 중심은 아니다. 회전에 필요한 latent를 맞추는 게 중요하고, tactile 센서를 완벽하게 재현하기 보다는 shear/normal 정보를 실제로 쓸 수 있게 만들고, Imperfect simulation 또한 접촉역학을 완벽하게 맞춘 시뮬레이터를 만들려는 게 아니라 실제 데이터를 만드는 쪽으로 진행한다. "physics-perfect"보다 task-sufficient 되도록 재현한다.
History, Temporal Information을 중요하게 사용한다.기본적으로 고유수용감각 정보와 액션 히스토리를 보거나, K step에서의 observation을 모아서 temporal 히스토리로 쓴다. 즉, 시간적 패턴 정보를 본다.
센서로 현재 상호작용을 얼마나 잘 요약하는지가 중요하다.

오랜만에 네이버 블로그에 있는 글 티스토리에도 올려봅니다..

연구주제 포기

HTS3 — Mon, 6 Apr 2026 18:00:39 +0900

연구를 시작할 때 나는 종종 새로운 아이디어가 주는 흥분에 먼저 끌렸다. 문제를 수학적으로 정식화할 수 있고, 모델 구조도 떠오르고, 구현의 윤곽도 보이면 이미 절반쯤은 해낸 것 같은 기분이 들었다. 이번에도 그랬다. discrete action과 continuous action을 함께 순차적으로 생성하는 policy를 설계하고, 이를 Dubins TSP에 적용해 볼 수 있지 않을까 생각했다. 문제는 분명 흥미로웠다. 방문 순서라는 이산적 결정과 heading angle이라는 연속적 결정을 한 모델 안에서 함께 다루는 그림은 아름다워 보였다. 한동안은 그 구조 자체가 연구의 충분한 이유처럼 느껴졌다.

하지만 조금 더 들여다보자 다른 질문이 생겼다. “이 문제가 정말 지금 내가 시간을 쏟아부을 만한 문제인가?” 기술적으로 가능하다는 것과, 박사과정의 소중한 시간을 걸 가치가 있다는 것은 전혀 다른 문제였다. 이 차이를 인정하는 데는 생각보다 시간이 걸렸다.

내가 관심을 둔 설정은 single vehicle Dubins TSP였다. 그런데 이 문제에는 이미 WiSM 같은 강한 기준점이 있었다. WiSM은 단순히 점수만 잘 나오는 기법이 아니라, 문제의 구조를 정교하게 반영한 강력한 solver였다. 이런 베이스라인이 존재하는 상황에서 내가 기대할 수 있는 승부는 대개 세 가지였다. 조금 더 좋은 해를 찾거나, 조금 더 빠르게 풀거나, 조금 더 큰 문제를 다루는 것이다. 얼핏 보면 충분히 도전해 볼 만한 목표처럼 보인다. 그러나 곧 나는 불편한 사실을 마주했다. 이 세 가지 중 어느 것도, 적어도 내가 그릴 수 있는 응용 시나리오 안에서는 결정적으로 설득력 있지 않았다.

먼저 일반화 문제를 생각해 보았다. 물론 neural combinatorial optimization에서 generalization은 그 자체로 중요한 주제다. 하지만 바로 그 점 때문에, 굳이 Dubins TSP에 내 연구를 묶을 필요가 없다는 생각이 들었다. 만약 내가 정말 다루고 싶은 것이 generalization이라면, 더 핵심적이고 더 넓게 인정받을 수 있는 문제들이 따로 있을 것이다. Dubins TSP는 그 질문을 담는 하나의 무대일 수는 있어도, 반드시 선택해야 하는 무대는 아니었다. 문제를 사랑하는 것과 문제에 매달리는 것은 다르다는 사실을 여기서 배웠다.

속도에 대해서도 비슷한 회의가 생겼다. WiSM보다 빠르게 풀 수 있다는 주장은 분명 매력적으로 들린다. 하지만 연구는 “빠르다”는 형용사 하나로는 충분하지 않다. 어느 정도의 스케일에서, 어느 정도의 시간 예산 아래, 무엇을 위해 빨라야 하는지가 함께 제시되어야 한다. 나는 재계획이 중요한 상황을 떠올려 보았고, fixed-wing UAV가 많은 포인트를 대상으로 매우 짧은 시간 안에 반복적으로 풀어야 하는 실제 사례가 있는지를 자문했다. 그러나 그 필요성이 내 안에서 명확하게 자리 잡지 않았다. “혹시 중요할지도 모른다”는 정도로는 논문 한 편을 쓸 수 있어도, 남은 박사과정의 시간을 걸 수는 없다는 생각이 들었다.

그 지점에서 나는 이 주제를 포기하기로 했다. 처음에는 포기가 패배처럼 느껴졌다. 어렵게 세운 아이디어를 내려놓는 일은 언제나 자기부정처럼 다가온다. 특히 구현까지 가능한 그림이 보일 때는 더 그렇다. 하지만 시간이 지나면서, 이번 포기가 무기력에서 나온 것이 아니라 분별에서 나온 결정이라는 것을 받아들이게 되었다. 연구에서는 끝까지 버티는 힘만큼이나, 잘 접는 힘도 중요하다. 어떤 문제는 어렵기 때문에 포기하는 것이 아니라, 너무 많은 시간을 써도 남는 것이 불분명하기 때문에 포기해야 한다.

돌이켜보면, 나는 이 과정에서 적지 않은 것을 얻었다.

가장 먼저 얻은 것은 아이디어를 보는 새로운 기준이다. 예전의 나는 “재미있고 기술적으로 가능하다”는 이유만으로도 꽤 오래 붙잡고 있었을 것이다. 그러나 이번에는 한 걸음 물러서서 물었다. 이 아이디어가 정말 필요한가. 강한 베이스라인을 상대로 겨룰 이유가 충분한가. 내가 조금 이겨도 연구적으로 남는 것이 있는가. 응용 측면에서 꼭 해결되어야 하는 병목인가. 이 질문들은 아이디어를 꺾기 위한 질문이 아니라, 아이디어를 지켜 주기 위한 질문이라는 것을 이제는 안다. 좋은 연구는 가능성만으로 커지지 않고, 필요성 위에서 자란다.

또 하나 얻은 것은 강한 베이스라인을 대하는 태도다. 예전에는 좋은 baseline이 있으면 그것을 넘어서는 것이 곧 연구의 목적이라고 쉽게 생각했다. 하지만 이제는 조금 다르게 본다. 강한 baseline은 나를 막는 벽이 아니라, 내가 어디에서 가치가 생기는지를 알려주는 기준점이다. baseline이 너무 강해서 정면승부의 의미가 작다면, 문제는 “어떻게 이길까”가 아니라 “어디에서 다른 가치를 만들까”가 된다. 그 가치가 없다면, 과감하게 떠나는 편이 낫다. 이 단순한 사실을 몸으로 이해한 것은 생각보다 큰 수확이다.

나는 또한 문제 설정과 실제 세계 사이의 거리를 조금 더 민감하게 보게 되었다. 이론적으로 흥미로운 설정과 실제로 절실한 설정은 자주 어긋난다. 특히 조합최적화와 학습이 만나는 영역에서는, benchmark 위의 개선이 실제 시스템에서의 필요성과 자동으로 이어지지 않는다. 이제 나는 어떤 문제를 보더라도 먼저 묻게 된다. 이것은 진짜로 누구를 위해 중요한가. 이 질문에 선명하게 답하지 못한다면, 성능 향상 그래프가 아무리 예뻐도 마음 한구석은 계속 불편할 것이다.

무엇보다도, 나는 이번 포기를 통해 내 연구 취향을 조금 더 또렷하게 알게 되었다. 나는 단순히 어려운 문제를 푸는 데서 만족하는 사람이 아니라, 왜 이 문제가 지금 여기서 중요한지를 납득하고 싶어 하는 사람이라는 사실 말이다. 새로운 모델을 만드는 일 자체보다, 그 모델이 기존 접근으로는 잘 다루지 못하는 어떤 본질적 틈을 메운다는 확신이 있을 때 더 오래 버틸 수 있다는 것도 알게 되었다. 이것은 앞으로의 주제를 고르는 데 큰 기준이 되어 줄 것이다.

포기한 주제는 사라지지 않는다. 그것은 종종 다음 선택의 기준이 된다. 이번에 내려놓은 Dubins TSP 아이디어도 그렇다. 나는 여기서 hybrid autoregressive policy라는 흥미로운 관점을 보았고, 강한 고전적 방법론과 학습 기반 접근이 만날 때 어떤 질문을 먼저 던져야 하는지도 배웠다. 비록 이 주제는 접었지만, 그 안에서 얻은 문제 감각은 쉽게 사라지지 않을 것이다. 어쩌면 앞으로 더 적절한 문제를 만났을 때, 지금 떠올렸던 아이디어는 다른 모습으로 다시 돌아올지도 모른다.

연구에서 포기가 끝이 아니길 바라며. 때로는 방향 잃은 열정을 정리하고, 더 오래 남을 질문을 찾아가기 위한 과정이길 바란다.

군집 / 멀티 로봇 체계 구조에 대한 생각

HTS3 — Wed, 26 Nov 2025 16:37:41 +0900

이번 포스팅은 무인기나 로봇의 다개체 시스템을 위한 알고리즘을 연구하고 적용해보면서 경험해본 군집 시스템 운용을 위한 구조화에 대한 두서없는 개인적인 생각이다.

군집 무인기나 멀티 로봇 시스템을 다룰 때 단일 개체인 상황과 가장 다른 부부을 꼽자면 군집 구조이다.

이 때 군집 구조는 크게 중앙 집중, 계층화, 분산화 구조처럼 3가지를 나눌 수 있다.

이 구조를 또 다시 의사결정 혹은 정보공유(통신) 2가지 측면에서 나눠서 생각할 수 있게 된다.

특히 정보공유에 (통신)이라고 붙인 이유는, 두 개념이 서로 강하게 의존적이지만 때에 따라서 분리될 수 있기 떄문에 이렇게 불렀다.

그럼 대충 크게 6가지 정도되는 경우의 수가 나오게 되는 것이다.

저 2가지 측면[의사결정/정보공유(통신)]으로 나눠진다는 것이 좀 생소하게 생각 될 수 있는데,

예를 들어 가장 간단한 중앙 집중형 의사결정과 정보 공유를 생각해보자.

이 때 모든 정보는 중앙 개체 역할을 하는 하나의 개체에 집주되고, 이 개체가 다른 모든 개체의 행동을 계산하여 전파하게된다.

가장 극단적으로 반대되는 설정으로 중앙 집중형 의사결정과 분산형 정보 공유를 생각해보자.

이 경우는 전체 시스템에 대한 정보는 개별 개체가 가지고 있지만, 이들이 이웃이라고 "여기는" (애매하지만 이게 정확하다고 생각함) 개체 들에게 각자의 정보를 전달하고, 이를 반복함으로써 중앙개체가 전체 정보를 언젠가 알게되고, 이를 바탕으로 다시 중앙 집중식 의사결정을 하게 되는 것이다.

두 번째 반대 설정은 분산형 의사결정과 중앙 집중적 정보 공유다.

이는 중앙 개체가 모두에게 global정보를 보내주고, 이에 대해 각자가 분산적으로 의사결정한다. 좀 어색한 개념같지만 생각보다 괜찮다. 때에 따라선 연산량을 대폭 줄일 수 있기 때문이다.

많은 academic연구에서는 중앙집중 알고리즘이면 의사결정/정보공유도 중앙집중이고, 분산형 알고리즘이면 두 측면 모두 분산형으로 설정하고 연구를 진행한다. 이게 마음이 편하기 때문이다.

하지만 실제로는 이렇게 딱 나눠서 하기에는 좀 어려움이 있다.

원인은 보통 통신 성능과 연산량 한계에 있다.

그래서 적당하게 부분적으로 계층화를 이루거나 이것 저것 섞여버린 형태로 구현이 된다.

특히 정보 공유에서 ~~ 레벨까지는 중앙집중화 하고 ~~ 레벨 까지는 분산화하자 이런식으로 가게되면 구현자는 매우 골치아파지는 것이다. 또는 ~~알고리즘은 중앙집중식으로하고 ~~알고리즘은 분산적으로 하자 라던가..

개인적으로는 통신적 인프라와 용량이 허용되는한 중앙집중식으로 먼저 설계를하고, 한계가 느껴지는 부분에 대해 분산화로 풀어주면서 유연성을 가져가는게 제일 쉬운 구성법이라는 생각을 한다. 그래서 어떤 부분을 centralized 혹은 decentralized하게 만들지 먼저 구조화를 잘 진행하고 시스템 개발을 시작한다면 좀 수월해 지지않을까 싶다. 아직 이런 부분들에 대한 큰 discussion은 거의 없는듯 하다.

우주 환경처럼 통신 인프라가 매우 척박한 경우에는 완전 분산형 시스템을 어쩔 수 없이 쓰는 정도일 것 같다.

다만 모든 개체가 AGI급 성능을 보일 수 있다면 완전 분산화를 통한 자율적인 다개체 시스템도 구현가능하다고 보긴하는데, 이런 부분에 대한 연구 자체는 아직 거의 없는 듯 하다. 최근 LLM ochestration쪽을 보면 여기가 일정 부분 진화하면 로보틱스에서도 사용이 잘 될 것 같은 느낌은 든다.

[논문 리뷰] Distributed neighbor selection in multi agent network

HTS3 — Mon, 4 Aug 2025 19:56:02 +0900

분산형 multi agent 제어 분야에서는 주로 agent들의 합의(consensus)가 얼마나 빨리 이뤄지는 지가 주된 관심사이다.

예를 들어, formation 제어에서 모든 agent들이 정해진 거리를 유지하는 것과, randezvous 제어에서 공통된 위치로 모이는 것과 같은 일들이 중요한 것이다.

multi agent 제어 분야가 일반적인 single agent제어와 가장 다른점은 agent간의 통신을 고려해야 한다는 점이다. 이 때 agent들이 어떤 모양으로 연결되어 통신 가능한지 나타낸 것이 network topology인데, 이 형상이 consensus가 이뤄지는 수렴 속도에 큰 영향을 미친다. 이 network topology는 무선 통신의 경우 통신 거리에 따라 다르게 형성 될 수 도 있고, 운용자가 특정 network protocol을 사용해서 고정된 topology를 유지하도록 만들 수 도 있다.

이런 network topology는 보통 graph로써 표현하는데, vertex는 agent, edge는 통신 여부를 나타낸다. 쌍방향 통신을 하는 경우 undirected graph, 단방향 통신을 허용하는 경우 directed graph로써 나타낼 수 있다. 이때 특정 vertex에서 직접적으로 edge로 연결되어있는 vertex집합을 그 vertex의 이웃이라고 표현한다.

논문에서 관심 있는 문제는, 특정 network topology가 주어졌을 때 agent들이 통신가능한 이웃 중 특정 subset의 이웃을 선택하여 전체 수렴 속도를 증가시킬 수 있는 방법을 찾고 그것이 분산적으로 이뤄질 수 있도록 만드는 것을 목표로한다. 여기서 분산적으로 이뤄진다는 것은, 각 agent들이 전체 network 상태를 알지 못해도, 나 자신과 이웃의 정보만을 가지고 의사결정을 하는 형태를 말한다.

multi agent 제어에서 분산적 의사결정을 할 수 있다는 것은, 모든 agent의 행동을 결정하는 central agent가 없기 때문에 single point failure같은 문제에 대응가능하고, network의 agent 수가 상황에 따라 가변적이어도 확장적으로 적용이 가능한 장점을 갖기 때문에, 많은 multi agent 제어 연구자들이 이런 특성을 갖는 알고리즘을 개발하려고 한다.

그런데, 이웃 set의 subset을 고르는 것으로 수렴속도를 높인다는 것은 꽤나 직관에 반하는, counter intuitive한 발상이긴하다. 왜냐하면 consensus를 하기위해서 최대한 많은 수의 이웃과 통신을 하기 위해 노력해도 모자를 판에, 더 적은 이웃과 소통 해야한다는 것을 저자들이 주장하고있는 것이다. 그러나 실제 생활에서도 집단이 효율적으로 협업을 하기위해 소통 구조를 체계화 하는 것이 더 효과적인 경우들이 많은 것을 경험적으로 생각해볼 수 있다.

그렇다면 저자들은 어떻게 알고리즘을 디자인 했을까? 단계별로 보면 주어진 network graph에서 저자들의 직관에 따라 생각해낸 subgraph형태를 적용했을 때 consensus가 더 빨리 수렴한다는 것을 수학적으로 증명하고, 이 subgraph를 개별 agent단계에서 분산적 neighbor selection을 통해 달성할 수 있도록 하는 수학적 아이디어들을 제시하고, 그것이 달성가능함을 이론적/실험적으로 보인다. 참고로 consensus 수렴 속도에대한 증명은 network의 정보에 끊김이 없다는 것을 증명하기 위한 rechability 증명이 consensus rate증명과 함께 이뤄진다. Reachability가 보장되어야만 기존에 이루고자 했던 consensus가 정상적으로 이뤄지는 것이다.

Multi agent control 문제

저자들은 간단한 consensus문제인 randezvou 문제를 가지고 제안한 알고리즘을 검증한다. randevou (랑데뷰) 문제는 모든 agent들이 같은 상태가 되도록 만드는 일정의 synchronization 문제이며, 도킹같은 일을 위해 사용한다. 2가지 network 타입에 대해 적용해보려하는데, network에서 외부 제어 입력을 받아들여 움직이는 agent가 일부 존재하는 semi autonomous network (SAN)과 모든 agent가 외부 제어 입력을 받지않고 이웃 상태에만 의존해 움직이는 fully autonomous network (FAN)에 대해 다룬다. SAN같은 경우는 일종의 리더 agent가 있다고 보면 될 것 같다.

Synchronization문제에서 SAN과 FAN의 각 agent들은 자신들의 local rule을 따라 움직이는데, 자신과 이웃의 상태 차이를 제어 입력으로 가져간다.

SAN synchronization 제어

FAN synchronization 제어

Subgraph 선택 예시 및 효과

저자들은 기존 network에서 각 개체들이 자신보다 상태가 느리게 변화중인 개체의 정보만을 선택적으로 받아들이면 더 나은 수렴성을 보이는 graph를 만들 수 있을 것 이라고 주장했다. 이때 각 개체의 상태변화 속도는 graph의 Laplacian matrix의 가장작은 eigen value의 eigen vector에 encoding되는데, 이를 알아들으려면 graph theoretic multi agent system에 대한 이해가 있어야 한다. network의 각 개체에 해당하는 eigen vector속 값들을 비교해 더 낮은 값을 나타내는 edge부분만을 살려 놓으면 저자들이 원하는 following slower neighbor (FSN) network가 완성이 된다.

SAN에서 subgraph 선택 예시

subgraph G'이 더 빨리 수렴한다.

Relative tempo

여기서 오는 challenge는 Laplacian matrix의 eigen vector를 구하려면 전체 network구조를 알고 있어야한다는 것이다. 개별 agent는 이웃의 정보만 받을 수 있고 전체 network구조는 알 수 없기 때문에 이를 근사하여 알 수 있는 방법이 필요하다. 여기서 저자들이 활용한 것이 relative temp이다. Relative tempo는 이웃 개체의 상대적 변화율과 Laplacian eigenvector의 양적인 관계를 정의한 것이다. 좀 더 자세히 설명하자면 각 agent의 상태변화값의 상대적 비율의 limitation이 Laplaician eigen vector 값의 상대적 비율에 수렴한다는 개념이다.

Relative tempo

저자들은 이 결과를 numerical하게도 보이는데, multi agent consensus의 dynamics에서 상태 변화 비율을 매 time step마다 계산하면, relative tempo 개념이 실제로 어느정도 들어맞도록 수렴한다는 것을 보인다.

SAN에서의 FSN예시

SAN의 distributed neighbor selection 알고리즘

이 relative tempo 개념을 활용한 SAN의 분산적 neighbor selection 알고리즘은 다음과 같다.

SAN의 neighbor selection 알고리즘

요약하자면, relative temp의 근사값을 iteration을 통해 구해낸 후, 어느정도 수렴했다고 판단돠면 그 값의 결과에 따라 이웃을 선택하는 것이다. g_ik값이 relative temp이고, 이값이 1보다 클 때의 decision을 보면, 나의 상태변화율이 이웃 j의 상태 변화율보다 빠르다고 판단하여 이 이웃과의 edge를 유지함으로써 FSN을 분산적으로 구축한다는 의미이다.

그 이후 이 알고리즘의 reachability와 convergence rate enhancement에 대해 저자들은 수학적으로 증명한다. 개인적으로는 이 부분이 가장 흥미롭고 관심가는 부분이라 나중에 따로 정리를 해볼 예정이다.

여기서 보통 기대되는 바는 FAN에서는 어떻게 적용 되는지인데, 문제는 reachability를 유지하기 위해서는 SAN에서 처럼 단순하게 알고리즘이 적용되지 않고, 트릭들이 많이 들어가게된다. 또한 논문에서 제안된 분산적 알고리즘 적용은 FAN이 tree 형태의 topology를 가질때만 가능하기 때문에 이부분에 있어서 유연성은 좀 떨어진다고 볼 수 있다.

내가 연구중 찾아낸 발견은 FAN이 tree형태가 아닐때도 consensus의 수렴속도를 높일 수 있는 selected topology를 만들어 낼 수 있다는 것이다. 이 논문에서 좀 더 확장된 형태의 알고리즘을 고안할 수 도 있을 것 같고, 여기서 사용된 증명 과정을 응용해서 새로운 알고리즘의 설명을 보강하는데도 사용해 볼 수 있을 것으로 보인다.

Newton method::equality constrained optimization(1)

myeongkyun — Mon, 28 Apr 2025 22:57:50 +0900

뉴턴 메서드는 함수의 해를 근사적으로 찾는 수치해석 기법이며 변수의 시작점에서 Taylor Expansion을 통해 2차 함수를 근사하고 이후 근사한 2차 함수의 값이 감소(또는 증가)하는 방향으로 이동시키며 최소 값(또는 최대 값)을 만족시키는 최적 해를 찾습니다.

*일반적으로 극값이지만 편의를 위해 최소 값을 찾는 문제로 제한

*함수가 컨벡스하다면 locally optimal solution = globally optimal solution입니다. 그렇지 않다면 globally optimal solution임을 보장할 수 없습니다.

경사 하강법의 1차 근사와 달리 2차 함수로 근사하기 때문에 근사하는 지점 부근에서 상대적으로 더 자세히 모델링하므로 성능이 더 좋습니다.

이러한 수치적으로 해를 구하는 방법은 최적해(극점)을 찾는데 사용될 수 있으며, 제약 조건을 만족시키기 위해 구속력으로서 도입된 라그랑지 승수를 포함시켜 제약 최적화를 달성하는데 사용될 수 있습니다.

다음과 같은 최적화 문제 예시를 보겠습니다.

Ax=bmin\ f(x) \\ subject\ to \ Ax=b

위 문제는 함수가 최소값(극값)을 가지게 하는 최소점(극점)을 찾는 문제이며 이는 단순히 미분하여 해석적 해를 도출하여 해결될 수도 있지만 수치적으로 함수를 근사하며 해를 찾아가는 뉴턴 메서드를 활용합니다. 또한 최적 해는 stationarity, primal constraint라고 하는 조건을 만족해야하며 이를 확인하는 과정을 보겠습니다.

함수는 다음과 같이 테일러 급수를 이용해 근사되며

$f(x+Δx)≈f(x)+∇f(x)Δx+12∇2f(x)Δx2+H.O.Tf(x+\Delta x) \approx f(x) + \nabla f(x)\Delta x + {1\over2}\nabla^2 f(x)\Delta x^2 +H.O.T$

우리는 제약조건을 만족하는 최소점을 찾을 것이므로 뉴턴 메서드와 제약조건이 반영된 라그랑지안을 사용한다.

$L(x+Δx,λ)=f(x+Δx)+λ(A(x+Δx)−b)L(x+\Delta x,\lambda) = f(x+\Delta x) +\lambda (A(x+\Delta x)-b)$

\ L(x+\Delta x,\lambda) \\s.t \ A(x+\Delta x)=b

위 문제의 최적 해는 아래와 같은 조건들이 만족되어야합니다.

stationarity (최소점(극점)에서는 변화율이 0이므로 더 이상 움직일 움직일 필요가 없습니다. 따라서 라그랑지안의 변화율이 0이 되는 지점을 찾아야겠죠..)

$∇xL=∇f(x)+∇x2f(x)Δx+λA=0\nabla_x L = \nabla f(x) + \nabla^2_x f(x) \Delta x + \lambda A= 0$

primal constraint (아래와 같은 제약을 만족하는

$A(x+Δx)A(x+\Delta x)$ 를 찾아야함을 의미합니다.)

$A(x+Δx)−b=0A(x+\Delta x)-b =0$
현재

$x$ 즉 시작점이 제약을 만족하는 feasible 영역, 제약에 위배되는 infeasible 영역에 있는지에 따라 방법이 조금 달라집니다.

feasible, infeasible 영역 두 가지에 대해 모두 다룰 것이고 feasible인 경우 먼저 확인할 것이고 해를 찾는 과정은 다음과 같습니다.

함수의 감소 방향 구하기

수렴율 확인

스텝 크기 만큼 이동하여 함수 업데이트

현재 시작점이 feasible 영역에 있는 경우를 보면

$A x - b = 0$ 을 만족합니다. 따라서 증분에 대한 제약조건식은

$AΔx=0A\Delta x=0$ 이 됩니다. 이는

$Δx\Delta x$ 증분이 제약 조건을 만족하는 방향으로 발생하도록 구속력을 가합니다. 위 와 같은 과정을 반복적으로 진행하면 증분이 발생하다 더 이상 일어나지 않는 지점에 이르고 최적 조건을 만족하는 것을 확인할 수 있습니다.

함수의 감소 방향 구하기

최소값을 찾기 위해 함수의 감소 방향을 구해야하므로 함수의 거동이 어느 방향으로 일어나는지 확인해봅니다.

우리는 앞서 제약조건에 대해 현 지점이 feasible하다 라고 했습니다. 그러므로 다음과 같이 정리될 수 있습니다.

∇f(x)+∇2f(x)Δx+λA=0∇f(x)=−∇2f(x)Δx−λA\nabla f(x) + \nabla^2 f(x) \Delta x + \lambda A= 0 \\ \nabla f(x) = -\nabla^2 f(x) \Delta x - \lambda A

헤시안은 함수의 감소방향을 가리키며

$λA\lambda A$ 는 제약을 만족하도록 구속시켜주는 역할을 합니다.

Δx=−∇f(x)+λA∇2f(x)\Delta x = -{ {\nabla f(x)} +\lambda A\over {\nabla^2 f(x)}}

여기서 함수와 조건이 모두 컨벡스하다면 뉴턴 메서드에서 이동하는 방향이 함수가 감소하는 방향임을 알 수 있습니다.

또한 감소하는 방향으로의 감소량을 조절하기 위해 스텝크기

$η\eta$ 를 도입하는데 이를 다시 확인해보면

f(x+ηΔx)=f(x)+∇f(x)ηΔx+12∇2f(x)ηΔx2→∇L=∇f(x)+∇2f(x)ηΔx+λA=0→−∇2f(x)Δx−λA+∇2f(x)ηΔx+λA=−(1−η)∇2f(x)Δxf(x+\eta \Delta x)=f(x) + \nabla f(x) \eta\Delta x + {1\over2}\nabla^2 f(x) \eta\Delta x^2 \\ \rightarrow \nabla L = \nabla f(x) + \nabla^2 f(x)\eta\Delta x +\lambda A= 0 \\ \rightarrow -\nabla^2 f(x) \Delta x - \lambda A + \nabla^2 f(x)\eta\Delta x +\lambda A =-(1-\eta)\nabla^2 f(x) \Delta x

위와 같은 식을 도출할 수 있고 이 때 스텝 크기는

$0<η<10<\eta <1$ 해야 감소하는 방향으로 제한할 수 있습니다. (에타의 범위는 수식적으로 다음과 같이 나오는데.. 실제 알고리즘을 돌려보면 1.xx 에서도 수렴하는 모습을 보여주네요.. 근사함수라 그럴까요.. 조금 더 커지면 발산하는 것을 확인할 수 있었습니다.)

수렴율 확인

여기까지 이동 방향과 그 양을 구했으니 이제 어느정도 수렴했는지 확인해야합니다.

감소 방향을 구하고 업데이트만 지속한다면 끝없이 알고리즘이 수행되겠죠..

제약이 반영되지 않은 함수를 가정하고 보면 현 상태

$x$ 에서

$Δx\Delta x$ 만큼 증분 시켰을 때 차이

$f(x+\Delta x)$ 를 이용해 계산할 수 있고 이동한 지점이 최적점이라면

$f(x) - f^* = 0$ 이 되겠죠

L(x,λ)−L(x+Δx,λ)=−∇f(x)Δx−12∇2f(x)Δx2−λAΔx=−(∇f(x)+λA)Δx−12∇2f(x)Δx2=(∇f(x)+λA)2∇2f(x)−12(∇f(x)+λA)2∇2f(x)=12(∇f(x)+λA)2∇2f(x)=e(x,λ)2L(x,\lambda) - L(x+\Delta x , \lambda)= -\nabla f(x)\Delta x - {1\over2}\nabla^2f(x)\Delta x^2 -\lambda A \Delta x\\ =-(\nabla f(x)+\lambda A)\Delta x - {1\over2}{\nabla ^2f(x) \Delta x^2} \\={(\nabla f(x) + \lambda A)^2\over \nabla^2f(x)} -{1\over2}{(\nabla f(x) + \lambda A)^2\over \nabla^2f(x)} \\ ={1\over2}{(\nabla f(x) + \lambda A)^2\over \nabla^2 f(x)} \\ =e(x,\lambda)^2

이때 수렴율이 어느 정도의 크기가 되면 최적점 부근에 이르렀다고 보고 업데이트를 정지하면 됩니다. 그 크기를 수렴 조건이라고 하고 다음과 같이 작성할 수 있습니다.

$10e−4>e(x,λ)10e-4>e(x,\lambda)$

업데이트

수렴이 되지 않았다면

$xnext=x+ηΔxx_{next} = x +\eta \Delta x$ 로 업데이트를 해주시고 다시 감소량 구하는 과정을 반복하면 됩니다.

** stationarity 조건과 primal constraint를 만족하는 최적해를 구하기 위해 두 식을 연립해 풀어주셔야 합니다. 이를 matrix 형태로 구성하면 KKT matrix 라고 불리우며 Kx=b 형태로 구성된 식의 해를 구해주셔야 합니다.

https://won-j.github.io/M1399_000200-2021fall/lectures/22-newton/newton_constr.html#Newton's-Method-for-Constrained-Optimization

newton_constr

We define the KKT residual $$ r_t(\mathbf{x}, \lambda, \nu) = \begin{bmatrix} \nabla f_0(\mathbf{x}) + Df(\mathbf{x})^T \lambda + \mathbf{A}^T \nu \\ - \text{diag}(\lambda) f(\mathbf{x}) - (1/t) \mathbf{1} \\ \mathbf{A} \mathbf{x} - \mathbf{b} \end{bmatrix

won-j.github.io

[논문리뷰] Imitation Bootstrapped Reinforcement Learning

미니멀공대생 — Fri, 21 Mar 2025 19:34:28 +0900

Imitation Bootstrapped Reinforcement Learning

저자 : Hengyuan Hu, Suvir Mirchandani, Dorsa Sadigh

논문 : https://arxiv.org/abs/2311.02198

작성 : 이해구, gpt

il은 확실히 샘플링 효율이 좋다. 그래서 특정 테스크를 로봇에게 학습 시킬때 실제로 RL보다 잘 작동하는데, 당연하게도 소위 말하는 "전문가의 작업 데이터"를 모으는 게 힘들다. 따라서 il은 근본적인 확장성 문제를 가지게 된다. 비슷한 작업이라도 약간만 달라지면 fine 튜닝이 필요하게 된다. 이를 해결하기 위해 RL에서 IL 을 효율적인 자율 향상 방법으로 사용할 수 있다면 매우 좋은 프레임워크가 된다.

논문에서는 모방학습 부트스트랩 RL이라는 프레임워크를 제안한다. 우선 IL 정책을 전문가의 작업 데이터 기반으로 학습시키고 이를 이용해 온라인 탐색과 target value를 부트스트랩하기 위한 대체 액션을 만드는 데 사용한다.

기존 연구에서는

RL과 IL을 결합하는 과정에서 시연 데이터를 과하게 샘플링 했다.
RL에 imitation loss를 추가하여 정규화 하는 방식을 사용했다.
- imitation loss란 RL이 시연 데이터를 비슷하게 행동하도록 유도하는 손실 함수를 뜻한다.

이들은 모두 단점이 있는데, 이를 해결하기 위해 IBRL을 제안한다. IBRL은

초기 학습에서 부터 IL 정책에서부터 퀄리티 좋은 액션을 사용할 수 있기에 탐색과 학습 효율을 높일 수 있게 된다

배경 - 강화학습

IBRL은 표준 MPD를 기반으로 하며 아래와 같은 요소들로 구성된다.

IBRL에서 RL 방식은

Off-policy RL 방법을 기반으로 한다.
- DDPG, TD3, SAC과 같은 방식을 이용하고, Off policy는 시연 데이터를 효율적으로 사용할 수 있는 장점이 있다.
Actor와 Critic 함수 학습으로 진행 된다.
- 정책 함수는 에이전트의 행동을 결정하며 신경망 파라미터 \theta로 학습 된다.
- 가치 함수는 특정 행동을 했을 때 기대 되는 보상을 평가하는 함수로 신경망 파라미터 \phi로 학습 된다.
Q-함수(가치 함수) 학습 방법은 TD-error를 최소화 하는 형태로 진행 된다.

Actor 학습은 높은 Q 값을 갖는 행동을 선택하도록 학습 된다.

배경 - 모방 학습

시연 데이터셋 D가 있으며 이는 사람이 수행한 행동 데이터(trajectory) 로 구성된다. trajectory는 상태와 액션 시퀀스로 구성된다.

IL은 전문가 행동을 모방하는 정책 \mu_psi를 학습하며 특정 상태에서 전문가와 유사한 행동을 하도록 함이다.

가장 많이 사용되는 IL 방식은 Behavior Cloning (BC), 행동 복제 이다. 이는 정책 파라미터화 된 \mu_psi를 전문가 행동 a를 예측 할 확률을 최대화 하는 방향으로 학습하는 형태이다.

논문에서는 IL의 정책 \mu_psi가 등방성 가우시안(isotropic Gaussian)을 따른다고 가정한다.

Core Algorithm

IBRL의 핵심 아이디어는 IL 정책을 전문가 데이터로 학습 시키고, 이 정책을 2개의 페이즈에서 사용하는 것이다.

온라인 상호작용에서 탐색을 도와주는 용도
TD 학습에서 target value 예측을 도와주는 용도

이를 위해 첫번째 페이즈인 Actor proposal과 두번째 페이즈인 bootstrap propsal을 제안한다.

Actor proposal에서는 RL 정책과 같이 추가적인 액션을 만들어서 탐색을 돕고, bootstrap propsal에서는 Q 네트워크 학습을 가속화 한다.

Online Interaction : Actor Proposal

논문에서는 물건을 들어 올리는 것과 같은 sparse reward 형태인 로봇 테스크가 어려운 이유에 대해 이야기 한다. IBRL은 전문가 데이터로 부터 학습 된 IL 정책을 가지고 있기 때문에 RL 정책의 액션과는 다른 추가적인 액션을 온라인 상호작용에서 생성할 수 있다.

RL은 target Q 네트워크로 두개의 액션을 평가하고 더 높은 Q값을 가지는 액션(a*)을 선택한다.

RL Training : Bootstrap Proposal

Target Q 네트워크를 학습할 때도 RL 정책 기반인 Q 네트워크를 부트스트랩 하는 것이 아닌 IL 액션과 RL 액션 중 높은 Q를 갖는 값으로 부트스트랩을 한다. (부트스트랩 : 자기 스스로 학습하고 개선하는 것, 다음 상태의 추정된 Q값을 이용해 현재 Q값을 업데이트 하는 방식)

이를 통해 초반에 덜 학습 된 정책으로 이상한 액션을 선택하는 RL을 IL 정책으로 보안하여 Q 함수 학습을 안정적이고 빠르게 만들 수 있게 된다.

* 논문의 RL은 TD3 기반이다. replay 버퍼를 전문가 시연데이터로 초기화 하지만, 시연데이터 자체를 과샘플 하지는 않는다고 한다(..?)

Soft IBRL Variant

이제까지 설명한 IBRL은 기본적으로 Q value가 높은 액션을 취하는 형태의 "greedy"한 방식이다. 하지만 이는 최적해가 아닌 sub-optimal에 빠질 수 있다. 특히 실제 환경에서는 더더욱 그렇다. 논문에서는 raw 픽셀의 뎁스 이미지 엔코더를 처리하는 경우에 더더욱 그렇다고 한다(?)

쉽게 생각하면 IL 정책에서 나온 액션의 Q 값이 RL 정책에서 나온 Q값보다 항상 크다면, RL 자체는 학습이 안되고 이는 sub-optimal이 된다. 이는 단순히 greedy가 아닌 soft하게 접근해서 action을 argmax로 선택하는 게 아닌 Q 값에서 Boltzmann 분포로 sample하는 형태로 바꾸면 해결된다. 아래 수식은 기존 argmax 였던 액션 선택을 바꾼 형태.

여기서 베타는 inverse of the temperature that controls the sharpness of distribution라고 하는데 단순히 분포의 뾰족함을 조절하는 매개변수이다. 간단하게는 그냥 argmax를 softmax로 바꾸는 형태, 다만 논문에서는 state-based 실험에서만 효과적이라고 한다.

이점

RLPD / Hybrid RL처럼 시연데이터를 과샘플링 하는 방식은 꽤 효과적이었다.
ROT 같은 기법에서 BC로 먼저 사전학습 시키고, RL을 진행하면서 BC 손실을 정책 학습에 정규화 요소로 추가하는 것도 꽤 괜찮았다.
- BC 정규화 항의 가중치를 직접 정해야했고, annealing 스케줄도 설계해야했음.

IBRL의 경우

하이퍼파라미터 없이 자동으로 학습 가능 IL-RL 비율 자동 조정
IL을 탐색과 학습에 모두 같이 사용함
IBRL 자체의 모듈화로 인해 자유롭게 조합이 가능함
- IL과 RL에 더 좋은 다른 네트워크를 사용할 수 있음 (IL은 RestNet-18이 좋지만, RL은 Visual Transformer가 더 좋음)
- 액션 분포도 다르게 선택할 수 있음. IL은 가우시안 혼합 모델, RL은 단일 가우시안 분포

구조 개선

정책 네트워크 드롭아웃 정규화

기존 연구들을 보면 정규화를 정책이나 Q 함수에 적용하면 RL 학습이 안정적이고 샘플 효율적이라는 걸 알 수 있다. IBRL에서도 actor(정책 네트워크)에 dropout을 적용하여 안정적이고 효율적인 모습을 보인다.

초기 시그널이 희소하거나 노이즈가 많은 어려운 태스크에 효과적이다.
update-to-data 비율을 높이지 않고, 계산도 증가하지 않은 상태에서 빠르게 수렴하게 한다.(UTD : 학습 데이터 1개에 gradient step을 몇번 수행하는지를 나타내는 비율)

ViT기반 시작 인코터 + Q 네트워크 구조

기존 온라인 RL은 얕은 ConvNex + Linear layers 구조를 사용했다. 다만 태스크가 어려워지면 잘 작동하지 않았고 단순히 깊은 네트워크를 추가하는 걸로는 해결되지 않았다.

따라서 논문에서는 ViT 기반 Q네트워크 구조를 제안한다. 기본적으로 트랜스포머 레이러를 사용하여 이미지의 다른 파트들로부터 나온 정보를 얉은 네트워크에서 효율적으로 전달할 수 있게 하는 것이다.

이미지를 겹치는 패치들로 분할하고, Conv 레이러를 거쳐 patch embedding을 생성 후 이를 트랜스포머 레이어로 통과 시킨다. 이후 각 채널을 평탄화 하고 액션과 proprioception을 추가하여 MLP로 통합시킨다. Large linear layer들을 사용하지 않고 특징들의 차원을 줄이기 위해서 learned spatial embeddings을 이용해 특징 행렬을 곱해준다. 그 후 채널 차원을 전부 합하여 1D 벡터를 만들어 Q-MLP에 넣어준다.

TD3가 두개의 Q-head를 사용하기 때문에 전체 구조를 복제하여 사용한다. 최종적으로 ViT 인코더 출력 벡터를 fully connected actor 인풋으로 받는 형태.

실험

META_WORLD https://github.com/Farama-Foundation/Metaworld

ROBOMIMIC https://github.com/ARISE-Initiative/robomimic

에 있는 태스크들을 가져와서 테스트 하였다.

그 외 논문에서 언급하는 Actor Dropout이나 IBRL 구조가 어떤 효과가 있는지를 보여주는 실험도 진행.

네트워크 구조의 자율성의 효과도 비교할 수 있게 보여줬다.

실제 환경 실험에서는 3개의 테스크를 진행했으며 Policy는 10hz로 동작한다. 오큘러스 텔레오퍼레이션으로 demonstraion 데이터를 모았다.

한계점 및 추후 연구

실제 환경 실험에서는 IBRL을 테스트하기 위해서 였기 때문에 리셋 과정에서 생기는 노이즈를 줄이기 위해 사람이 직접 수동으로 리셋했다. 이는 자동 리셋을 진행했다가 실패하면 에이전트가 잘못된 상태에서 학습되어 평가를 왜곡시킬 수 있기 때문.

자동 리셋을 하기 위해서는 로봇이 환경을 원상복귀 시키는 작업이 필요함..

IBRL은 모듈화가 가능하기 때문에 IL에 최근 기술들을 적용해볼 수 있음. Diffusion Policy 방법이나 Hybrid Action Learning 방법을 얘기한다.

최근 imitation learning과 RL 관련하여 진행해야하는 프로젝트가 있어서 오랜만에 한번 리뷰해봤습니다. 요즘 사실 gpt가 엄청 잘해주기 때문에 논문리뷰 글을 쓸 필요가 없어졌지만, 작성하면서 좀 더 자세히 이해하게 되는 것 같아서 해봤네요. 방법이 그렇게 어렵지 않고 꽤나 직관적인 프레임워크라 생각해서 굳입니다.

선형 시불변 시스템의 연속 상태 공간 모델의 이산화

myeongkyun — Wed, 26 Feb 2025 20:23:17 +0900

노션에다 정리한걸 그대로 가져와봤는데 안되서 html을 긁어왔더니 되네요.. 노션에서 작성된 형식을 그대로 옮기는게 꽤 불편하네요

Discretize_Continuous_State_Space_Model_of_LTI_System.pdf

0.09MB

Continuous State Space Model of Linear Time invariant System

$x˙=Ax(t)+Bu(t)y(t)=Cx(t)+Du(t),t≥0{\dot x} = Ax(t)+Bu(t) \\ y(t) = Cx(t)+ Du(t), t\geq 0$ , (1)

The matrix exponential function as

$ddteAt=AeAt=eAtA{d\over dt}e^{At} =Ae^{At}=e^{At}A$ , (2)

Multiplying both sides of (1) by

$e^{-At}$ , we obtain(3)

$e−Atx˙(t)=e−AtAx(t)+e−AtBu(t)e^{-At}{\dot x(t)} = e^{-At}Ax(t)+e^{-At}Bu(t)$ , (3)

Substituting (2) into (3)

$e−Atddtx(t)=−ddte−Atx(t)+e−AtBu(t)e^{-At}{d\over dt}x(t) = -{d\over dt}e^{-At} x(t) + e^{-At}Bu(t)$

$→ddt[e−Atx(t)]=e−AtBu(t)\rightarrow {d\over dt} [e^{-At}x(t) ] = e^{-At}Bu(t)$ , (4)

Integrating the result of multiplying

$d t$ both side of (4)

$e−Atx(t)∣0t=e−Atx(t)−x(0)=∫0te−AτBu(τ)dτe^{-At}x(t)|^{t}_{0} =e^{-At}x(t)-x(0) = \int^{t}_{0}e^{-A\tau}Bu(\tau)d\tau$ , (5)

Rewriting the equation (5), we get the solution of the state-space eq of LTI system.

$e^{At}x(0) +\int^{t}_{0}e^{A(t-\tau)}Bu(\tau)d\tau$ , (6)

Discretize the continuous state space model

In an analog control system, the control input is updated continuously, while in a digital control system, it is held constant within each sampling period.

To accurately represent this behavior in a system model, discretization must be applied. we use the Zero-Order-Hold(ZOH) method in this contents.

$e^{A(t-t_0)}x(t_0) +\int^{t}_{t_0}e^{A(t-\tau)}Bu(\tau)d\tau$ , (1)

To transition to a discrete-time representation, we replace the continuous-time variable

$t,\ t_0$ with the discrete-time variable

$\ Tk$

$\quad t_0=Tk ,\quad T:sampling\ time$

Rewriting equation (1) under the assumption that the input

$u$ remained during sampling time. so input

$u$ is constant.

$e^{AT}x(t_0)+\int^{T(k+1)}_{Tk}e^{A(T(k+1)-\tau)}Bu(k)d\tau$ (2)

For simplicity, introduce a change of variable

$σ=T(k+1)−τ\sigma = T(k+1)-\tau$

Thus, by substituting

$dτ=−dσd\tau=-d\sigma$ , equation (2) transforms into (3)

$e^{AT}x(t_0)+\int^{0}_{T}e^{A\sigma}Bu(\tau)(-d\sigma)$ (3)

Rearranging (3), we get the final form in continuous-time

$e^{AT}x(t_0)+\int^{T}_{0}e^{A\sigma}d\sigma Bu(k)$ (4)

$Ad=eAT=I+AT+(AT)22!...Bd=∫0TeAσdσB=A−1[eAT−I]B=T+AT22!+A2T33!...A_d =e^{AT} = I+AT+{(AT)^2\over 2! } ... \\ B_d =\int^{T}_{0}e^{A\sigma}d\sigma B=A^-1[e^{AT}-I]B=T+{AT^2\over 2!}+{A^2T^3 \over 3!} ...$

We can represent the eq (4) in discrete-time.

→

$x(k+1)=A_dx(k)+B_du(k)$

Given these following system, we compare how well the continuous and discrete models describe GT. GT is continuous model use very small dt to describe GT.

Assume GT is continuous model that dt is 0.000001.

The test where dt is 0.1sec was simulated for 5 sec. and we plot simple results of three cases (GT, continuous model, discrete model)

[LLM] Transformer :: GPT 쓰긴 싫지만 GPT 안쓰면 도태될까봐 두려운 할미 MZ의 뒤늦은 LLM 공부 (1) Auto-regressive란?

알 수 없는 사용자 — Wed, 26 Feb 2025 08:29:27 +0900

작성자 : UNIST 기계공학과 석사과정생 임가은

ㅡ

Auto-regressive 란, transformer [1] 의 decoder가 작동하는 방식입니다. 다음 출력을 생성할 때, 이전의 예측 결과를 고려하는 방식이에요. 예를 들어 아직 미완성인 어떤 input sequence (y_1, y_2, ...y_t) 문장이 주어졌을 때, 문장의 다음 단어인 y_t+1 단어를 예측하는 과정에서 앞의 단어들이 등장할 확률을 conditional probability로 고려해 주는 거에요.

ㅡ

잠깐 사전지식으로, transformer 는 크게 encoder와 decoder로 구성되어 있습니다. 대부분의 유명한 nearul sequence transduction model들은 encoder와 decoder 조합을 구조로 취합니다. 각각의 역할은 무엇일까요?

encoder : input sequence 'x = (x_1, x_2, ... x_n)' 을 받아 context vector 'z = (z_1, z_2, ... z_n)' 생성
decoder : z 를 다시 output sequence 'y = (y_1, y_2, ... y_n)' 로 생성

decoder 에서는 이렇게 output sequence 를 출력해야 하는데, output sequence 문장의 각 단어를 순차적으로 (왼쪽에서 오른쪽으로) 예측해나가며 최종 문장을 생성해요.

ㅡ

그렇다면 auto-regressive 방식은 왜 중요할까요? 자연어 생성에서 중요한 것은 문장의 자연스러움 이기 때문에, 새롭게 생성되는 단어가 문장의 context를 잘 반영해야 합니다. 문맥을 점진적으로 확장해 가면서 자연스럽게 문장을 생성하려면, 이전 단어의 예측을 바탕으로 다음 단어를 예측하는 방식이 훨씬 유리할 것입니다. 하지만 순차적인 생성 과정 때문에, 속도가 느리다는 단점이 있습니다.

반대되는 개념으로는, non auto-regressive 가 있습니다. BERT와 같은 LLM의 경우 모든 단어를 한 번에 예측합니다. 병렬처리가 가능하여 속도가 매우 빠르지만, GPT나 Transformer의 decoder 에 비해서는 문맥에는 맞지 않는 단어가 생성될 수 있다는 단점이 있습니다.

ㅡ

아직은 시작 단계여서 다른 논문들을 많이 읽어보진 않았지만, decoder가 token을 생성하는 방식(다음 단어가 등장할 확률을 예측하는 방식) 을 변형시켜가며 정확도와 계산 시간을 얼만큼 잘 tradeoff 하는지가 LLM 성능의 관건이 될 것 같다는 생각이 듭니다. LLM 에서 수행하는 task 들의 종류(번역, 빈칸채우기, 등?) 에는 어떤 것들이 있는지도 찾아봐야겠습니다.

도움이 될 만한 댓글 많이 부탁드립니다! 읽어주셔서 감사합니다.

ㅡ

[1] Attention Is All You Need (Vaswani, 2017): https://arxiv.org/pdf/1706.03762

[LLM] Transformer :: GPT 쓰긴 싫지만 GPT 안쓰면 도태될까봐 두려운 할미 MZ의 뒤늦은 LLM 공부 (0) Prologue

알 수 없는 사용자 — Wed, 26 Feb 2025 07:34:24 +0900

작성자 : UNIST 기계공학과 석사과정생 임가은

ㅡ

ChatGPT 등장 이후, 저에겐 약 1년간은 절대 GPT를 사용하지 않겠다고 결심했던 기간이 있었습니다. 왠지 인간의 고유한 능력, 질문하고 사유한 뒤 나름의 답을 내리는 것 마저 기계에게 빼앗겨버린 느낌이랄까요? 어디까지 효율을 추구해야 할지 혼란스러우면서도, 한편으로는 GPT를 사용하는 친구들의 과제 제출 속도를 따라갈 수 없어 마지못해 사용하기 시작하게 되었던 것 같아요.

저의 GPT 사용 history를 간단히 풀어보자면, 2022년 말에는 3개월 무료 체험권을 연구실 동료에게 선물받아 어찌저찌 사용했습니다. 2023년에는 무지막지한 ROS package 설치와 Gazebo, Unreal 등 가상환경 구성을 할 일이 많았고, 이때 GPT가 큰 도움을 줬습니다. sudo apt install something 을 무작정 따라하면 대부분 해결이 잘 되었던 것으로 기억합니다.

2024년에는 Computer Vision for Robotics Perception 과목을 들을 때, 드디어 Visual Studio에 Github copilot 자동완성 기능을 탑재했습니다. 학생증 인식이 잘 안되어서 애먹었던 기억이 나네요. Image point matching, stitching 을 하는 classic 한 epipolar geometry 였는데, 나중엔 정말 간단한 로직조차 GPT 너가 다해줘 마인드가 되어버려서 학기 말에 뇌가 무지 찝찝했던 기억이 납니다.

이제서야 LLM을 제대로 공부해 보려고 해요. 이미 늦은것 같기도 한데, 지금 아니면 더 늦어버릴까봐 시작하는 겁니다- 허허. 마침 2017년에 나온 'Attention Is All You Need (Vaswani et al., 2017) ' (Transformer)를 스터디할 기회가 생겼습니다. 차근차근 모르는 개념부터 정리해 나가볼게요. 다음 글은 아마 'auto-regressive' 가 될 것 같습니다. LLM에 관해 잘 아시는 분들, 많은 도움을 부탁드리겠습니다~.