티스토리 뷰
작성자 : 이해구
Lecture Studty node list
- Lecture 0 : MIT 6.800/6.843 Robotics Manipulation :: Introduction (현재 글)
Lecture note : https://manipulation.csail.mit.edu/intro.html
Lecture Video : https://www.youtube.com/watch?v=PGY-4LOPs7U&t=2s
Manipulator은 단순한 Pick and Place 이상이다.
큰 상자에서 물체를 집어 다른 상자로 옮기는 것을 Pick and Place라고 하며, 이는 과거의 산업용 로봇에서 부터 오래동안 행해져 왔다.
최근에는 딥러닝을 인식에 사용하면서, 다양한 물체에 대한 Pick and place를 할 수 있게 됐다. 또한 끝단에 그리퍼를 어떤 걸 사용하냐에 따라 집을 수 있는 물체의 다양성은 더욱 증가한다.
이번 강의에서는 단순히 pick and place 문제에서 보여지는 것 보다 더 넓은 시각에서 manipulation을 바라보려 한다. 식기세척기에 접시를 넣는 행동 프로세스를 생각하는 것조차 인식, 플래닝, 제어에서 해야할 일이 엄청 많다. 반대로 사람은 손으로 할 수 있는 행동이 매우 다양하다.
종종 사람들이 grasping과 manipulation을 동일한 관점에서 사용하는 걸 볼 수 있는데, 이번 강의에서 이야기 하려는 manipulation은 이보다 더 넓은 관점에서 이야기하려 한다. grasping은 셔츠 단추를 잠구는 일을 충분히 설명하지 못한다. 샐러드 만들기는? 토스트에 피넛버터를 만드는 일은?
Open World Manipulation
사람이 Manipulation을 매우 잘하기 때문에 로봇이 동일한 작업을 했을 때 기대치가 매우 높을 수 밖에 없다. 식기세척기에 넣는 작업도, 모든 주방 환경에서 작동되기를 원하며 어떤 그릇이던 넣을 수 있기를 바란다. 색깔, 기하학적 모양 등...물리적인 부분과, 인식, 플래닝, 제어 등,이 작업을 하기 위한 기술 스택이 벌써 장난없다. 심지어 우리는 모든 주방 환경에 대한 실험을 할 수도 없다.
세상에는 무한가지의 변수가 있기 때문에 이를 open-world/open-domain problem 이라고 한다. 무한가지의 다양성과 복잡성을 수용하는 것과 현실적인 Manipulation에 대한 고려 사이에서 균형을 잡기가 영 쉽지는 않을 것이다. 하지만 이런 고민을 계속 하는 게 좋다.
어쩌면 Open world에서 manipulation의 다양성들이 문제를 더 쉽게 만들어 줄 수도 있다. 이에 대한 예시로 특정 문제 대한 매우 기발한 솔루션이 존재해서, 플래닝이나 제어에 대한 최적화 방식들이 local minima에 갇힐 수도 있다. 하지만 매우 다양하고 큰 시라니오에서는 기발한 솔루션은 적용 불가능학 최적화 방식이 매우 간단하게 적용될 수도 있다.
Simulation
manipulation의 golden age에 들어선다! 라고 말할 수 있는 이유는 소프트웨어 툴들이 최근에 매우 좋아졌기 때문이다. drake 교수는 당시 walking robot 제어를 시뮬레이션으로 진행 했던 학생과 manipulation을 시뮬레이션으로 진행하는 것에 대해 이야기 했었는데, 매우 회의적이었다고 한다. 단순히 바닥과 적은 수의 Contact point를 가지고 움직이는 walking robot과는 다르게 다양한 contact mechanics를 가지는 manipulation을 simulate 하기는 매우 어렵다. 또 카메라를 시뮬레이션에 사용하는 것도 매우 어려웠다. 근데 이제는 게임 엔지 기반의 카메라 데이터를 통해 학습을 시킬 수도 있고, contact 시뮬레이션 성능도 매우 발전했다.
Model Based Design and Analysis
시뮬레이션이 많이 발전했지만, 부수적인 요소(인식, 플래닝, 제어 등) 들이 많이 필요해서 연구에 어려움이 있을 수 있다. drake 교수는 여기서 ROS에 대해서 이야기를 하는데, 로봇 팔 혹은 Manipulation의 교육적인 측면에서는 불만족스럽다고 한다. Drake 라이브러리 혹은 프레임워크에서는 각각 요소들로 부터 조금 더 많은 것을 요구하는데, 이들의 상태, 파라미터, timing semantics를 일관된 방식으로 선언한다. 이렇게 하여 시스템 간의 복잡한 관계를 조금 더 잘 이해할 수 있게 된다고 한다.
Drake system를 통해 시스템의 복잡한 조합을 다이어그램으로 만들 수 있다. 이러한 소프트웨어 도구들은 블락 다이어그램을 기반으로 한 "모델 기반 디자인"이라고 부른다.
* 다만 모든 사람이 manipulation에 있어서 이런 시스템 프레임워크 좋아하는 건 아니다. state 변수들을 정의하고 이런걸 귀찮고 느리다고 생각할 수 있다. 시스템을 정의할 때 이런 게 잡일처럼 느껴질 수 있는데, 우리가 복잡한 시스템을 구축하기 때문에 조금 더 엄격한 방법으로 접근해야 한다고 본다. open world에서 manipulation 문제 풀이에 성숙해지기 위해서는 블락 다이어그램으로 시스템을 구축해보는 게 먼저 필요하다고 본다.
Feedback Control이 manipulation 에서 중요한가?
Drake 교수님은 먼저 End effector의 중요성에 대해서 이야기 한다. 일반적으로 사람의 손은 매우 정교해서 눈 감고도 Pick and place를 할 수 있는데 현재 사용되는 로봇 EE는 그렇지 못하다. 그렇기 때문에 manipulation이 적용될 수 있는 분야를 넓히기 위해서는 물체의 다이나믹스를 적게 고려해도 잡을 수 있는 좋은 End effector를 만드는 게 중요하다.
강의에서는 사람이 물체를 잡는 영상을 보여주면서, 손 끝단에서 느끼는 힘에 대한 Feedback, 눈으로 들어오는 인식에 대한 Feedback등이 진행되고 있음을 보인다. 결국 사람의 Manipulation은 로봇이 하는 것과는 차원이 다른 Feedback Control 을 진행하고 있다고 볼 수 있다. 로봇 팔을 이용한 Manipulation의 경우 로봇의 상태를 바꾸는 건 쉽기 때문에, 주변 환경의 상태를 알고 이를 Feedback 해주는 게 중요하다고 한다.