[MCube-MIT] Manipulation 연구 정리

MCube(Manipulation and Mechanisms Laboratory Lab|) 는 Mit에 있는 연구실이다. Alberto Rodriguez 교수님이 연구실로 주로 Manipulation에 대해 다룬다. MCube에서 진행했던 연구들에 대한 논문들을 간략하게 정리해보고, 그들이 어떤 식으로 변화하고 어디까지 와 있는지 알아보려 한다.

---

[2014 ICRA] Extrinsic Dexterity: In-Hand Manipulation with External Forces

Extrinsic Dexterity: In-Hand Manipulation with External Forces, 2014

2014년도 ICRA 논문에서는 Extrinsic dexterity을 설명한다. dexterous hand가 아니더라도, extrinsic(중력, 외부 접촉, 로봇 모션)을 사용한다면 dexterous한 동작을 수행할 수 있다는 개념이다. 논문에서는 물체를 던지거나 중력의 힘을 빌려 regrasp를 진행할 수 있음을 보인다. 다만, open-loop 형태이다.

​

[2015 IROS] Prehensile Pushing : In-hand Manipulation with Push-Primitives

Prehensile Pushing : In-hand Manipulation with Push-Primitive, 2015

2015년도 IROS 논문에서는 In-hand manipulation 동작인 Prehensile pushing에 대해서 설명한다. 주변 환경에 집고 있는 물체를 밀어 manipulation을 한다. 이는 앞선 논문과 유사하게 Extrinsic을 사용하여 manipulation을 작업함을 알 수 있다. 이때 시스템적으로 환경을 외부에서 작용하는 pusher라고 생각하고 그리퍼, 집은 물체, 그리고 환경과의 작용에서 필요한 힘을 계산하는 게 중점을 둔다. QP를 기반으로 집은 물체를 움직이기 위해 필요한 최적을 힘을 계산하는 것을 최종 목표로 둔다. 해당 논문에서도 물체의 상태에 대한 측정값은 없으며 예측값에 대한 언급도 없다. 실제와 시뮬레이션 상의 요구되는 힘의 유사성만 보여주는 형태이며, push에 작업에 대한 직접적인 planning은 언급되지 않았다.

​

[2016 WAFR] Feedback Control of the Pusher-Slider System : A Story of Hybrid and Underactuated Contact Dynamics

2016년도 WAFR에서는 평면에서의 push에 대한 피드백 컨트롤 시스템을 설명한다. MPC와 integer programming을 통해 접촉과 마찰 원뿔에 대한 동역학을 잘 풀어냈다. 해당 작업은 접촉 모드(접촉 상태)에 따라 동역학 상태를 불연속하게 만들고, underactuated 이기 때문에 제어기는 finite horizon trajectory들에 계획이 필요하다. 이에 따라 논문에서는 Family of mode 방식을 통해 접촉 모드 집합을 통해 push 모션의 안정성을 높였다.

​

[2017] Realtime state estimation with Tactile and Visual Sensing. Application to Planar Manipulation

​

[2017 ISER] Experimental Validation of Contact Dynamics for In-Hand Manipulation

2015년도 IROS 논문에 이어, In-hand manipulation에 대한 접촉 동역학의 실험 검증 논문이다. 그리퍼, 집은 물체 그리고 환경과의 접촉 상황에서 모션과 힘을 예측하는 접촉 모델의 평가를 보인다. 논문에서는 접촉 동역학 모델이 실제로 경향성은 비슷하게 예측할 수 있지만 정확한 예측은 어렵다고 설명한다. 특정 상황에서는 힘이 2N까지도 차이를 보였다. 또한 모션과 힘 사이에 단순한 결정론적 매핑이 없다는 것을 이야기 한다. 즉, 물체를 움직이게 하거나 멈추게 하는 과정에서 모션에 따른 힘을 예측하는 것이 쉽지 않다는 뜻.

​

[2017 ISRR] Sampling-based Planning of In-Hand Manipulation with External Pushes

2015년도 IROS 논문에 언급되지 않았던 push에 대한 planning을 17년도 ISRR 논문에서 다뤘다. 15년도 논문에서 언급한 내용으로 low-level inverse contact dynamics solver를 만들고, high-level 샘플기반 플래닝 방식을 통해 연속 적인 push와 이산적인 접촉 변경을 계획한다. 논문에서는 transition-based RRT*를 사용하여 최소한의 접촉 변경이 있도록 계획했다. 논문에서의 한계는 low-level controller가 Mix nonlinear complemantary problem이기 때문에 계산 시간이 오래 걸리며, 랜덤 샘플 기반 계획으로 진행되다보니 모션이 jerky 할 수 있다.

​

[2018 ICRA] Stable Prehensile pushing: In-Hand Manipulation with Alternating Sticking Contacts

2018년도 ICRA 논문에서는 동역학적으로 효율적인 방식을 통해 2017년도 ISRR에서 사용했던 Complementarity formulation보다 100~1000배 빠르게 계획할 수 있게 된다. 일반화 된 마찰 원뿔을 통해, pusher의 힘이 마찰 원뿔 안에 있는 경우, 즉 붙어 있는 경우(stick)를 안정하다고 생각하고 계획하여 이전 논문에서 사용 된 complementary 제약 조건을 없애고 제약 조건을 만족하면 되는 문제로 변형하는 것이 stable pushing이며 이것이 더욱 효율적인 방식이었다.

​

[2018 RSS] In-Hand Manipulation via Motion Cones

 

2018 ICRA 논문에 의해서 RSS에 나온 논문에서는 Friction cone -> Wrench cone에서 한단계 발전한 Motion Cone의 개념을 설명한다. 이전 논문에서 말한 pusher가 물체에 stick 하는 경우에 가질 수 있는 motion을 cone 형태로 나타냈다. 이를 통해 미는 동작의 복잡한 동역학을 공간 안 제약시켜 표현할 수 있게 된다. Motion cone을 샘플 기반 경로 계획에서 사용하여 빠른 미는 동작 경로를 계획할 수 있게 된다.

[2018 CASE] Regrasping by Fixtureless Fixturing

해당 논문에서는 외부 접촉을 통해 물체를 정적으로 만든 후 물체를 잡고 있는 그리퍼가 움직여 regrasp하는 과정을 설명한다. 이때 물리적으로 고정해주는 것이 없다하여 Fixtureless Fixturing이라 부른다. 물체의 이너시아, grasping 힘, 마찰계수에 대해 강건한 방법을 보인다. 샘플 기반 플래너를 이용하여 grasp를 계획한다. 앞선 연구에서 사용 된 T-RRT*를 상위 레벨 계획으로 사용하고, 하위 레벨에서는 강건한 모션 원뿔의 형태로 가능한 grasp 위치를 향해 뻗어가는 플래닝 트리를 사용했다. 이전 논문들이랑 그렇게 다를 건 없어보인다. 안정적인 push가 일어나는 경우의 제약 조건을 가지고 있을 경우 강건 모션 원뿔이라 칭하며 이를 이용해 Regrasp를 진행한다.

​

[2018 IROS] GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-sensing Finger

해당 논문에서 Tactile sensor 에 대한 내용을 다루기 시작하며, in hand manipulation에서 tactile sensor를 사용하여 다양한 작업들을 할 수 있을 거라고 언급한다. 즉, 18년도 이후부터는 Tactile sensor를 이용한 Manipulation 연구를 진행

​

​

---

IROS 2018 - Tactile Regrasp: Grasp Adjustments via Simulated Tactile Transformations

해당 논문에서는 물체는 집는 과정에서 나온 tactile image들을 통해서 Self-supervised 방식으로 라벨링 된 tactile grasp를 얻고, grasp 퀄리티를 측정하는 grasp quality metric을 만든다. 이를 이용하여 regrasp policy라는 걸 사용하게 된다. 초기 grasp에서 받은 tactile image를 기준으로 로봇 움직임에 따른 이미지 변화를 시뮬레이션하고, 그때 predict score가 높은 이미지와 모션을 선정한다. 이를 기준으로 regrasp를 하게 된다. 논문 방법에서의 한계점은 tactile sensor가 local 정보만 가지고 있다는 점과, regrasp를 위해 물체를 놓아야 한다는 점이다.

​

[2018 IROS] Realtime State Estimation with Tactile and Visual Sensing for Inserting a Suction-held Object

incremental Smoothing and Mapping 기반 state estimation framework를 사용했다. 이는 온라인 least sqaure 최적화 방법으로 중간에 변수나 제약 조건들을 온라인으로 추가할 수 있다. 시각정보와 텍타일 정보를 합칠 수 있는 metric을 만들었다. 글로벌하지만 노이즈가 있는 시각 정보와 로컬하지만 정확한 힘/텍타일 정보를 사용하여 상호보안한다. 논문의 중요 기여는 Contact formation으로 어떤 엣지가 어떤 엣지와 맞닿아 있는 지 알기 위한 것이다. 힘 정보로부터 접촉 formation을 분별하기 위해 svm을 사용, self-supervised 방식을 통해 라벨링 된 접촉의 예시를 모았다. Manipulation tasks에서의 상태예측에는 파티클 필터가 많이 사용되지만 샘플링 레졸루션과 face particle depletion 문제가 있다. Koval이 제안한 manifold particle filter가 depletion problem을 해소한다. 논문에서는 SVM 분류기를 통해 확률론적과 같이 즉각적인 접촉 formation을 예측한다. EKF가 실시간 상태 추종에 많이 사용되지만, 선형화를 하는 과정에서 예측이 불확실해질 수 있다. 따라서 논문에서는 iSAM을 사용했다. 논문에서 다양한 조건들에 대한 cost function이 나오는데, 이를 factor graph오 표현하여 변수와 cost function들 간의 관계를 표현한다. radial base function을 svm의 커널로 선택하여 6개의 input으로 9개의 Contact formation을 분류를 진행하였다.

​

[2019 IROS] Force-and-Motion Constrained Planning for Tool Use

일반적으로 Motion 혹은 Force만 고민하지 두개를 같이 고민하는 경우는 잘 없다. 해당 논문에서는 특정 Tool을 이용하는 데 필요한 Motion과 이때 필요한 Force를 고려하여 경로 계획을 진행한다. 첫번째로 Grasp G, 쉽게 말해 grasping 자세를 Limit surface를 통해 특정 wrench가 있어도 안정된 grasp를 유지할 수 있도록 선택한다. 둘째로 그 다음 가상의 기구학적 Chain이 있다 생각하여 기구학적으로 grasping 했을 때 경로를 만들 수 있는지 확인한다. IK에 대한 해가 존재할 경우 가능하다고 판단한다. 셋째로 그 후 grasping 한 경우 Force를 낼 수 있는지 확인 한다. 특정 자세에서 외부의 wrench를 이용해 특정 조인트 토크가 조인트 토크 한계를 넘지 않도록 한다. 넷째로 힘을 유지하면서 경로를 따라갈 수 있어야 한다. 이도 비슷하게 IK해가 있으면 가능하다고 보지만, 실제로 force 제약조건을 확인할 수 없기 때문에 세번째의 조인트 토크를 만족한다면 가능하다 생각하고 진행한다. 이때 path following 알고리즘은 Hollday의 layered graph 방식을 사용한다. 논문에서는 grasping 자세를 모든 경로에서 동일하게 유지하지만, 기구학적으로 한계가 많기 때문에 중간에 regrasp를 추가하여 개선하는 방법에 대해 추후 연구과제로 이야기 한다.

collision free path planning에는 Bidirectional rapidly exploring random tree를 사용한다.

​

[2020 ICRA] Tactile Dexterity: Manipulation Primitive with Tactile Feedback

​

​

2020 ICRA 논문에서는 양팔 로봇과 Tactile 센서를 이용해 폐루프 dexterous 제어기를 만들었다. 논문에서는 물체와 끝단과의 미끄러짐이 일어나지 않게 제어하는 것과 tactile 센서 트래킹을 통한 물체 상태를 추정하 반복적인 경로 재계획을 통해 외란에 있어서도 물체를 원하는 모양으로 조정하는 작업을 보여준다. manipulation 동작을 여러개의 primitive들로 쪼개는 것을 중요하게 다룬다. Tactile 센서로 물체 상태를 추종한 후 이를 reactive control로 강건한 제어를 하게 된다. Planning의 경우 https://ieeexplore-ieee-org.proxy1-bib.sdu.dk/document/7139796, https://ieeexplore.ieee.org/document/8462834 을 주로 참고하였다. 오프라인 그래프 탐색 테스크 플래너를 통해 manipulation primitive들의 순서를 계획한다. 각 primitive들은 미리 계획 된 접촉 상호작용을 가지고 있다. 텍타일 센서의 경우 물체와 손의 접촉 상태를 유지하기 위해 주로 사용됐다. 한계점으로는 바닥이 평평한 환경에서만 가능하며, manipulation primitive들이 사람의 직관으로 만들어졌다는 것이다. 또한 물체의 자세가 센서로 잘 예측 된다고 생각하였다. primitive들을 좀 더 일반적으로 만들어내거나 경험으로부터 배울 수 있게 된다면 좋을 것이라고 명시한다.

​

[2020 CoRL] A Long Horizon Planning Framework for manipulating rigit pointcloud objects

생략

​

[2020 CoRL] Tactile Object Pose estimation from the First Touch with Geometric Contact Rendering

2020 CoRL 논문에서는 물체를 tactile 센서로 인식했을 경우 물체의 자세를 예측하는 방법을 설명한다. 접촉 모양에 대한 실제 센서 측정 결과로 object-agnostic map을 만든다. 기하학적 정보를 아는 새로운 물체에 대해서는 시뮬레이션에서 인식 모델을 만든다. 이후 실제 접촉 모양과 접촉 모양을 랜더링하여 미리 계산 한 자세 정보들을 매칭하는 것을 시뮬레이션에서 학습한다. 실제 접촉 모양과 시뮬레이션과 비교하는 임베딩을 학습하는 방식이다. 논문에서 말하는 한계점은 학습 데이터를 벗어난 접촉 모양일 경우 자세 예측이 틀어지기도 한다는 점이다. 이를 위해 접촉 모양과 데이터 증강 기술을 더욱 향상 시키려 하고 있다.

​

[2020 RSS] Cable Manipulation with a Tactile-Reactive Gripper

2020 RSS 논문에서는 2개의 그리퍼를 이용하여 케이블을 조작하는 방법에 대해 설명한다. 한쪽 그리퍼에 매달려 있는 케이블을 다른 하나의 그리퍼가 실시간 텍타일 센서 정보를 이용해 조작한다. 이때 PD 제어를 통해 케이블이 슬라이딩하는 동작을 조절하고, LQR 기반의 학습 된 케이블 동역학 모델을 통해 케이블 위치 제어기를 만든다. Perception에서는 케이블 위치 예측, 마찰 힘 에측, grasp 퀄리티를 계산하며, Control에서는 케이블 grip 컨트롤과 케이블 그리퍼 동역학은 planar pulling 문제로 모델링하였다. 또한 gel 센서 표면의 마찰력은 복잡하기 때문에 데이터 드리븐 방식으로 선형 동역학 모델에 맞춰서 사용했다. (약 2000개의 데이터를 모아서 선형 근사하였다.) 마지막으로 케이블 위치 제어기는 LQR로 2차원상에서 케이블의 위치와 각도 그리고 당기는 방향에 대한 각도를 regulate하도록 하였다. 향상 될 수 있는 점으로는 센서의 하드웨어적 한계점을 언급하였으며, 다른 모델이나 제어기를 사용하는 것도 하나의 방법이거나 모델 기반 RL을 통해 케이블-그리퍼 동역학을 좀 더 자세히 모델링 할 수 있을 것 같다 하였다.

​

[2020 RSS] A Global Quasi-Dynamic Model for Contact-Trajectory Optimization

2020년도 RSS 논문에에서는 주어진 물체의 경로가 있을 때 로봇이 어떻게 접촉을 하고 움직여야할 지에 대해 설명하고 있다. 너무 어렵고 복잡해서 패스

​

[2021 ICRA] Extrinsic Contact Sensing with Relative-Motion Tracking from Distributed Tactile Measurements

 

해당 논문에서는 환경과 집고 있는 물체의 접촉을 로컬라이제이션 하는 방법에 대해 설명한다. 외부 접촉 센서 측정 문제를 제약 기반 예측 문제로 정의한다. 강체 운동에 의거한 기구학와 마찰에 따른 기구학적 제약 조건으로 예측을 진행한다. 기존 F/T 센서를 통해 예측 됐던 방법은 물체의 기하학적 정보를 모를 경우 적용하기 힘들다. 따라 텍타일 센서를 이용해 물체의 모션을 측정하고 이를 통해 접촉 위치를 로컬라이제이션 할 수 있다. 특정 기구학적 제약 조건들(접촉 위치는 회전과 이동과 별개로 유지된다)을 모션과 파라미터로 이뤄진 함수를 최적화 하는 방향으로 사용하면 우리가 원하는 접촉 위치를 찾을 수 있게 된다. 텍타일 센서 데이터의 경우 3차원의 위치 정보를 얻을 수 있기에 0~k번 frame까지의 데이터를 이용해 Least square fitting 문제를 풀어 상대적인 움직임을 예측할 수 있다. 논문에서의 언급하는 한계는 제약 조건을 만족하기 위한 특정 접촉 상태를 가정해야 한다는 것이다. 좀 더 정확한 예측을 위해 물체의 움직임에 대한 모든 제약 조건들을 확인하는 게 필요하다 얘기한다. 결국 exploration과 다른 접촉 유형에도 유연하게 작동해야한다는 것.

​

[2021 ICRA] Tactile-RL for Insertion: Generalization to Objects of Unknown Geometry

해당 논문에서는 물체의 기하학적 모양을 모를 때 텍타일 기반의 피드백 삽입 정책을 사용한다. 삽입 프로세스는 삽입 시도와 자세를 바꾸는 작업의 반복으로 여러 에피소드 정책으로 모델링 된다. 다양한 물체 형상을 일반화할 수 있는 삽입 정책을 학습할 수 있으며, 어떤 방법론으로 학습을 진행할지에 대한 분석도 포함하고 있다. (지도학습/강화학습, 가이드없이/커리큘럼, 힘-토크/촉각, 촉각RGB/촉각 흐름). 이전 논문에서 Supervised Learning을 통해 삽입을 학습했지만 실제 일반화 어려움이 있었다. 따라서 논문에서는 삽입 프로세스를 일련의 선택 문제로 보고 RL을 통해 최적의 정책을 찾는 방법을 이야기 한다. Deep RL에 대한 입력은 일련의 텍타일 이미지이며 보상은 자세 오차와 삽입의 성공여부이다. 텍타일 센서의 시뮬레이션은 힘들기 때문에 실제 로봇에서 바로 진행했고, 현실적인 학습 시간을 위해 커리큘럼 러닝을 사용했다. 선 접촉 - 코너 접촉 - U 형태 벽 - 구멍 같은 형식으로 순차적으로 에이전트가 학습하도록 했다. off-policy RL 알고리즘인 Twin Delayed DDPG를 사용했다. CNN+RNN+MLP 모델을 actor network로 사용했고, 접촉 에러와 액션을 critic model의 입력으로 사용했다. critic model로는 MLP 모델을 사용하여 Q함수를 예측하도록 하였다.

​

[2021 ICRA - 2023 IJRR] Planning for Multi-stage Forceful Manipulation

해당 논문에서는 다단계계(볼트에 체결된 너트를 돌리는 작업) 작업에 대한 연구를 다룬다. 힘이 필요한 작업을 하기 위해서는 로봇은 이산적인 선택들을 해야한다.(물체를 손으로 누를 지, 주변 환경으로 누를 지 등) 또한 로봇은 연속적인 선택들도 해야한다 (집는 자세, 로봇 자세, 물체 자세 등). 이런 선택들은 작업을 성공시키는 데 복잡하게 상호작용하게 된다. 각각의 다른 선택들을 일련의 파라미터화 된 상위 레벨 액션으로 정의할 수 있다. 논문에서는 이런 일련의 상위 레벨 액션을 찾고, 액션에 대한 복잡한 제약조건을 만족하는 파라미터를 찾는 것을 목표로 한다. 좀 더 TAMP에

치우친 논문이기 때문에 패-스

​

[2022 ICRA] GelSlim 3.0: High-Resolution Measurement of Shape, Force and Slip in a Compact Tactile-Sensing Finger

해당 논문에서는 텍타일 센서 기반 손가락을 오픈소스로 개발한 내용읃 다루고 있다. 이전 Gelsight과 다르게 GelSlim은 Compactness, Analytic Measurement Methods, Design for Assembly 방식으로 만들어졌다고 한다. https://github.com/mcubelab/gelslim

​

[2022 ICRA] Manipulation of unknown objects via contact configuration regulation

해당 논문에서는 물체의 접촉 상태를 조절함으로 미지의 물체를 다루는 방법에 대해 다룬다. object-agnostic(물체의 크기, 형태 등에 연관이 없는) 방식으로 추정 및 제어하는 방법을 개발하였다. 힘과 운동 제약을 이용하여 접촉 구성을 조절한다. 이를 통해 중력 평면에서 미지의 평면 물체를 조절하 수 있게 된다. 예측이 필요한 것으로 접촉위치, 기하학적 의미, 모드와 물체를 욺길 수 있는 렌치의 집합이 있다. 기하학적 접촉과 모드를 유지할 수 있는 렌치를 제어하고 접촉 위치를 조절하기 위해 모션을 적용하였다. 자세한 내용을 적을까도 했는데 결국 그냥 다양한 접촉에 대한 제약 조건들을 이용해서 estimation과 control을 하겠다는 거였다.

​

[2022 ICRA] Active Extrinsic Contact Sensing: Application to General Peg-in-Hole Insertion

해당 논문은 active하게 집은 물체와 환경 간의 접촉을 예측하여 구멍에 삽입하는 정책으로 사용하는 연구를 보인다. 예측 모델과 텍타일 피드백 제어기가 같이 사용되어 외부 접촉을 정확히 예측한다. 텍타일 신호로부터 직접적으로 학습한 이전 연구와는 다르게 이번에는 시뮬레이션에서도 바로 학습될 수 있다. 이전 방식보다 높아진 성공률을 보인다. extrinsic 접촉 로컬라이제이션 문제는 로봇의 proprioception과 텍타일 센서 데이터를 합치기 위해 factor graph와 iSAM을 이용했다. 삽입 정책에는 텍타일 이미지 대신 contact line estimation이 사용됐다. 이로 인해 실제 데이터를 모을 필요가 없어졌다. Estimation에 대한 이전 연구들은 모두 passive하였기에 이전 연구들이 보여준 정보에서만 사용될 수 밖에 없었다. Insertion에서의 경우 여러 방법들이 있었지만 sub optimal하거나 실제 환경에서 데이터가 모여져야만 했다.

​

[2022 CoRL] Efficient Tactile Simulation with Differentialability for Robotic Manipulation

논문에서는 텍타일 센서의 normal과 shear force field들을 빠르고 믿을 수 있게 시뮬레이션 하는 방법에 대해 설명한다. 또한 이를 통해 텍타일 센서 기반의 manipulation을 학습한 정책을 실제 로봇 환경에 사용한다. 높은 정확도를 요구하는 peg-in-hole 작업을 zero-shot sim-to-real 적용을 진행했다. 코드를 확인할 수 있다. http://tactilesim.csail.mit.edu/ 논문에서는 Penalty 기반 텍타일 모델을 사용하여 각 텍타일 포인트에서의 힘을 모델링했다. 시뮬레이션에서는 암시적 시간 적분을 사용하여 전방 동역학을 계산했기 때문에 비선형 운동 방정식을 통한 미분이 그라디언트 계산의 핵심 단계이다. 따라서 논문에서는 유한 지평선(finite-horizon) 기반의 텍타일 정책 최적화 문제를 구성하여 접근한다. 논문에서 이야기하는 한계점은 soft sensor에 대한 시뮬레이션이다. soft sensor 역학은 penalty 기반 방식으로 근사하기가 어렵기 때문이다. 또한 sim-to-real에 대한 한계점도 언급하였다.

​

[2023 ICRA] Simultaneous Tactile Estimation and Control of Extrinsic Contact

논문에서는 텍타일 피드백을 이용해 외부 접촉 제어와 예측을 동시에 하는 방법에 대해 설명한다. "동시에" 라고 할 수 있는 이유는 factor graph기반 프레임워크를 이용하여 일련의 텍타일과 기구학적 측정값을 이용하여 그리퍼-물체-환경 간의 예측과 제어를 한번에 하기 때문이다. 또한 이 프레임워크가 동시에 그리퍼의 모션 또한 계획하여, 물체가 미끄러지지 않는 제어 목적을 만족하며 상태를 예측할 수 있게 한다. 제어 목적이란 grasp wrench의 최소화나 접촉에서의 마찰 힘을 최소화 하는 것을 말한다. 참고해야 할 점은 기본적으로 한 순간의 데이터가 아닌 일련의 데이터들이 필요하다. 해당 논문에서는 미지의 물체와 접촉 상태를 동시에 추종하고 제어하는 방법에 대해 이야기 했는데, 그 이후의 연구 방향으로는 물체에 손상을 줄 수 있는 normal force의 최소화와 stick 접촉 만이 아닌 다른 접촉에 대한 방법론을 정리하는 것을 이야기 했다. 마지막으로 원하는 동작을 수동으로 명령하는 것이 아닌 원하는 회전을 수동으로 작성하는 게 아닌 자동으로 명령하는 회전 정책을 연구할거라 한다.

​

[2024 ICRA] TEXterity: Tactile Extrinsic deXterity

이 논문에서는 Tactile 센서를 이용해 extrinsic dexterity를 가지는 in hand manipulation에 대해서 보여준다. 이전 논문과 비슷하지만 known object에 대한 extrinsic manipulation을 추가했다. Discrete pose estimator를 통해 grasp한 물체의 텍타일 센서 데이터를 통해 object pose를 예측한 후 이를 Continuous pose estimator-controller에 전달한다. Continuous pose estimator-controller 는 외부 접촉 제어와 예측을 동시에 진행하여 Desired grasp pose를 만들기 위한 motion plan을 만들게 된다. 이전 논문과 크게 차이날 건 없지만 discrete pose estimator를 통해 known object의 pose를 예측하였다는 점과 이를 이용해 extrinsic dexterity를 얻었다는 점이 contribution이 된다. 해당 논문에서는 특정 테스크에 맞는 물체의 자세를 자동으로 결정하는 방법에 대해 연구할 예정이라 한다.

​

한동안 계속 읽고 있던 MIT에 있는 MCube 연구실의 논문들을 조금 정리해봤다. 간략하게 정리해보니, 그들이 어떤 식으로 연구를 발전시켜왔고 이전 연구와 얼마나 시너지가 나고 있는지를 알 수 있게 됐다. 롱런으로 연구를 바라보고 연구를 진행했다는 게 신기할 정도. 이전 연구들이 모두 다음 연구에 잘쓰인다는 게 또 다시 신기하고, 크게 다를 것 없는 것 같지만 조금씩 발전해가는 연구에 부러움이 있다. 다만, 다른 연구자들이 그들의 연구 위에 기여를 하기가 어려울 것 같다는 생각이 들었다. 어쨌든 그들의 연구를 regenerate 하기에는 어려움이 있기 때문이다.