[Null space control] Null space control이란?
단순히 operational space에서 제어하여 특정 위치로 로봇을 이동시키는 목적 외에도 다수의 제어 목적이 있을 수 있다. 예를들어 1. 특정 위치로 로봇팔 끝단을 움직이면서 2. elbow joint 값을 높인 상태로 유지해라 라는 2가지의 목적이 있을 수 있다. 이런 2가지 목적을 달성하기 위해서 문제는 로봇의 자유도에 있다. 만약 operational space가 generalized coordinates과 동일하다면, 즉 만약 operational space가 로봇의 모든 자유도를 제약하고 시스템의 상태가 operational space에 정의 된다면, 1번의 목적을 달성하는 컨트롤러에 대한 성능을 포기하지 않고 2번의 목적을 달성하는 것은 불가능하다. 2링크 로봇팔은 2자유도를 가..
[Null space control] Nullspace에 대하여
Null space control을 다루기 전에 먼저 Null space 에 대해서 이야기해보자. 기존에 작성해둔 Null space 설명을 가져왔다. "널 스페이스는 컬럼 스페이스와는 전혀 다른 Subspace이다. 선형 방정식 AX=b에서 b가 zero vector일때 즉 AX=0일때 모든 가능한 해 X에 대한 집합이다. 특정 행렬A와 X가 곱해졌는데 그게 0이 나올때 X의 집합, x가 이루는 공간을 Null space라고 한다. 3차원 공간에서 Null space는 직선으로 표현된다고 한다." 쉽게 말해 AX = 0 일 때 가능한 모든 해 X의 집합이 Null space 라고 볼 수 있다. 직관적인 이해를 위해 아래 영상을 참고하자. https://www.youtube.com/watch?..
[4] Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments (MADDPG)
editor, Seungeon Baek Reinforcement learning Engineer /RL, Planning and Control - 해당 글은 개인 블로그의 글들을 옮겨온 글입니다. - https://seungeonbaek.tistory.com/category/Reinforcement%20Learning/Multi-agent%20RL 'Reinforcement Learning/Multi-agent RL' 카테고리의 글 목록 seungeonbaek.tistory.com 클릭해 주셔서 감사합니다. 강화학습 논문 리뷰 연재 네번째입니다. 이 논문의 경우, RL_Korea의 옥찬호 님께서 주도하시는 RL 논문 리뷰 스터디에 참여하며. 리뷰한 논문으로, 제가 4월 19일에 실제로 스터디 내에서 발..
[3] 환경 관련 논문들: Atrai 2600, DeepLab, Google Research Football
editor, Seungeon Baek Reinforcement learning Engineer /RL, Planning and Control - 해당 글은 개인 블로그의 글들을 옮겨온 글입니다. - https://seungeonbaek.tistory.com/category/Reinforcement%20Learning/RL%20environment 'Reinforcement Learning/RL environment' 카테고리의 글 목록 seungeonbaek.tistory.com 클릭해 주셔서 감사합니다. 강화학습 논문 리뷰 연재 세번째입니다. 오늘 준비한 논문은 강화학습에서 많이 사용되었던 환경, 최근에 구글에서 공개한 환경과 관련된 논문들을 준비해 보았습니다. (2020년 9월 글입니다.) 각각 ..
[2] Agent57: Outperforming the Atari Human Benchmark (DeepMind "Agent57")
editor, Seungeon Baek Reinforcement learning Engineer / RL, Planning and Control - 해당 글은 개인 블로그의 글들을 옮겨온 글입니다. - https://seungeonbaek.tistory.com/4?category=806051 Paper review of RL (2) Agent57: Outperforming the Atari Human Benchmark (DeepMind "Agent57") 강화학습 논문 리뷰 연재 두번째입니다. DeepMind의 이번 연구는, 기존 강화학습 알고리즘의 benchmark로써 자주 활용되곤 하는 모든 Atari 2600 게임에서(수 백개중 벤치마크로써 사용되는 57개의 게임) seungeonbaek.tist..
[1] Dota2 with Large Scale Deep Reinforcement Learning (OpenAI "Five")
editor, Seungeon Baek Reinforcement learning Engineer /RL, Planning and Control - 해당 글은 개인 블로그의 글들을 옮겨온 글입니다. - https://seungeonbaek.tistory.com/2?category=806048 Paper review of RL (1) Dota2 with Large Scale Deep Reinforcement Learning (OpenAI "Five") 강화학습 연구 관련 트렌드를 파악하기 위하여, 블로그에서 강화학습 논문 리뷰 연재를 시작하게 되었습니다. 꾸준히 작성하여 많은 사람들에게 도움이 되었으면 좋겠습니다! DeepMind의 연구진 seungeonbaek.tistory.com 클릭해 주셔서 감사합니..
[임피던스 제어] Interaction Control 적용 - Virtual Trajectory & nodic impedance
여느 다른 컨트롤 시스템처럼, 상호작용 시스템도 안정성과 성능 두마리의 토끼를 잡아야한다. 이전 글에서는 안정성 분석이 반드시 시스템 상호작용 할 환경에 대한 고려를 포함 해야 한다는 것을 보였고, 시스템의 port behavior를 조작함으로서 안정성의 원칙이 보장 될 수 있음도 보였다. (물론 블로그 글에는 정리하지 않았다. 너무 복잡해서..) 상호작용 시스템의 성능도 dynamic port behavior로 측정 되므로, 두가지 목적(안정성과 성능)는 target interactive behavior의 구현에서 오류를 최소화 하는 컨트롤러로 동시에 충족될 수 있다. 즉, 어떤 target 상호작용하는 움직임이 있는데, 이에서 오류를 최소화하는 컨트롤러로 안정성과 성능이라는 두마리 토끼를 잡을 수..
Graph spectral partitioning/clustering with python
요즘 Machine learning with graph (CS224W) 강의 리뷰를 어느 분들이 감사하게 해주어서 보고있다. 오늘은 Spectral clustering에 대해 읽었는데, 처음 소개하는 알고리즘이 간단하게 보이기도 하고 networkx도 계속 연습할 겸 코딩함. 이것보다 발전된 방향은 여러가지 더 있다. 5.Spectral Clustering 5. Spectral Clustering Spectral Clustering [작성자 : 정민준] velog.io 목적은 어떤 그래프가 주어졌을때, 밀집도를 비교하여 서로 비슷한 밀도를 가진 군집을 찾아내어 구분짓는 것이 목표이다. 수학적으로 전개와 증명을 이어나가는데, 하나하나 제대로 이해할 수는 없었다. 수학은 복잡한데 비해, 알고리즘은 간단하다...