들어가기에 앞서 윈도우 노트북에서 우분투를 돌리기 위한 방법으로 기존에 알고있던 것은 멀티부팅과 가상 컴퓨터 프로그램(VMware)를 이용한 방법 이렇게 2가지만을 알고 있었다. 그러나 윈도우 10에서는 자체적으로 Ubuntu를 가상으로 돌릴수 있도록 지원하고 있다는 정보를 알게되어 RL과 Docker를 공부할겸 윈도우에서 지원하는 WSL을 이용한 리눅스 시스템을 구축하여 공부를 진행해보고자 진행하게 되었다. 설치 방법 설치 전 윈도우 세팅 먼저 모든 윈도우에서 가상 컴퓨터를 지원하는 것은 아니다. 필수 사항으로 WSL은 윈도우10 PRO 16237 버전 이상 및 64비트, ARM64에서만 설치가능하다. (단 여기서 사용하는 WSL2의 경우 윈도우 10 HOME 버전에서도 사용이 가능하다고 한다.) 설치..
작성자 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 한양대학교 로봇공학과 홍윤기 학부생 (CAI LAB) 안녕하세요~~ 딥러닝 실습과 관련된 글은 정말 오랜만에 작성을 해보네요 ㅎㅎ 작년의 저는 Computer Vision 분야를 연구했다면, 올해의 저는 Reinforcement Learning 분야를 연구하고 있습니다!! 그래서 앞으로는 RL과 관련된 논문, 실습(github 코드) 게시물을 많이 많이 업로드하겠습니다~!! 강화학습 환경으로 OpenAI-GYM이 엄청 유명한데요, 그 중 Atari 2600 게임을 사용할 수 있는 gym 환경을 생성할 수 있는 환경 셋팅을 진행해보겠습니다! 저희는 Ubnutu보다 Window 환경을 선호해서, Window 10에서 설정하는 방법을 소..
간단한 Null space control 문제를 풀어보자. Task space가 2차원으로 주어진 경우에서 3자유도를 가진 로봇을 움직일 때를 생각해보자. 로봇팔의 자유도보다 Task space가 작기 때문에 redundant라고 볼 수 있으며, 여자유도가 남아 Null space control이 가능해진다. 간단하게 1번,2번 조인트를 최소로 움직이도록 하는 Target function을 정해보자. 앞선 글에서 말한 Target function이 추가된 pseudo inverse 식은 아래와 같아진다. 위 식을 풀어서 로봇 팔을 움직이게 되면 Target function을 optimal하게 풀게 되며, 이는 일반적인 pseudo inverse kinematic을 풀어서 움직인 로봇 팔과 비교했을 때 확..
작성자 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 정말 오랜만에!!! 작성하는 논문 리뷰입니다!ㅎㅎ 올해 저는 6축 협동로봇 UR5e에 강화학습을 적용하는 연구를 진행하고 있습니다! 첫 강화학습 연구다보니 감을 익혀보기 위해 action space의 차원을 간략화 시켜서, 앤드이펙터의 x, y 좌표, 즉 2차원의 action space를 가지고 DDPG 모델을 진행하고 있습니다ㅎㅎ 그런데... 학습을 진행할수록 x, y 좌표가 한 방향으로 증가 혹은 감소하는, 즉 한 point로 수렴해서 갇히는 문제가 발생하고 있습니다ㅜㅜ 그래서 DDPG의 한계점 및 해결책을 파악하고자, 이번 논문을 리뷰하고자 합니다! 그럼 시작하겠습니다~!! :) 1. 참고 링크 (원문) : https://ar..
Null space and Redundant 일반적으로 Redundant robot 이라고 하면 Task space에 비해 여자유도를 가진 로봇을 말한다. 쉽게 생각했을 때 6자유도가 아닌 7자유도 로봇 팔이라고 볼 수 있겠지만 이것은 틀린 표현이다. Task space와 비교했을 때 robot의 자유도가 큰 경우를 redundant한 상황이다 라고 표현하는 것이 맞다. 일반적으로 로봇 팔의 Task가 6자유도라고 생각할 수 있지만, 많은 경우 (단순한 페인팅, 그라인딩, peg in hole 등)들이 5자유도(x,y,z,r,p)만 필요하다. Optimization for redundant robot 여자유도가 있는 경우에는 torque, joint limits, manipulability, obstac..