강화학습 실습 1편 : OpenAI GYM-Atari 환경 셋팅 (Window 10, anaconda)
작성자 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 한양대학교 로봇공학과 홍윤기 학부생 (CAI LAB) 안녕하세요~~ 딥러닝 실습과 관련된 글은 정말 오랜만에 작성을 해보네요 ㅎㅎ 작년의 저는 Computer Vision 분야를 연구했다면, 올해의 저는 Reinforcement Learning 분야를 연구하고 있습니다!! 그래서 앞으로는 RL과 관련된 논문, 실습(github 코드) 게시물을 많이 많이 업로드하겠습니다~!! 강화학습 환경으로 OpenAI-GYM이 엄청 유명한데요, 그 중 Atari 2600 게임을 사용할 수 있는 gym 환경을 생성할 수 있는 환경 셋팅을 진행해보겠습니다! 저희는 Ubnutu보다 Window 환경을 선호해서, Window 10에서 설정하는 방법을 소..
강화학습 논문 정리 6편 : The Problem With DDPG 논문 리뷰
작성자 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 정말 오랜만에!!! 작성하는 논문 리뷰입니다!ㅎㅎ 올해 저는 6축 협동로봇 UR5e에 강화학습을 적용하는 연구를 진행하고 있습니다! 첫 강화학습 연구다보니 감을 익혀보기 위해 action space의 차원을 간략화 시켜서, 앤드이펙터의 x, y 좌표, 즉 2차원의 action space를 가지고 DDPG 모델을 진행하고 있습니다ㅎㅎ 그런데... 학습을 진행할수록 x, y 좌표가 한 방향으로 증가 혹은 감소하는, 즉 한 point로 수렴해서 갇히는 문제가 발생하고 있습니다ㅜㅜ 그래서 DDPG의 한계점 및 해결책을 파악하고자, 이번 논문을 리뷰하고자 합니다! 그럼 시작하겠습니다~!! :) 1. 참고 링크 (원문) : https://ar..
강화학습 논문 정리 5편 : CQL 논문 리뷰 (Conservative Q-Learning for Offline Reinforcement Learning) (업데이트 중)
작성자 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 안녕하세요~!! 오늘은 오프라인 강화학습 알고리즘 중 하나인 CQL : Conservative Q-Learning의 논문 리뷰를 진행하겠습니다! 'Conservative'의 뜻은 '보수적'이라는 뜻을 지니고 있는데요~ 이 의미가 어떻게 CQL 알고리즘에 표현되는지를 보겠습니다!! 실제 다관절 로봇에 강화학습을 적용하려는 저와 같은 연구자분들은 기존의 강화학습(ex : Off-Policy RL)을 사용하려면 Experience Replay Buffer에 수많은 데이터를 쌓아야해서, 데이터 수집 비용이 비싸다는 한계점이 있었는데, 이를 어떻게 극복했는지를 한번 알아보겠습니다~! 1. 원문 링크 : https://arxiv.org/abs..
작성자 1 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 작성자 2 : 한양대학교 인공지능융합학과 정범수 석사과정 (CAI LAB) 작성자 3 : 한양대학교 로봇공학과 홍윤기 학부연구생 작성자 4 : 한양대학교 로봇공학과 임준희 학부연구생 안녕하세요~!! 오늘은 PER : Prioritized Experience Replay 논문을 리뷰해보겠습니다~! 오늘은 글 대신 PDF 링크 형태로 업로드를 하겠습니다!! 강린이(강화학습 어린이ㅎㅎ)가 작성한 내용이다보니... 틀린 내용이 있을 수도 있습니다ㅜㅜ 오류들은 댓글로 피드백을 남겨주시면 너무 감사하겠습니다~! PER을 요약하자면, 우선순위가 높은 강화학습 데이터를 선별해서 학습하는 기법이라고 볼 수 있습니다! 강화학습의 데이터란 (Sta..
강화학습 논문 정리 3편 : DDQN 논문 리뷰 (Deep Reinforcement Learning with Double Q-learning)
작성자 1 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 작성자 2 : 한양대학교 로봇공학과 홍윤기 학부연구생 정말 오랜만에 팀블로그에 글을 작성해보네요ㅎㅎ 오늘은 value iter 기반 강화학습 알고리즘인 DDQN : Deep Reinforcement Learning with Double Q-learning 논문 리뷰를 진행하겠습니다!! 참고로 DDQN은 AAAI 2016에 출판(?)된 논문입니다~ 링크 0 (원문) : https://arxiv.org/pdf/1509.06461.pdf 링크 1 (참고 블로그) : https://taek-l.tistory.com/36 [강화학습 Key Paper] Double DQN 본 포스트는 OpenAI에서 공개한 강화학습 교육자료인 Spinni..
EfficientNet : Rethinking Model Scaling for Convolutional Neural Networks 논문 리뷰
작성자 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 오늘은 PMLR(Proceedings of Machine Learning Research) 학회의 2019년에 나온 딥러닝 논문인 EfficientNet에 대해 리뷰해보겠습니다~!원문 : arxiv.org/pdf/1905.11946.pdf참고 블로그 : hoya012.github.io/blog/EfficientNet-review/ EfficientNet： Rethinking Model Scaling for Convolutional Neural Networks 리뷰ICML 2019에 제출된 “EfficientNet： Rethinking Model Scaling for Convolutional Neural Networks” 논문에 ..
보호되어 있는 글입니다.
강화학습 논문 정리 2편 : DDPG 논문 리뷰 (Deep Deterministic Policy Gradient)
작성자 : 한양대학원 융합로봇시스템학과 유승환 석사과정 (CAI LAB) 이번에는 Policy Gradient 기반 강화학습 알고리즘인 DDPG : Continuous Control With Deep Reinforcement Learning 논문 리뷰를 진행해보겠습니다~! 제 선배님들이 DDPG를 너무 잘 정리하셔서 참고 링크에 첨부합니다! 그럼 리뷰 시이이작!!! 링크 0 (원문 ) : arxiv.org/pdf/1509.02971.pdf 링크 1 (DDPG 리뷰 1, ppt 정리) : ropiens.tistory.com/37 [Keep9oing] Deep deterministic policy gradient (DDPG) ddpg seminar from 민재 정 두번째 세미나 자료, 역시나 슬라이드 쉐어..