[LLM] Transformer :: GPT 쓰긴 싫지만 GPT 안쓰면 도태될까봐 두려운 할미 MZ의 뒤늦은 LLM 공부 (1) Auto-regressive란?
작성자 : UNIST 기계공학과 석사과정생 임가은 ㅡAuto-regressive 란, transformer [1] 의 decoder가 작동하는 방식입니다. 다음 출력을 생성할 때, 이전의 예측 결과를 고려하는 방식이에요. 예를 들어 아직 미완성인 어떤 input sequence (y_1, y_2, ...y_t) 문장이 주어졌을 때, 문장의 다음 단어인 y_t+1 단어를 예측하는 과정에서 앞의 단어들이 등장할 확률을 conditional probability로 고려해 주는 거에요. ㅡ잠깐 사전지식으로, transformer 는 크게 encoder와 decoder로 구성되어 있습니다. 대부분의 유명한 nearul sequence transduction model들은 encoder와 decoder 조합을 구..
작성자 : UNIST 기계공학과 석사과정생 임가은 ㅡChatGPT 등장 이후, 저에겐 약 1년간은 절대 GPT를 사용하지 않겠다고 결심했던 기간이 있었습니다. 왠지 인간의 고유한 능력, 질문하고 사유한 뒤 나름의 답을 내리는 것 마저 기계에게 빼앗겨버린 느낌이랄까요? 어디까지 효율을 추구해야 할지 혼란스러우면서도, 한편으로는 GPT를 사용하는 친구들의 과제 제출 속도를 따라갈 수 없어 마지못해 사용하기 시작하게 되었던 것 같아요. 저의 GPT 사용 history를 간단히 풀어보자면, 2022년 말에는 3개월 무료 체험권을 연구실 동료에게 선물받아 어찌저찌 사용했습니다. 2023년에는 무지막지한 ROS package 설치와 Gazebo, Unreal 등 가상환경 구성을 할 일이 많았고, 이때 GPT가 큰 ..
ROS:: rosdep, wstool 명령어의 역할과 package 의존성
rosdep, 무엇일까? 여느 때처럼 Docker 위에 ROS Melodic을 설치하고 있었습니다. ROS 공식문서(바로가기)에 있는 설치 과정을 따라가다가, 문득 rosdep 명령어에 대한 궁금증이 있었는데도 불구하고 매번 그냥 지나친게 찜찜해졌습니다. 그래서 rosdep에 대해 정리 해 보았습니다. 처음으로 1.6 Dependencies for building packages 부분을 자세히 읽어 보았습니다. 요약하자면 이렇습니다. 우리는 ROS 안에서 하나의 패키지만을 사용하지 않습니다. 여러 개의 패키지들은 각각 독립적일 수도 있지만, prerequisite 패키지가 target 패키지에 영향을 주는 등 서로 "의존성"을 가질 수도 있습니다. 그리고, 필요한 prerequiste 패키지는 경우에 따..