노션에다 정리한걸 그대로 가져와봤는데 안되서 html을 긁어왔더니 되네요.. 노션에서 작성된 형식을 그대로 옮기는게 꽤 불편하네요Written by Myeonggyun-KimContinuous State Space Model of Linear Time invariant Systemx˙=Ax(t)+Bu(t)y(t)=Cx(t)+Du(t),t≥0{\dot x} = Ax(t)+Bu(t) \\ y(t) = Cx(t)+ Du(t), t\geq 0x˙=Ax(t)+Bu(t)y(t)=Cx(t)+Du(t),t≥0, (1) The matrix exponential function asddteAt=AeAt=eAtA{d\over dt}e^{At} =Ae^{At}=e^{At}A dtdeAt=AeAt=eAtA, (2) Multi..
[LLM] Transformer :: GPT 쓰긴 싫지만 GPT 안쓰면 도태될까봐 두려운 할미 MZ의 뒤늦은 LLM 공부 (1) Auto-regressive란?
작성자 : UNIST 기계공학과 석사과정생 임가은 ㅡAuto-regressive 란, transformer [1] 의 decoder가 작동하는 방식입니다. 다음 출력을 생성할 때, 이전의 예측 결과를 고려하는 방식이에요. 예를 들어 아직 미완성인 어떤 input sequence (y_1, y_2, ...y_t) 문장이 주어졌을 때, 문장의 다음 단어인 y_t+1 단어를 예측하는 과정에서 앞의 단어들이 등장할 확률을 conditional probability로 고려해 주는 거에요. ㅡ잠깐 사전지식으로, transformer 는 크게 encoder와 decoder로 구성되어 있습니다. 대부분의 유명한 nearul sequence transduction model들은 encoder와 decoder 조합을 구..
작성자 : UNIST 기계공학과 석사과정생 임가은 ㅡChatGPT 등장 이후, 저에겐 약 1년간은 절대 GPT를 사용하지 않겠다고 결심했던 기간이 있었습니다. 왠지 인간의 고유한 능력, 질문하고 사유한 뒤 나름의 답을 내리는 것 마저 기계에게 빼앗겨버린 느낌이랄까요? 어디까지 효율을 추구해야 할지 혼란스러우면서도, 한편으로는 GPT를 사용하는 친구들의 과제 제출 속도를 따라갈 수 없어 마지못해 사용하기 시작하게 되었던 것 같아요. 저의 GPT 사용 history를 간단히 풀어보자면, 2022년 말에는 3개월 무료 체험권을 연구실 동료에게 선물받아 어찌저찌 사용했습니다. 2023년에는 무지막지한 ROS package 설치와 Gazebo, Unreal 등 가상환경 구성을 할 일이 많았고, 이때 GPT가 큰 ..