[LLM] Transformer :: GPT 쓰긴 싫지만 GPT 안쓰면 도태될까봐 두려운 할미 MZ의 뒤늦은 LLM 공부 (1) Auto-regressive란?
작성자 : UNIST 기계공학과 석사과정생 임가은 ㅡAuto-regressive 란, transformer [1] 의 decoder가 작동하는 방식입니다. 다음 출력을 생성할 때, 이전의 예측 결과를 고려하는 방식이에요. 예를 들어 아직 미완성인 어떤 input sequence (y_1, y_2, ...y_t) 문장이 주어졌을 때, 문장의 다음 단어인 y_t+1 단어를 예측하는 과정에서 앞의 단어들이 등장할 확률을 conditional probability로 고려해 주는 거에요. ㅡ잠깐 사전지식으로, transformer 는 크게 encoder와 decoder로 구성되어 있습니다. 대부분의 유명한 nearul sequence transduction model들은 encoder와 decoder 조합을 구..
은가/LLM
2025. 2. 26. 08:29