대형 언어 모델(Large Language Models, LLM)의 흥미로운 현상인 **환각(hallucinations)**에 대해 이야기해보겠습니다. LLM 환각은 모델이 사실이 아닌 정보를 그럴듯하게 생성하는 현상으로, 이는 인간처럼 사실을 "아는" 것이 아니라 학습 데이터의 패턴을 기반으로 단어를 예측하기 때문에 발생합니다. 이 글은 테슬라의 전 AI 수석 디렉터였던 Andrej Karpathy의 YouTube 영상 *"Deep Dive into LLMs like ChatGPT"*에서 영감을 받아, LLM 환각이 학습 파이프라인에서 어떻게 나타나는지, 그리고 이를 완화하기 위한 전략을 살펴봅니다.LLM 환각이란 무엇인가?LLM 환각은 모델이 잘못된 정보나 완전히 허구의 내용을 마치 사실처럼 생성하는..