■ LLM 정의
1. "LLM(Large Language Model, 거대언어모델)"은 엄청나게 방대한 양의 텍스트 데이터를 학습하여, 인간처럼 글을 읽고, 이해하고,
생성할 수 있는 AI의 두뇌이다.
- 엄청나게 방대한 양의 텍스트는 "크롤러(Crawler)"라는 소프트웨어 로봇이 인터넷을 돌아다니면서 닥치는 대로 데이터 수집
2. 스스로 생각하는 자아가 있는 것이 아니라, 학습된 데이터를 바탕으로 문맥을 파악하고 다음에 올 가장 확률 높은 단어를 예측하여 이어 붙이는
초고속 끝말잇기 계산기다.
3. ChatGPT(OpenAI), Claude(Anthropic), Gemini(Google)가 LLM이다.
4. "Vector DB"는 도서관(책장)이고, LLM은 책을 읽고 답변해 주는 사서(사람)라고 생각하면 된다.
엄청나게 큰 도서관을 통째로 읽은 AI라고 생각하면 된다.
- Vector DB 없이도 LLM은 단독으로 작동 가능하다. 우리가 쓰는 챗GPT(무료버전)은 Vector DB 없이 LLM혼자서 자신의 암기력으로만 답변한다.
■ LLM 학습 및 작동 원리
1. LLM이 학습하는 핵심 원리는 다음 단어 맞히기(Next Token Prediction)다.
이것을 전문 용어로 "자기 지도 학습(Self-Supervised Learning)"이라고 한다.
2. 사람이 일일이 정답을 알려주는 게 아니라, 원본 글(데이터) 자체가 정답지가 되는 방식이다.
2.1. 정답지가 되는 과정
- 이미 거대한 양의 정보가 담겨 있는데, 예를 들면 개발자는 프로그램으로 제일 많이 나오는 단어 순서로 "1번부터 5만 번까지 번호 좀 매겨
봐"라고 하면 번호가 부여됨. (컴퓨터가 자주 뭉쳐 다니는 글자끼리 알아서 조각을 내고 번호를 부여함)
2.2. 예제 - 아래표를 기준으로 문장을 번호를 부여하였다.
| 번호 | 단어 | 번호 | 단어 |
| 10 | 대한민국 | 50 | 입니다 |
| 11 | 의 | 60 | 제 |
| 20 | 수도 | 70 | 2 |
| 30 | 는 | 80 | 인가요 |
| 40 | 서울 | 90 | ? |
| 45 | 부산 | 99 | 아니요 |
- 정보) 대한민국의 수도는 서울입니다. [10, 11, 20, 30, 40, 50]
대한민국의 제2의 수도는 부산입니다. [10, 11, 60, 70, 11, 20, 30, 45, 50]
- 질문) 서울의 수도는 부산인가요? [40, 11, 20, 30, 45, 80, 90]
2.3. 계산과정
- AI는 40(서울)과 20(수도)의 관계를 집중적으로 계산한다.
- 10(대한민국) + 20(수도) → 아주 자연스러움 (확률 높음)
- 40(서울) + 20(수도) → "어? 뭔가 이상한데?" (확률 낮음)
- AI는 "서울은 '수도' 그 자체지, '수도'를 가지고 있는 나라가 아닌데?"라는 판단과 함께 이 문장은 전제 조건이 틀렸다고 수학적으로
감지한다. (이 단어 조합의 확률값이 뚝 떨어짐)
- 그다음 45(부산)와 80(인가요)을 본다.
- 질문: "부산이 맞냐?" (Yes/No 질문)
- "서울의 수도"라는 개념 자체가 없으므로, 부산이 나올 확률은 0%을 수렴한다.
- 이제 AI는 다음 단어로 올 가장 적절한 숫자를 예측해야 한다.
- "네" (Yes): 서울이 나라여야 하고, 수도가 부산이어야 함. → 확률 0.001% (탈락)
- "부산입니다" (Copy): 앵무새처럼 따라 하기. → 문맥상 이상함. 확률 5% (탈락)
- "아니요" (No): 전제가 틀렸을 때 가장 많이 나오는 패턴. → 확률 95% (당첨)
- AI의 답변 생성 시작:
- 첫 단어 예측: "아니요" (99번)
- 그다음 단어 예측: (왜 아닌지 설명해야 함)
- 40(서울)은 10(대한민국)의 20(수도)이기 때문이다.
- AI는 계산된 숫자들을 다시 글자로 바꿔서 보여준다.
- AI의 답변: "아니요, 서울은 대한민국의 수도입니다. 부산은 제2의 도시입니다."
3. 찍고, 틀리고, 고치는 과정을 수천억 번 반복하면, 나중에는 문맥을 파악하는 거대한 패턴(확률 통계)이 생기게 된다.
4. 프로그래밍 필요 여부: 사람이 지식을 직접 넣어주진 않지만, AI가 데이터를 읽고 스스로 수정하는 방법(메커니즘)은 사람이
완벽하게 코딩해 둬야 작동함.
■ LLM 한계
1. 환각 현상 (Hallucination): "숨 쉬듯이 하는 거짓말"
- LLM은 '사실(Fact)'을 말하는 게 목적이 아니라, '말이 되게(Fluent)' 하는 게 목적이기 때문이다.
2. 최신 정보의 부재 (Knowledge Cutoff): "냉동 인간"
- 학습이 끝난 AI의 뇌는 '얼음(Frozen)' 상태이다. 재학습을 시키지 않는 이상 최신 정보를 모른다.
3. 논리 및 산술 능력 부족 (Math & Logic): "수포자 문과생"
- LLM은 '언어 모델'이지 '계산기'가 아니다. 텍스트의 패턴은 기가 막히게 알지만, 정확한 숫자 계산이나 복잡한 인과관계 추론에는 약하다.
4. 설명 불가능성 (Black Box): "왜?라고 물으면 대답 못 함"
- '근거(Evidence)'가 생명인데, AI는 자기가 왜 그런 판단을 내렸는지 명확히 설명을 못 한다.
5. 편향성 (Bias): "인터넷의 편견을 그대로 배움"
- AI는 인터넷 데이터를 먹고 자랐다. 인터넷에 있는 인종차별, 성차별, 지역 차별이 AI의 뇌에도 그대로 스며들어 있다.
6. AI는 완벽한 신(God)이 아니라, 엄청나게 똑똑하지만 가끔 엉뚱한 실수를 하는 조수(Intern)이다.
■ LLM 성능 고도화(Advancement) 및 최적화 전략
1. 쓰레기 데이터를 걸러내고, 영양가 있는 지식만 먹인다.
- 단순히 많은 양의 텍스트가 아니라, 문법이 정확하고 논리적인 고품질 데이터(책, 논문, 잘 쓴 기사)를 선별하여 학습시켜야 기본 지능이 높아진다.
2. 단어 이어 말하기 선수를, 대화가 통하는 비서로 만든다.
- LLM이 단순히 다음 단어를 예측하는 것을 넘어, "요약해 줘", "번역해 줘" 같은 사용자의 명령(Instruction)을 이해하고 수행하도록 별도의 훈련을
시킨다.
3. 사람이 직접 채점하여 눈치를 길러준다.
- AI의 답변에 대해 사람이 "이건 좋은 답변, 이건 나쁜 답변"이라고 점수를 매겨서, 기계적인 말투를 버리고 사람이 선호하는 방식으로 말하도록
미세 조정한다.