LLM(대규모 언어 모델)

LLM(대규모 언어 모델)이란 방대한 텍스트로 사전학습해 다음에 올 토큰을 확률적으로 예측하는 방식으로 문장을 생성하는 대규모 신경망입니다.

다른 표기: 대규모 언어 모델 · 거대언어모델 · 대형 언어 모델 · Large Language Model

LLM(대규모 언어 모델)이란 무엇인가요?

LLM(Large Language Model, 대규모 언어 모델)은 방대한 텍스트로 미리 학습해, 다음에 올 단어(토큰)를 확률적으로 예측하는 방식으로 문장을 만들어 내는 대규모 신경망입니다.

번역·요약·질의응답·코드 작성 등 다양한 언어 작업을 하나의 모델로 처리할 수 있다는 점이 특징입니다.

LLM은 어떤 원리로 문장을 만드나요?

LLM은 문장을 토큰이라는 작은 단위로 쪼갠 뒤, 지금까지의 맥락을 바탕으로 '다음에 올 가능성이 가장 높은 토큰'을 하나씩 이어 붙여 문장을 완성합니다. 이 능력은 사전학습 과정에서 방대한 데이터를 통해 얻어집니다.

즉 정해진 답을 검색하는 것이 아니라, 확률에 따라 그럴듯한 다음 말을 생성하는 구조입니다. 그래서 사실과 다른 내용을 자신 있게 말하는 '환각'이 생길 수 있습니다.

LLM에는 어떤 종류가 있나요?

가중치를 공개한 오픈웨이트 모델과 API로만 제공되는 폐쇄형 모델로 나눌 수 있고, 파라미터 규모나 MoE 같은 구조에 따라서도 구분됩니다.

용도에 따라 대화형, 코드 특화, 소형 온디바이스 모델 등으로도 나뉘며, 큰 모델이 항상 모든 작업에 최선인 것은 아닙니다.

LLM 성능·순위는 어떻게 비교하나요?

모델 순위는 시점과 평가 기준에 따라 계속 바뀌므로, 고정된 서열을 외우기보다 공개 벤치마크와 사용자 투표 기반 아레나(arena) 같은 리더보드를 직접 확인하는 편이 정확합니다.

비교할 때는 벤치마크 점수뿐 아니라 응답 속도, 비용, 맥락 길이, 실제 작업에서의 품질을 함께 보는 것이 좋습니다.