생성형 AI란? 답변 원리와 환각을 이해하고 활용하기

01생성형 AI는 무엇을 만드는가

생성형 AI는 사용자의 요청과 입력을 바탕으로 글, 이미지, 음성, 코드처럼 새로운 형태의 결과를 만들어내는 AI를 말합니다. 이 글에서는 그중에서도 대화형 서비스에서 문장을 만들어내는 텍스트 생성 모델, 특히 대규모 언어 모델(LLM)의 기본 원리에 범위를 한정합니다.

생성형 AI가 문장을 자연스럽게 만든다고 해서 사람과 같은 방식으로 이해하거나 의식적으로 판단한다고 단정할 수는 없습니다. 또한 모든 답변이 정확하거나 항상 최신 정보를 반영하는 것도 아닙니다. 따라서 '잘 쓰는 능력'과 '사실을 맞히는 능력'을 구분해서 보는 것이 출발점입니다.

02토큰과 문맥으로 답변이 이어지는 방식

텍스트 생성 모델은 문장을 내부적으로 토큰이라는 단위로 다룹니다. 토큰은 단어 하나일 수도 있고 단어의 일부, 기호처럼 더 작은 조각일 수도 있으며, 어떤 단위로 나뉘는지는 언어와 모델에 따라 달라집니다.

많은 텍스트 생성 LLM은 지금까지 주어진 문맥을 바탕으로 다음에 올 토큰의 가능성을 계산하고, 이를 반복해 답변을 이어 만듭니다. 이 과정에서 반드시 가장 확률이 높은 토큰 하나만 매번 고르는 것은 아니며, 생성 설정과 방식에 따라 결과가 달라질 수 있습니다. Transformer 계열 모델은 문맥 안의 요소들이 서로 어떤 관계를 갖는지 반영하기 위해 attention이라는 구조를 활용합니다.

여기서 모델을 학습시키는 과정과 사용자가 질문했을 때 답변을 생성하는 과정은 구분해야 합니다. 답변할 때마다 모든 대화를 즉시 새 학습자료로 삼는다고 볼 수 없고, 매 문장마다 실시간 웹을 검색하거나 데이터베이스의 문장을 그대로 복사해서 답하는 것도 아닙니다. 검색이나 계산 기능이 제공되는 경우에는 별도의 도구가 연결될 수 있지만, 그것은 기본적인 언어 생성과 다른 기능입니다.

03자연스러운 답변이 틀릴 수 있는 이유

언어 모델은 자연스럽게 이어질 표현을 잘 만들 수 있지만, 자연스러움과 사실성은 같은 기준이 아닙니다. 그럴듯하지만 사실과 다른 내용을 만들어내는 현상은 흔히 환각 또는 confabulation이라고 부릅니다. 예를 들어 실제로 존재하지 않는 책, 논문, 링크, 통계, 인물의 발언을 그럴듯한 형식으로 제시할 수 있습니다.

따라서 출처가 필요한 질문에서는 제목, 저자, 날짜, 링크 같은 정보를 실제 원문과 비교해야 합니다. 계산에서도 같은 원칙이 적용됩니다. 검색 도구나 계산 도구가 연결되어 있다고 해도 결과가 자동으로 완벽해지는 것은 아니므로, 중요한 숫자와 출처는 사용자가 다시 확인하는 과정이 필요합니다.

• 문장이 자연스럽다는 이유만으로 사실이라고 판단하지 않기
• 출처가 제시되면 실제 존재 여부와 내용이 일치하는지 확인하기
• 숫자와 계산은 가능한 경우 독립적으로 다시 계산하기
• 최신 정보가 중요하면 언제의 정보인지 확인하기

04작은 예제로 직접 요청하고 확인해 보기

다음은 실제 서비스 기록이 아니라 편집용 실습입니다. 가상의 도서관 공지에 확정된 정보는 '토요일 14시 독서모임', '정원 8명'이고, 신청 방법은 아직 미정이라고 가정합니다. 목표는 짧게 요약하는 것보다 확정된 사실과 미정 사항을 구분하는 데 있습니다.

다음 가상 도서관 공지를 2문장 이내로 요약하고, 그 아래에 '확정된 정보'와 '미정 정보'를 나눠 적어줘.
확정된 정보: 토요일 14시 독서모임, 정원 8명.
미정 정보: 신청 방법.
제공되지 않은 신청 URL, 전화번호, 마감일은 추측하지 마.

AI가 '온라인 신청', 임의의 URL, 전화번호처럼 원문에 없는 정보를 추가했다면 삭제하거나 '확인 필요'로 표시해야 합니다. 요약은 짧게 만드는 작업이지만, 짧아졌다는 사실만으로 정확한 요약이 되는 것은 아닙니다.

05원리를 이해한 뒤 어디에 활용할까

기본 원리를 이해했다면 다음 단계는 실제 결과물을 만들어보는 것입니다. 같은 생성형 AI라도 목적에 따라 요청 방식과 확인 기준이 달라집니다.

이 네 가지는 각각 요청문 작성, 학습 연습, 일정 의사결정, 문서 요약처럼 결과물이 다릅니다. 따라서 'AI에게 잘 물어보기' 하나만 익히는 것보다, 결과물에 맞는 검증 기준까지 함께 익히는 것이 중요합니다.

직접 확인할 항목

개념 설명과 편집용 실습 · 실제 AI 응답은 달라질 수 있음

• 생성형 AI와 이 글의 텍스트 LLM 범위를 구분해 설명했는지 확인
• 토큰이 단어나 단어 조각 등일 수 있고 언어와 모델에 따라 달라질 수 있다고 설명했는지 확인
• 많은 LLM이 문맥을 바탕으로 다음 토큰을 이어 생성하되 항상 최고확률 하나만 선택한다고 단정하지 않았는지 확인
• 학습 과정과 답변 생성 과정을 구분했는지 확인
• 실시간 웹 검색이나 데이터베이스 복사를 모든 답변의 기본 원리처럼 설명하지 않았는지 확인
• 환각과 사실성 문제, 별도 검색·계산 도구의 검증 필요성을 설명했는지 확인
• 실습에서 토요일 14시, 정원 8명, 신청 방법 미정이라는 사실을 유지했는지 확인
• 신청 URL, 전화번호, 마감일을 추측하지 않는 기준을 포함했는지 확인