AI에게 같은 질문을 해도 답이 다른 이유 — 프롬프트 4요소 정리
어제는 잘 나왔던 답이 오늘은 엉뚱하게 나오는 이유를 구분하고, 매번 비슷한 품질로 답을 받는 지시문 틀을 만듭니다.
소요 시간 3분 · 필요한 것: 대화형 AI 아무거나 하나
현장에서
후임에게 같은 설명을 세 번째 하고 있다는 걸 깨달은 날이 있었습니다. 문서를 어떻게 정리해 달라는 이야기였는데, 매번 말이 조금씩 달랐던 겁니다. 제 머릿속에는 기준이 있었지만 입으로 나온 건 "적당히 보기 좋게"였습니다. AI에게 지시하는 일도 정확히 같았습니다.
프롬프트를 배우기 전에 반드시 구분해야 할 것이 있습니다. 답이 달라지는 원인은 두 가지이고, 그중 하나만 우리가 고칠 수 있습니다. 이걸 섞어서 생각하면 "AI는 원래 들쭉날쭉하다"며 포기하게 됩니다.
1. 답이 달라지는 두 가지 원인
원인 A. 도구 쪽 — 우리가 못 고치는 것
대화형 AI는 다음에 올 단어를 확률적으로 골라 문장을 만듭니다. 그래서 완전히 같은 입력을 넣어도 표현과 순서가 조금씩 달라집니다. 이건 정상 동작이고, 사용자가 없앨 수 없습니다.
원인 B. 지시문 쪽 — 우리가 고칠 수 있는 것
지시문에 비어 있는 칸이 있으면, AI는 그 칸을 매번 다르게 채웁니다. 예를 들어 "회의록 정리해 줘"라는 문장에는 이런 칸이 비어 있습니다.
- 얼마나 줄일 것인가 (분량)
- 어떤 형태로 낼 것인가 (줄글? 표? 항목?)
- 누가 읽을 것인가 (팀장? 참석 안 한 동료?)
- 원문에 없는 말을 넣어도 되는가
네 칸이 비어 있으니 결과가 네 방향으로 흔들립니다. 어제 마음에 들었던 답은 AI가 그 칸을 우연히 내 취향대로 채운 것입니다. 운이 좋았던 것을 실력으로 착각하면 다음번에 재현이 안 됩니다. 이 글은 원인 B만 다룹니다.
2. 빈칸을 없애는 4요소
| 요소 | 쓰는 말 | 빠지면 생기는 증상 |
|---|---|---|
| 역할 | "너는 10년차 총무 담당자다" | 어휘 수준이 매번 바뀜. 너무 일반적인 답 |
| 맥락 | "아래는 30분 회의 녹취록이다. 읽는 사람은 불참한 팀장이다" | 중요도 판단이 엉뚱해짐. 아는 사람용/모르는 사람용이 섞임 |
| 작업 | "결정된 사항과 할 일을 뽑아라" | 요약인지 재작성인지 번역인지 AI가 고름 |
| 형식 | "표 2개. 첫 표 열은 결정사항·근거, 둘째 표 열은 할 일·담당·기한" | 가장 크게 흔들리는 칸. 열 이름과 개수가 매번 바뀜 |
여기에 하나를 더 붙이면 사고를 막습니다. 금지사항입니다. "원문에 없는 내용은 쓰지 말고, 없으면 '언급 없음'으로 적어라." 이 한 줄이 없으면 AI는 빈 곳을 그럴듯한 문장으로 메웁니다.
3. 그대로 복사해 쓰는 틀
[역할] 너는 회의록을 10년간 정리해 온 실무자다. [맥락] 아래는 30분짜리 팀 회의 녹취록이다. 읽는 사람은 회의에 참석하지 않은 팀장이며, 배경 지식은 있다. [작업] 결정된 사항과 앞으로 할 일을 각각 뽑아라. [형식] - 표 2개로 낸다. - 표1 열: 결정사항 | 그렇게 결정한 이유 - 표2 열: 할 일 | 담당 | 기한 - 표 아래에 '확인 필요' 항목을 최대 3개까지 쓴다. [금지] - 원문에 없는 내용을 추가하지 않는다. - 담당이나 기한이 언급되지 않았으면 '언급 없음'이라고 쓴다. - 추측할 경우 문장 앞에 (추정) 을 붙인다. [원문] (여기에 녹취록 붙여넣기)
4. 실제 실행 결과
같은 원문을 두 가지 지시문으로 돌려 비교했습니다. 원문은 아래와 같은 짧은 회의 메모입니다.
[예시 원문 — 설명을 위해 만든 가상의 회의 메모입니다] 박 과장: 상반기 소모품 예산이 320만 원 남았습니다. 김 대리: 프린터 토너가 다음 달에 떨어집니다. 대당 8만 원, 6대니까 48만 원이요. 박 과장: 의자 교체 얘기도 나왔었죠? 이 주임: 15개 견적 받았는데 한 개 12만 원입니다. 180만 원. 박 과장: 토너는 바로 진행하고, 의자는 3분기로 미룹시다. 남은 예산은 하반기로 넘기고요. 김 대리: 토너 발주는 제가 하겠습니다. 이 주임: 의자 견적서는 3분기 회의 때 다시 올리겠습니다.
① "회의록 정리해줘" 만 입력한 결과
② 4요소 틀로 입력한 결과
①은 읽기는 매끄럽지만 "누가 언제까지"가 사라졌습니다. ②는 딱딱하지만 그 자리에 '언급 없음'이 남아서, 회의에서 정하지 못한 것이 무엇인지 그대로 드러납니다. 표에 '(추정)'이 붙은 칸도 보이는데, 이건 금지 규칙이 작동한 흔적입니다.
차이는 품질보다 재현성에서 더 크게 납니다. ①은 세 번 돌리면 세 가지 형태가 나오고, ②는 세 번 돌려도 같은 열 이름의 표 2개가 나옵니다. 형태가 고정되면 그다음부터는 복사해서 붙이는 기계적인 작업만 남습니다.
5. 실패했던 지시문과 이유
① "전문가처럼 자세히 잘 써 줘"
'잘'과 '자세히'는 기준이 아니라 형용사입니다. AI에게는 측정할 방법이 없어서 매번 다르게 해석합니다. → "각 항목을 2문장 이내로, 숫자가 있으면 반드시 포함해서"처럼 셀 수 있는 말로 바꿉니다.
② "가능하면 짧게"
'가능하면'은 재량을 넘기는 말입니다. 재량을 넘기면 결과가 흔들립니다. → "500자 이내"로 씁니다.
③ "표로 정리해 줘"만 쓴 경우
표는 나오지만 열 이름과 개수가 매번 바뀝니다. 열을 지정하지 않으면 AI가 그때그때 고릅니다. → 열 이름을 직접 나열합니다.
④ 하지 말라는 말만 준 경우
"어렵게 쓰지 마"라고만 하면 무엇을 하라는 지시가 없습니다. 금지문은 원하는 상태를 함께 적어야 작동합니다. → "중학생이 읽을 수 있게. 전문용어는 쓰되 괄호로 뜻을 덧붙여라."
6. 응용 3가지
- 반복 업무는 틀을 저장합니다. 매주 하는 일이라면 위 틀에서 [원문]만 바꿔 넣습니다. 메모장에 두고 붙여 쓰는 편이 대화창에서 매번 새로 쓰는 것보다 결과가 안정적입니다.
- 결과가 흔들리면 [형식] 칸부터 봅니다. 경험상 흔들림의 대부분은 형식이 비어 있어서 생깁니다. 역할을 화려하게 붙이는 것보다 형식 한 줄을 정확히 쓰는 편이 효과가 큽니다.
- 중요한 문서는 두 번 돌려 비교합니다. 두 결과가 크게 다르면 지시문에 아직 빈칸이 있다는 신호입니다. 결과를 고치기 전에 지시문을 고칩니다.
7. 정리
| 증상 | 고칠 칸 |
|---|---|
| 형태가 매번 바뀐다 | 형식 (열 이름·개수·분량을 숫자로) |
| 없는 내용을 지어낸다 | 금지 ('언급 없음'으로 쓰게 하기) |
| 너무 뻔한 말만 한다 | 역할 + 맥락 (읽는 사람을 지정) |
| 엉뚱한 작업을 한다 | 작업 (동사 하나로 못 박기) |
다음 글에서는 이 4요소 중 가장 효과가 큰 형식 칸을 업무 문서에 적용하는 방법을 다룹니다.
이 글의 제작 방식
본문의 프롬프트는 실제로 실행해 출력을 확인한 것입니다. 출력 예시에는 어떤 도구로 언제 실행했는지를 함께 적었습니다.
글의 초안 작성에는 생성형 AI를 사용했으며, 사실 확인과 최종 수정은 사람이 했습니다.
AI 도구의 응답은 같은 프롬프트라도 매번 조금씩 달라지므로, 본문의 출력이 그대로 재현되지 않을 수 있습니다.
댓글
댓글 쓰기