대화가 길어지면 답이 나빠지는 현상과 대처법
대화를 길게 이어 가다 보면 앞에서 정한 규칙을 AI가 잊어버립니다. 왜 그런지와, 작업 내용을 잃지 않고 새 대화로 넘기는 방법을 다룹니다.
소요 시간 4분 · 필요한 것: 대화형 AI 하나
현장에서
긴 문서를 다듬는 작업을 한 대화창에서 이어가다가 낭패를 본 적이 있습니다. 처음에 "한 문장 40자 이내"로 정해 두었는데, 뒤로 갈수록 문장이 길어졌습니다. 더 황당한 건 앞에서 고쳐 놓은 문장이 되살아난 것이었습니다. 인수인계 문서가 20장인데 필요한 건 두 줄이라는 상황과 비슷합니다. 맥락이 길어지면 정작 중요한 규칙이 묻힙니다.
긴 작업을 한 대화창에서 계속하면 어느 순간부터 답이 나빠집니다. 처음에 정한 형식을 무시하고, 아까 고친 것을 되돌려 놓기도 합니다. 이걸 "AI가 멍청해졌다"고 표현하는 경우가 많은데, 원인은 다른 데 있습니다.
1. 왜 그런가
대화형 AI는 답할 때마다 그 대화창의 내용을 다시 읽습니다. 그런데 한 번에 읽을 수 있는 양에는 한계가 있습니다. 대화가 길어지면 두 가지가 일어납니다.
- 앞부분의 비중이 줄어듭니다. 지시문 한 줄이 대화 전체에서 차지하는 비중이 작아지고, 최근에 주고받은 말이 결과에 더 크게 반영되는 경향이 있습니다.
- 도구가 오래된 부분을 생략하거나 요약해 넣기도 합니다. 구체적인 처리 방식은 서비스마다 다르고 공개되지 않은 경우도 많습니다. 다만 사용자 입장에서 나타나는 증상은 같습니다. 초반에 정한 규칙이 사라집니다.
즉 이건 성능 저하가 아니라 구조상 예상되는 현상입니다. 그래서 해결책도 "더 강하게 말하기"가 아니라 "대화를 끊고 넘기기"입니다.
2. 증상 확인법
다음 중 두 개 이상이면 대화를 새로 시작할 시점입니다.
- 초반에 정한 출력 형식(표 열 이름, 분량)이 슬슬 달라진다
- 이미 고쳤던 문장이 되살아난다
- "아까 말한 대로"라고 하면 엉뚱한 것을 가리킨다
- 같은 질문을 다시 하면 처음과 다르게 답한다
3. 그대로 복사해 쓰는 인수인계 프롬프트
새 대화를 여는 건 쉽지만, 여태 쌓은 맥락을 잃는 게 문제입니다. 그래서 끊기 전에 요약을 받아 두고 그걸 새 대화 첫 줄에 붙입니다.
① 지금 대화창에서 마지막으로 시키는 것
이 대화를 다른 대화창에 이어서 하려고 한다. 아래 항목만 담은 '인수인계 메모'를 만들어라. 새로운 제안은 하지 마라. 1) 목표: 지금 하려는 작업 1문장 2) 확정된 규칙: 내가 지시한 형식·분량·금지사항 전부 (빠짐없이) 3) 지금까지 만든 결과물: 최종 버전만 (중간 버전 제외) 4) 남은 일: 순서대로 5) 하지 말아야 할 것: 내가 거절했던 방향
② 새 대화창 첫 줄
아래는 다른 대화에서 이어받은 인수인계 메모다. 이 메모의 '확정된 규칙'은 앞으로 계속 지켜라. 메모에 없는 내용은 임의로 채우지 말고 나에게 물어라. (인수인계 메모 붙여넣기) 첫 작업: (남은 일 1번)
4. 실제 실행 결과 — 인수인계 메모
아래 상황에서 위 프롬프트를 실행했습니다.
그동안 정한 규칙: 존댓말, 한 문장 40자 이내, 항목은 번호 대신 가운뎃점, 전문용어는 괄호로 뜻 덧붙이기.
직전에 거절한 방향: 이모지 사용, 인사말 3줄 이상.
이 메모의 핵심은 2번과 5번입니다. 새 대화는 "무엇을 하라"보다 "무엇을 하지 말라"를 모릅니다. 거절했던 방향을 적어 두지 않으면, 새 대화에서 이미 물렸던 제안이 다시 올라옵니다.
새 대화로 옮긴 뒤 같은 요청을 한 번 더 해보세요. 옮기기 전과 형식이 같게 나오면 인수인계가 성공한 것입니다. 형식이 다르면 메모의 '확정된 규칙'에 빠진 항목이 있다는 뜻이니, 그 줄만 추가하면 됩니다.
5. 실패했던 대응과 이유
① "아까 말한 형식 지켜"라고 다시 말하기
한두 번은 돌아오지만 몇 번 지나면 또 흐트러집니다. 대화가 길어질수록 이 지적 자체도 대화의 일부가 되어 묻힙니다. → 근본 해결이 아닙니다.
② 대화창을 그냥 새로 열기
맥락이 사라져서 처음부터 다시 설명해야 했습니다. 결국 시간이 더 걸렸습니다. → 인수인계 메모를 받고 나서 끊습니다.
③ 지난 대화 전체를 복사해 새 창에 붙이기
길이 문제를 그대로 옮겨 오는 것이라 같은 증상이 금방 재발했습니다. → 전문이 아니라 확정된 규칙과 최종 결과물만 옮깁니다.
④ 한 대화창에서 여러 주제를 다룬 경우
회의록 정리와 블로그 초안을 같은 창에서 하다가 두 작업의 형식이 섞였습니다. → 작업 하나에 대화창 하나가 가장 확실했습니다.
6. 응용 3가지
- 규칙은 대화 밖에 보관합니다. 자주 쓰는 지시문은 메모장에 두고 새 대화마다 붙입니다. 대화창은 언제든 버릴 수 있는 작업대로 취급하는 게 낫습니다.
- 긴 작업은 처음부터 단계를 나눕니다. 자료 정리 → 목차 → 본문 → 검토를 각각 다른 대화창에서 하고, 사이를 인수인계 메모로 잇습니다.
- 중간 결과는 대화창 밖에 저장합니다. 대화창을 유일한 보관 장소로 쓰면, 흐트러진 뒤에 되돌릴 방법이 없습니다.
7. 정리
| 상황 | 조치 |
|---|---|
| 형식이 조금 흐트러졌다 | 규칙을 다시 붙여 넣는다 (전체 재설명 아님) |
| 고친 것이 되살아난다 | 인수인계 메모 받고 새 대화 |
| 주제가 두 개 이상 섞였다 | 주제별로 대화창 분리 |
| 긴 문서를 다뤄야 한다 | 단계별로 나눠 창을 바꾼다 |
대화 길이를 처리하는 방식은 서비스마다 다르고 수시로 바뀝니다. 위 설명은 내부 동작이 아니라 사용자 입장에서 관찰되는 증상을 기준으로 정리한 것입니다.
이 글의 제작 방식
본문의 프롬프트는 실제로 실행해 출력을 확인한 것입니다. 출력 예시에는 어떤 도구로 언제 실행했는지를 함께 적었습니다.
글의 초안 작성에는 생성형 AI를 사용했으며, 사실 확인과 최종 수정은 사람이 했습니다.
AI 도구의 응답은 같은 프롬프트라도 매번 조금씩 달라지므로, 본문의 출력이 그대로 재현되지 않을 수 있습니다.
댓글
댓글 쓰기