컨텍스트 롯(context rot)은 입력이 길어질수록 AI 답변 품질이 떨 어지는 현상입니다. 컨텍스트 윈도우 한도에 한참 못 미쳐도 나타나며, Chroma가 2025년 7월 14일 발표한 기술 보고서에서 프런티어 모델 18개를 측정해 정리했습니다.
클로드 코드나 챗지피티로 오래 작업하다 보면 어느 순간 답이 이상해집니다. 아까 말한 걸 잊고, 없는 파일을 있다고 하고, 시킨 것과 다른 걸 합니다. 그게 이 현상입니다. 보고서 저자는 Kelly Hong, Anton Troynikov, Jeff Huber입니다.
입력 길이가 늘어날 때 답변 품질이 들쭉날쭉 떨어지는 그래프. 짧으면 잘 찾다가 길어지면 무너지며, 컨텍스트 한도에 닿기 전에 이미 품질이 떨어진다
먼저 이 주제에서 가장 흔히 잘못 인용되는 부분을 짚고 시작하겠습니다.
"핵심 정보를 앞과 뒤에 두면 30% 향상된다"는 말
이 문장을 여러 곳에서 보게 되는데, Chroma 연구에는 이런 내용이 없습니다. 30%라는 수치도 없고, "시작과 끝"이라는 U자형 결론도 없습니다.
원문에서 위치에 대한 언급은 하나뿐이고 훨씬 좁습니다. 반복 단어 과제에서 고유 단어를 입력 초반부에 배치했을 때 위치 정확도가 가장 높았고, 입력이 길어질수록 그 차이가 더 뚜렷해졌다는 것입니다. 특정 과제에서의 관찰이지, 모든 프롬프트에 적용되는 배치 법칙이 아닙니다.
"앞과 뒤가 유리하다"는 U자형 주장은 다른 논문(Lost in the Middle, 2023)의 결론입니다. 두 연구가 뒤섞여 유통되고 있고, 거기에 출처 없는 30%가 붙었습니다. 프롬프트 구조를 바꾸는 근거로 쓰기 전에 어느 연구에서 온 말인지 확인하는 게 좋습니다.
실제로 측정된 것 5가지
Chroma가 테스트한 모델은 18개입니다.
- Anthropic: Claude Opus 4, Sonnet 4, Sonnet 3.7, Sonnet 3.5, Haiku 3.5
- OpenAI: o3, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-4o, GPT-4 Turbo, GPT-3.5 Turbo
- Google: Gemini 2.5 Pro, 2.5 Flash, 2.0 Flash
- Alibaba: Qwen3-235B, Qwen3-32B, Qwen3-8B
핵심 발견은 다섯 가지입니다.
- 떨어지는 속도가 일정하지 않습니다. 조금씩 꾸준히 나빠지는 게 아니라 과제와 조건에 따라 크게 출렁입니다. 그래서 "몇 토큰까지는 안전하다"는 선을 긋기 어렵습니다.
- 찾아야 할 정보와 질문의 의미가 멀수록 더 빨리 무너집니다. 질문에 나온 단어가 그대로 들어 있는 정보는 길어도 잘 찾지만, 뜻으로만 연결된 정보는 훨씬 이르게 놓칩니다.
- 방해 정보의 존재, 자료의 구조, 의미 관계가 모두 영향을 줍니다. 길이 하나만의 문제가 아닙니다.
- 환각 경향은 모델 계열별로 갈렸습니다. 보고서 기준으로 Claude 계열이 환각률이 가장 낮고 GPT 계열이 가장 높았습니다.
- 전체를 넣은 경우와 관련 부분만 골라 넣은 경우의 격차가 컸습니다. LongMemEval 과제에서 이 차이가 유의미하게 나타났습니다. 실무에서 가장 바로 써먹을 수 있는 결과입니다.
몇 토큰부터 나빠지나
가장 궁금한 부분인데, 보고서는 기준이 되는 숫자를 제시하지 않습니다. 이 주제를 다루는 글에 "100K 토큰부터"처럼 딱 떨어지는 숫자가 붙어 있으면 원문 근거가 아닐 가능성이 높습니다.
보고서에서 확인되는 건 관찰 지점 정도입니다. 짧은 입력에서는 대부분 잘 작동하고, 반복 단어 과제에서는 약 2,500단어 지점부터 특정 패턴이 나타나기 시작하며, 5,000단어에서 7,500단어 구간에서 일부 모델(Gemini, Qwen)의 무작위 출력이 늘었습니다. GPT-3.5 Turbo는 이 과제에서 거부율 60.29% 를 기록했습니다.
여기서 실무적으로 중요한 건 숫자 자체가 아니라 방향입니다. 컨텍스트 윈도우가 200K라고 해서 200K까지 같은 품질이 유지되는 게 아닙니다. 한도는 "넣을 수 있는 양"이고 품질이 유지되는 구간과는 다릅니다.
이 연구가 지금도 유효한가
정직하게 말하면 그대로 인용하기엔 시점이 걸립니다. 2025년 7월 연구이고, 테스트한 모델이 Claude Opus 4, GPT-4.1, Gemini 2.5 세대입니다. 2026년 8월 현재 쓰는 모델은 그보다 두 세대 뒤입니다.
그래서 이 연구에서 가져올 것과 가져오지 말 것을 나눠야 합니다.
- 가져올 것: 길이가 늘면 품질이 들쭉날쭉 나빠진다는 것, 넣을 수 있는 한도와 품질이 유지되는 구간은 다르다는 것, 관련 부분만 넣은 쪽이 전체를 넣은 쪽보다 낫다는 것. 모델 세대가 바뀌어도 입력 처리 방식이 근본적으로 달라지지 않는 한 유지될 성질입니다.
- 가져오지 말 것: 어느 모델이 더 나았다는 순위나 환각률 수치. Claude 계열이 낮았다는 것도 2025년 7월 그 모델들 기준입니다. 지금 세대에 그대로 적용해 말하면 근거 없는 주장이 됩니다.
현재 세대 모델에서 같은 실험을 다시 돌린 공개 결과를 확인하지 못했습니다. 확인되면 이 글을 갱신하겠습니다.
실무에서 무엇을 바꿔야 하나
측정된 결론에서 직접 따라오는 것만 적습니다.
- 넣을 수 있는 만큼 다 넣지 말고 관련된 것만 넣으세요. 전체 입력과 선별 입력의 격 차가 유의미했다는 게 이 보고서에서 가장 실무적인 결과입니다. 파일 열 개를 다 붙이는 것보다 관련된 두 개만 붙이는 쪽이 낫습니다.
- 질문에 찾을 대상의 표현을 그대로 쓰세요. 의미로만 연결된 정보를 길이 속에서 찾는 게 가장 먼저 무너지는 지점입니다. "그 설정 어디 있어?"보다 "
timeout값이 어디 정의돼 있어?"가 안전합니다. - 방해 정보를 덜어내세요. 비슷하지만 답이 아닌 내용이 섞여 있을 때 성능이 더 떨어집니다. 참고용으로 붙인 옛 문서가 오히려 손해일 수 있습니다.
- 길어졌으면 새 세션으로 옮기고 필요한 것만 다시 넣으세요. 대화가 길어졌는데 답이 흔들리면 프롬프트를 더 정교하게 쓰는 것보다 이게 빠릅니다.
- 한도를 품질 기준으로 쓰지 마세요. "아직 한도 안 찼으니 괜찮다"는 판단이 이 현상의 가장 흔한 출발점입니다.
클로드 코드에서는 이렇게 씁니다
코딩 에이전트는 이 문제가 가장 잘 드러나는 환경입니다. 파일을 읽고 명령 결과를 받아오면서 입력이 계속 쌓이는데, 정작 지금 필요한 정보는 그중 일부뿐입니다.
- 자동 압축 기준을 알고 쓰세요. 클로드 코드에는
--autocompact옵션이 있어 창이 차면 대화를 압축합니다. 압축은 길이를 줄여주지만 요약 과정에서 세부가 빠집니다. 압축이 일어난 뒤 답이 흔들리기 시작했다면 프롬프트를 다듬을 게 아니라 필요한 파일을 다시 명시적으로 붙이는 쪽이 빠릅니다. - 긴 세션을 이어가는 것과 새로 시작하는 것을 구분하세요.
--continue나/resume으로 이어가는 건 편하지만, 작업 주제가 바뀌었다면 이어가는 게 손해입니다. 앞 주제의 파일과 시행착오가 전부 방해 정보로 남습니다. 보고서에서 방해 정보가 성능을 떨어뜨린다고 측정된 그 조건입니다. - 작업 단위를 파일 단위로 쪼개세요. "이 프로젝트 전체를 리팩터링해줘"보다 "이 파일 하나를 이렇게 바꿔줘"가 안정적인 이유가 여기 있습니다. 한 번에 넣는 관련 없는 코드가 줄어듭니다.
- 지시를 매번 다시 넣지 말고 프로젝트 규칙 파일에 두세요. 같은 지시를 대화 중간중간 반복하면 그만큼 입력이 늘어납니다. 규칙은
CLAUDE.md같은 파일에 한 번 적어두는 쪽이 낫습니다.
정리
- 입력이 길어질수록 답변 품질이 떨어집니다. 프런티어 모델 18개에서 확인된 현상입니다.
- 떨어지는 속도는 일정하지 않습니다. 그리고 몇 토큰부터 나빠진다는 기준은 보고서에 없습니다.
- "핵심 정보를 앞과 뒤에 두면 30% 향상"은 이 연구의 내용이 아닙니다.
- 프롬프트를 정교하게 고치는 것보다 넣는 양을 줄이고 관련 있는 것만 넣는 편이 낫습니다.
출처는 Chroma 기술 보고서 Context Rot: How Increasing Input Tokens Impacts LLM Performance(2025년 7월 14일)이며, 이 글의 수치와 모델 목록은 2026년 8월 19일 원문을 직접 확인했습니다.
지피터스는 누적 6천 명이 스터디를 거친 AI 커뮤니티이고, 저는 여기서 마케팅 업무에 AI 도구를 매일 씁니다. 긴 세션에서 답이 흔들리는 건 실제로 자주 겪는 문제라 원문을 직접 확인해 정리했습니다.
토큰이 무엇이고 비용에 어떻게 연결되는지는 AI 토큰 뜻과 비용 계산에서 다뤘습니다. 커뮤니티 스터디에서도 긴 작업 세션을 어떻게 쪼개는지가 자주 나오는 주제입니다.