컨텍스트 로트 — 길어질수록 흐려집니다

내용

📌 컨텍스트 로트(context rot)

토큰이 늘어날수록 정확도가 떨어집니다.
"백만 토큰까지 들어가니까 다 넣자"가 안 되는 이유입니다.

[ 왜 그런가 ]
모델은 토큰끼리의 관계를 전부 따져봅니다.
토큰이 늘면 따져야 할 관계가 제곱으로 늘어납니다.
게다가 아주 긴 글로 훈련한 경험 자체가 상대적으로 적습니다.

딱 끊기는 게 아니라 서서히 나빠지는 형태입니다.

[ 실무에서 뜻하는 것 ]
맥락은 **쓰면 줄어드는 예산**입니다.
토큰 하나를 넣으면 주의력 예산이 그만큼 깎입니다.

[ 그래서 목표는 ]
"원하는 결과가 나올 확률을 가장 높이는, 신호가 가장 진한 최소한의 토큰"

[ 당장 할 수 있는 것 ]
• 혹시 몰라서 넣은 자료를 빼세요
• 규칙을 스무 줄 쓰기 전에 예시 세 개를 넣어보세요
• 안 쓰는 도구·연동을 꺼두세요
• 긴 대화는 요약하고 새로 시작하세요

💡 "더 넣으면 더 잘하겠지"는 대체로 틀립니다.