TL;DR
컨텍스트 윈도우란 AI가 임의의 시점에 '볼 수 있는' 대화의 유한한 조각입니다 —— 바깥의 것은 모델에게 사실상 존재하지 않습니다. 이 창을 작고, 깨끗하게, 하나의 주제에 집중되게 유지하면 AI는 계속 날카롭고, 빠르고, 저렴해집니다.
비유
AI를 '마음'으로 상상하는 건 그만둡시다. 대신, 폭이 정확히 4피트인 책상에서 일하는 지구상 가장 총명한 사무원을 상상하세요.
당신이 보내는 메시지는 하나하나 책상 오른쪽 끝에 놓이는 종이입니다. 그리고 이 사무원이 절대 깨지 않는 의식이 있습니다:**모든 답변을 쓰기 위해 지금 책상에 있는 모든 페이지를 —— 왼쪽에서 오른쪽으로, 매번, 예외 없이 —— 다시 읽는다.**훑어읽기 없음. "거기는 기억해" 없음. 모든 답에 대한 완전한 재독, 영원히.
그리고 잔인한 세부 사항:**책상은 절대 커지지 않습니다.**공장에서 고정 크기로 만들어졌습니다. 새 페이지가 도착해 공간이 없으면 가장 오래된 페이지가 왼쪽 끝에서 미끄러져 나갑니다 —— 서랍도, 캐비닛도 아닌 파쇄기로. 사무원은 애도하지 않습니다.사라진 것조차 알아차리지 못합니다.
그 책상이 컨텍스트 윈도우입니다."AI가 내 지시를 잊었어"라고 말할 때, 망각은 일어난 게 아닙니다.지시가 적힌 페이지가 끝에서 미끄러졌을 뿐입니다.사무원은 여전히 총명합니다 —— 책상이 가득 찼을 뿐입니다.
마지막으로, 지갑에 관한 세부 사항: 이 사무원은 페이지당 과금합니다.모든 답변이 책상 전체 재독을 필요로 하므로, 어질러진 채로 방치할수록 생성되는 단어 하나하나에 더 많이 지불합니다. 어질러진 책상은 혼란스러운 사무원일 뿐 아니라 —— 비싼 사무원이기도 합니다.
작동 원리와 Uzu의 채팅 슬롯
내부적으로 대규모 언어 모델은 대화를 '기억'하지 않습니다 —— 매 턴 다시 읽습니다. 보이는 텍스트는 토큰(토큰은 대략 단어의 4분의 3)으로 측정되며, 그 가시 영역이 컨텍스트 윈도우입니다.들어간 것은 읽히고, 들어가지 못한 것은 요약되거나 버려집니다.
임의의 시점에 책상 위에 있는 것:
| 책상 위 | 당신에게 의미하는 것 |
|---|---|
| 시스템 지시 | AI의 상시 명령 —— 당신이 말하기 전부터 공간 점유 |
| 페르소나와 역할 | 사무원이 매 답변 전 다시 읽는 캐릭터 시트 |
| 당신의 최근 메시지 | 가장 최신 페이지 —— 항상 완전히 보임 |
| AI 자신의 답변 | 그렇습니다, 자기 발언도 다시 읽습니다 —— 긴 답변은 당신을 책상에서 밀어냅니다 |
| 첨부 파일과 붙여넣은 텍스트 | 단연 가장 무거운 페이지 |
그래서 원샷 프롬프트 같은 기법이 잘 작동합니다: 완전하고 정확한 지시는 책상에 남아 매 턴 당신을 위해 일합니다. 또 퓨샷 프롬프팅 —— 풀린 예시를 프롬프트에 붙이기 —— 이 강력하지만 책상 공간으로는 비싼 이유이기도 합니다: 예시는 전부 사무원이 영원히 다시 읽는 페이지입니다.
컨텍스트는 자원이므로 Uzu 앱은 그렇게 다룹니다. Uzu는 채팅의 마지막 약 20개 메시지를 전송하고 오래된 턴을 자동으로 요약으로 압축합니다 —— 사무원이 주기적으로 가장 오래된 페이지를 얇은 다이제스트 한 장으로 제본하는 것과 같습니다.중요한 흐름은 책상이 넘치지 않고 살아남습니다.또 Uzu는 의도적으로 동시에 열 수 있는 채팅 수를 제한하고 레벨에 따라 확장합니다.열려 있는 채팅은 각각 유지비를 지불하는 별도의 책상입니다.죽은 대화는 잡동사니가 아니라 —— 중요한 일을 밀어냅니다.
경제도 연결됩니다: 모델이 다시 읽는 토큰은 전부 처리된 토큰입니다.그래서 깨끗한 컨텍스트 윈도우는 더러운 것보다 적은 G-Credits로 끝납니다.정확함은 두 번 돈을 아끼습니다 —— 프롬프트를 쓸 때 한 번, 그 후 매 턴 또 한 번.
작업 규칙은 간단합니다:
**책상 하나, 일 하나.**채팅 하나에 주제 하나, 페이지에는 핵심만, 비용이 커지기 전에 잡동사니를 파쇄기로.
흔한 함정
- **인생 전체를 하나의 영원한 채팅으로 운영하기.**여행을 계획하고, 임대 계약을 물어보고, 레시피를 디버깅한 채팅은 무관한 종이들에 묻힌 책상입니다.새 주제에는 새 채팅을 —— 새 책상, 만점의 집중력.
- 아직 보이는 지시를 반복하기.원샷 프롬프트가 12개 메시지 전에 도착했고 대화가 아직 짧다면, 재진술은 토큰 낭비입니다.규칙을 반복하는 것은 명확히 끝에서 사라졌을 때만 —— 긴 대화, 사라진 제약.
- **40페이지 문서를 붙여넣고 질문 하나 하기.**어떤 책상에서든 가장 무거운 페이지는 날것 문서 덤프입니다.먼저 관련 섹션을 추출하거나 전용 도구를 사용하세요 —— Uzu에서 첨부 PDF는 매번 전문을 재전송하는 게 아니라 효율적으로 참조되는 영구 컨텍스트가 됩니다.
- **윈도우를 기억으로 혼동하기.**컨텍스트 윈도우는 작업 영역이지 저장 공간이 아닙니다.책상이지 하드디스크가 아닙니다 —— 채팅을 닫으면 책상은 깨끗이 닦입니다.남기고 싶은 것은 의도적으로 저장해야 합니다(적어두거나, 앱이 지원하는 메모리로 저장).
- **'잊은' AI와 다투기.**모델이 오래된 지시에 모순될 때, 고집스러운 게 아니라 —— 페이지가 책상에서 떨어진 것입니다.증상과 싸우지 말고 중요한 제약을 재진술하거나, 그것이 상단에 가까운 깨끗한 채팅을 시작하세요.
FAQ
AI에서 컨텍스트 윈도우란 무엇인가요?
컨텍스트 윈도우는 AI 모델이 한 번에 처리할 수 있는 텍스트의 최대량(토큰으로 측정)입니다.당신의 지시, 대화 기록, AI 자신의 과거 답변, 첨부 문서를 포함합니다.윈도우 밖은 현재 답변에 영향을 줄 수 없습니다.그래서 긴 대화는 결국 초기 지시를 '잃습니다'.
AI가 같은 대화 앞부분에서 말한 것을 잊는 이유는요?
모델은 실제로 저장한 적이 없기 때문입니다 —— 컨텍스트 윈도우에 들어가는 것을 다시 읽을 뿐입니다.대화가 커지면 오래된 교환은 윈도우를 넘어 요약되거나 폐기됩니다.AI가 부주의해서가 아니라 —— 가장 오래된 페이지가 문자 그대로 시야를 떠난 것입니다.
컨텍스트 윈도우가 큰 것은 AI의 기억과 같나요?
아니요, 그리고 이 혼동이 무한한 좌절을 낳습니다.컨텍스트 윈도우는 임시 작업 공간입니다: 대화가 존재하는 동안만 존재하고 매 턴 다시 읽힙니다.기억 —— 일부 앱이 제공하는 저장된 사실이나 회상 시스템 같은 —— 은 단일 채팅을 넘어 살아남는 별도의 의도적 저장 계층입니다.큰 윈도우: 더 넓은 책상.기억: 캐비닛.둘 다 필요하지만 역할이 다릅니다.
다음 레슨
초심자에게 아무도 경고하지 않는 부분이 여기 있습니다: 위의 모든 것은 AI가 틀렸어도 완벽하게 작동합니다.책상이 깨끗한 모델은 지시를 덜 모순됩니다 —— 그래도 완전히 평온한 자신감으로 거짓을 말할 수 있습니다.그것은 당신 프롬프트의 버그가 아닙니다.확신의 착각 —— 모든 대규모 언어 모델에 내장된 포커 페이스입니다.그것을 알아보는 법을 배우는 것이 AI에서 가장 중요한 방어 기술입니다.
다음 레슨으로: 확신의 착각
떠나기 전 연습: 가장 오래 지속된 채팅을 열고 책상 검사관처럼 읽어보세요.어떤 페이지가 여전히 공간의 가치가 있는가 —— 그리고 어떤 페이지가 세 주제 전에 끝에서 미끄러졌는가?다음 채팅을 깨끗하게 시작하고 첫 응답의 차이를 확인하세요.