티스토리 뷰
목차
솔직히 저는 AI를 쓰기 시작한 초반에 '토큰'이라는 단어를 그냥 흘려들었습니다. 어차피 질문하면 답이 나오는데, 뒤에서 어떤 단위로 처리되는지까지 신경 쓸 필요가 있나 싶었거든요. 그 생각이 완전히 바뀐 건 업무용으로 긴 문서를 매일 AI에 넘기기 시작하면서부터였습니다. 토큰은 단순한 기술 용어가 아니라, AI 서비스의 비용·성능·경쟁력을 결정하는 핵심 단위였습니다.
토큰 비용, 직접 부딪혀보고 나서야 알았습니다
처음 AI 서비스를 유료로 전환했을 때, 요금 고지서를 보고 잠깐 멈칫했습니다. 생각보다 많이 나온 금액이었는데, 원인을 찾아보니 전부 토큰 사용량이었습니다. 여기서 토큰이란 대형 언어 모델(LLM)이 텍스트를 처리할 때 의미를 구분하는 최소 단위를 말합니다. 영어 기준으로 평균 네 글자가 하나의 토큰에 해당하고, 문단 하나가 대략 100개 토큰 정도 됩니다. AI가 처리하는 모든 입력과 출력이 이 단위로 계산되기 때문에, AI 기업들은 토큰을 기준으로 서비스 요금을 청구합니다.
직접 겪어보니, 긴 문서를 통째로 넣는 작업이 얼마나 토큰을 많이 소모하는지 실감했습니다. 그때부터 입력 내용을 꼭 필요한 부분만 추려서 넣기 시작했는데, 비용이 눈에 띄게 줄었습니다. 토큰은 비용뿐 아니라 성능과도 직결됩니다. AI가 한 번의 대화에서 기억하고 처리할 수 있는 토큰의 최대량을 컨텍스트 윈도우(Context Window)라고 부릅니다. 쉽게 말해 AI의 단기 기억 용량이라고 보면 됩니다. 컨텍스트 윈도우가 클수록 긴 문서를 끊지 않고 한 번에 처리할 수 있어 성능이 좋다고 평가됩니다.
토큰 사용량 규모는 개인 차원을 훨씬 넘어섰습니다. 오픈AI의 한 엔지니어가 일주일에 2,100억 개의 토큰을 사용했고, 앤트로픽의 Claude Code를 월 15만 달러 넘게 쓴 이용자도 등장했습니다. 500만 명 이상의 개발자에게 AI 모델 API를 제공하는 오픈 라우터(출처: OpenRouter) 자료에 따르면, 올해 주간 평균 15조 개의 토큰이 사용되었고 최대 27조 개까지 치솟은 주도 있었습니다. 이 수치도 오픈AI나 앤트로픽 직접 API 사용량은 빠진 수치입니다.
- 토큰: LLM이 텍스트를 처리하는 최소 단위, 영어 기준 평균 4글자
- 컨텍스트 윈도우: AI가 한 번에 기억·처리할 수 있는 토큰의 최대량
- 토큰 사용량이 많아질수록 연산량·시간·비용이 함께 증가
- 에이전트 기반 AI 코딩 도구 등장 이후 토큰 소비량이 급격히 상승
가성비 경쟁, 딥시크가 판을 흔들었습니다
토큰 사용량이 이렇게까지 폭발적으로 늘어난 데는 한 가지 결정적인 이유가 있습니다. AI 추론 비용이 빠른 속도로 떨어지고 있기 때문입니다. 여기서 추론 비용이란 학습이 끝난 AI 모델이 실제로 질문에 답변하는 과정, 즉 인퍼런스(Inference) 단계에서 발생하는 연산 비용을 말합니다. GPT-3.5 기준으로 2022년 11월에는 100만 토큰당 20달러였던 가격이 2024년 10월에는 0.07달러까지 떨어졌습니다. 불과 2년 만에 280배 하락한 수치입니다. 2030년에는 추론 비용이 2025년 대비 90% 이상 더 내려갈 것으로 전망됩니다.
이 흐름 속에서 '토큰 가성비'가 새로운 선택 기준으로 떠올랐고, 2025년 초에 중국 스타트업 딥시크가 '딥시크 쇼크'를 일으켰습니다. 딥시크가 공개한 R1 모델은 오픈AI의 o1 모델과 비슷한 추론 능력을 보여주면서, 입력 토큰 가격은 100만 개당 0.55달러, 출력은 2.19달러로 미국 모델들과 비교가 안 될 만큼 저렴했습니다. 제가 직접 써봤는데, 간단한 코드 리뷰나 텍스트 정리 작업에서는 체감 품질이 고가 모델과 크게 다르지 않았습니다. 비용 차이는 분명히 있었습니다.
가격 차이가 생기는 구조적 원인은 컴퓨팅 리소스입니다. 최첨단 모델을 훈련하려면 고성능 GPU가 필요하고, GPU 값이 비싸면 토큰 가격도 올라갑니다. 미국은 고성능 GPU 확보에는 유리하지만 단가가 높고, 중국은 미국의 반도체 수출 규제로 고성능 GPU 수급이 어려운 대신 모델 자체의 효율성을 극한까지 끌어올리고 저렴한 재생 에너지를 활용해 원가를 낮추는 전략을 택했습니다. 중국 정부는 여기서 한발 더 나아가 토큰이라는 단어 대신 자국 화폐 단위인 위안(元)을 결합한 '치위안(齿元)'을 공식 번역 명칭으로 제정하며 토큰 경제의 언어 주도권까지 노리고 있습니다.
토큰으로 돈 버는 곳은 따로 있었습니다
실리콘밸리에서는 '토큰 맥싱'이라는 문화가 자리 잡고 있습니다. 토큰 맥싱이란 자신이 얼마나 많은 토큰을 사용했는지 공개적으로 자랑하는 행위로, 오픈AI는 누적 1조 개 토큰 사용자에게 실제 상패를 수여하기도 했습니다. 쇼피파이 CEO는 신규 채용 요청 시 AI로 안 되는 이유를 먼저 증명해야 한다고 못 박았고, 엔비디아 CEO 젠슨 황은 연봉 50만 달러짜리 개발자라면 최소 25만 달러는 토큰 사용에 써야 한다고 언급했습니다. AI 활용 자체가 인사 평가의 기준이 되어가고 있는 겁니다.
그런데 제 경험상 이건 좀 다릅니다. 마이크로소프트의 한 개발자가 AI를 너무 안 쓴다는 지적을 피하려고 필요하지도 않은 에이전트에 일을 맡긴다고 인터뷰한 사례가 있습니다. 저도 비슷한 압박을 느낀 적이 있었는데, 억지로 AI를 끼워 넣은 작업 결과물은 오히려 직접 처리한 것보다 품질이 떨어진 경우가 있었습니다. '얼마나 많이 썼느냐'보다 '얼마나 잘 썼느냐'가 진짜 역량인데, 지표가 수량 중심으로 굳어지면 가짜 사용량만 늘어날 수 있습니다.
아이러니한 건, 이 거대한 토큰 경제에서 정작 토큰을 파는 AI 기업들은 여전히 적자라는 점입니다. 월스트리트 저널(출처: The Wall Street Journal)이 입수한 내부 문건에 따르면, 모델 훈련 비용까지 포함하면 오픈AI는 2030년, 앤트로픽은 2028년에야 흑자 전환이 예상됩니다. 돈이 실제로 쌓이는 곳은 GPU를 파는 엔비디아, 그리고 데이터센터에 GPU를 쌓아두고 빌려주는 AWS·구글 클라우드·마이크로소프트 애저 같은 클라우드 기업들입니다. 앤트로픽은 AWS에 10년간 1억 달러 이상을 투자하고 구글 클라우드와 TPU 최대 100만 개를 활용하는 파트너십을 맺었으며, 오픈AI도 마이크로소프트 단독 계약에서 벗어나 구글·AWS와 함께하는 멀티클라우드 전략으로 방향을 틀었습니다. 젠슨 황이 말한 '5단 케이크론'처럼, AI 모델이 수익을 내면 그 돈은 결국 아래 계층인 칩과 에너지 인프라로 흘러내려가는 구조입니다.
자주 묻는 질문
Q. 토큰이 많을수록 AI가 무조건 좋은 건가요?
A. 컨텍스트 윈도우, 즉 한 번에 처리할 수 있는 토큰 양이 크면 긴 문서도 끊지 않고 다룰 수 있어서 유리합니다. 하지만 제가 직접 써보니 무작정 많이 넣는다고 답변 품질이 올라가지는 않았습니다. 핵심 정보만 잘 추려서 넣는 것이 오히려 결과가 좋은 경우가 많았습니다.
Q. 딥시크가 저렴한 이유가 뭔가요?
A. 미국의 반도체 수출 규제로 고성능 GPU를 충분히 확보하지 못한 딥시크는 대신 모델 자체의 연산 효율을 극한까지 높이고 저렴한 재생 에너지를 활용해 인퍼런스 비용을 낮췄습니다. 그 결과 미국 최상위 모델과 비슷한 성능을 훨씬 낮은 토큰 단가로 제공할 수 있게 된 겁니다.
Q. 토큰 사용량이 업무 평가 기준이 된다는 게 사실인가요?
A. 실제로 쇼피파이나 마이크로소프트 같은 기업들이 AI 활용 자체를 기본 역량으로 요구하기 시작했고, 사내 토큰 사용량 순위 대시보드를 운영하는 곳도 있습니다. 다만 이런 문화가 과해지면 필요하지 않은데도 억지로 AI를 쓰는 가짜 사용량이 늘어날 수 있다는 부작용도 있습니다.
Q. AI 기업들도 토큰 팔아서 돈 많이 버는 거 아닌가요?
A. 의외로 그렇지 않습니다. 월스트리트 저널이 확인한 내부 문건 기준으로 오픈AI는 2030년, 앤트로픽은 2028년에야 흑자 전환이 예상됩니다. 모델 훈련에 들어가는 GPU 비용과 클라우드 비용이 워낙 크기 때문에, 지금 이 토큰 경제에서 실제로 수익을 올리는 쪽은 엔비디아와 AWS·구글 클라우드 같은 컴퓨팅 인프라 기업들입니다.
결론
AI를 자주 쓰다 보니 결국 중요한 건 '토큰 많이 쓰기'가 아니라 '토큰 잘 쓰기'라는 생각이 확실해졌습니다. 어떤 모델을 어떤 작업에 쓸지, 어디서 사람 판단이 들어가야 하는지를 가려내는 능력이 앞으로의 진짜 경쟁력이라고 봅니다. 토큰 비용은 계속 내려가고 있고 선택지도 늘어나고 있으니, 지금 당장 주요 모델들의 가성비를 한 번 직접 비교해보는 것을 권합니다. 예전에 컴퓨터 활용 능력이 기본 스펙이었듯, 이제는 토큰을 효율적으로 쓰는 능력이 그 자리를 대신할 가능성이 높습니다.
동시에 토큰 하나를 처리하는 데 상당한 양의 전력과 냉각수가 소비된다는 사실도 잊지 말아야 한다고 생각합니다. 이 경제가 어디로 흘러갈지는 결국 사용자들이 어떤 기준으로 AI를 쓰느냐에 달려 있습니다.