한동안 누가누가 토큰 많이 쓰는가 서로 자랑하던 시기가 있었다. 대충 내 타임라인에서는 작년 하반기 정도부터 부쩍 자랑글이 많았던 것 같다. 토큰을 많이 쓴다는 개념은 리밋에 자주 걸리는 것과는 사뭇 다른 면이 있다. 리밋은 결국 쓸 수 있는 한계치 초과량은 쓰지 못해서 막혔기에, 할당량을 꼼꼼히 털어썼다는 의미다. 주로 정액제만 쓰는 경우다. 즉, 할당량을 가득 채워쓴다면 정액제를 쓰는 사람끼리는 매번 사용한 총량은 거의 비슷하다고 봐야한다. 아! 계정을 여러 개 돌려 쓸 수 있으니 어디까지나 1개 계정 기준이다.
반면, 토큰을 많이 썼다는 개념은 리밋 없이 무한히 썼단 의미다. 클라우드 API 호출 방식이었다면, 비용을 감당할 수 있는 상한선 또는 무제한을 쓸 수 있다. 단순히 무제한으로 쓴다면 정말 무한히 갈 수 있으니, 아마도 이 경우에는 로컬 설치형 모델이 아닐까 싶다. Llama라거나, Qwen이라거나, Gemma라거나. 그래서 토큰 사용량 자랑 자체가 오마이코드(Oh My OpenCode)와 오픈클로(Openclaw) 등장 시점과 거의 비슷하게 투영되는 듯 하다.
많이 쓴 것보다 잘 쓴 것을 따지기 시작했다
클라우드 때와 거의 일맥상통하는 느낌이다. 투자금이 빵빵한 여러 스타트업이 회사의 자랑 요소로 클라우드를 한없이 쓸 수 있게 해준다는 말을 퍼뜨리고 다녔던 때가 있다. 내가 그 이야기를 자주 접했던 시기는 2017년 전후였던 것 같다. AWS, Azure, GCP 등등에서 제공하는 메이저 기능과 신규 출시 기능을 마음껏 쓸 수 있다니! 얼마나 행복할까? 다만, 기업에서는 보통 클라우드를 적절한 예산하에 할인 가격으로 쓸 수 있게 덤핑 계약을 한다. 물론 계약 비용 자체가 몇 천 만원 단위가 아니라 몇 억 단위일 때 그렇다.
그래서 무제한으로 쓰게 해준다는 개념 안에는 철저한 감사와 권한 통제가 함께 한다. 혹은 함께 해야 한다. 용도와 목적에 맞는 적절한 기능으로 서비스를 계속 옮기고 데이터를 계속 옮기며 어느새 FinOps가 등장했다. 쉽게 말하면 비용 최적화다. 예를 들어, 한달에 1000만원까지 쓰는 계약이었다면, 이건 최솟값이다. 그런데 기업에선 이걸 최댓값으로 잡고 예산을 쓴다. 클라우드 제공자와 사용자 사이에 생기는 현실적 괴리다. 이 괴리는 기업에서 1000만원을 구석구석 닦아쓸 방법을 찾게 한다. 어차피 안 쓰면 날리는 돈 느낌이지 않은가. 물론 협상 여지에 따라 다음 계약시에 크레딧으로 전환해서 받거나 할 수는 있겠으나, 종종 이 비용을 소진할 목표로 토이 프로젝트를 하는 TF가 구성되기도 한다. 그래서 계약한 예산을 최대한 구석구석 잘 소화하고 서비스에 장애가 나지 않으면 클라우드를 잘 썼다는 개념이 된다. 클라우드 활용 관련 지식과 경험이 쌓이는 덤은 부가 이득이다.
AI에서도 얼마전부터 이 개념이 따라붙기 시작했다. “그래서 그 토큰 써서 뭐 만들었나요?”, “그래서 그 토큰 써서 서비스가 제대로 운영중인가요?” 등등. 이 개념은 로컬 설치형 AI 모델을 쓰는 이들에겐 사실 그닥 와닿지 않을테다. 본인이 가진 GPU를 탈탈 녹여가며 썼을 뿐이다. 어떤 의미로는 코인 채굴때와 비슷하다. 자신의 채굴기 GPU를 굴려서 비트코인을 채굴했을 뿐인데, 비트코인 시세에 맞춰서 이익과 손해를 따지던 떄와 정말 비슷해 보인다.
퍼블릭 AI 서비스를 최대로 쓴 경우라면, 그 역시 계약 비용 이내에서 클라우드 구석구석 닦아 쓰던 것과 거의 동일하다. 어차피 나가는 월 정액 비용의 끝까지 반복해서 썼을 뿐이다. 돈을 내는 주체나 계정 성격이 기업에서 개인으로 바뀌었을 뿐이다. 상대적으로 몇 만원 또는 몇 십만원 비용을 쓸 뿐이다. 클라우드는 클라우드 활용 관련 지식과 경험까지가 얻는 부가 이득이지만, 퍼블릭 AI 서비스는 지식 범위가 정말 넓다. 스스로 학습 커리큘럼을 잘 프롬프팅할 수 있다면, 제한 없는 카테고리 영역에 걸쳐 지식을 얻을 수 있다. 물론, 토큰을 엄청 썼다고 자랑하는 이들은 주로 콘텐츠 무한 생성 또는 개발 직군 위주였다. 제한 없는 부가 이득은 상대적으로 덜 얻어가는 부류이긴 했다.
그래도, AI 토큰을 잘 썼다는 게 꼭 서비스를 만들고 성공시켜야만 잘 쓴 걸까?
AI와 최대한 대화를 많이 하라던 사람들
나는 딱히 종량제 AI 토큰을 쓰지도 않고, 설치형 AI 모델을 쓰지도 않는다. 정액제 AI 서비스를 4~5종 결제해서 쓰지도 않는다. 그냥 제미나이, 퍼플렉시티, 깃허브 코파일럿이 전부다. 퍼플렉시티는 작년에 이벤트로 얻은 1년 이용권 기간이 이제 한달 남짓 남았으니, 연장 결제 할지 고민을 좀 해야한다. 깃허브 코파일럿은 학생 플랜을 쓰는데, 얼마전 서비스 제공 범위가 대폭 줄어들었다. 그런데 깃허브 코파일럿은 거의 활용 자체를 아직 못하고 있어서, 적절한 용도를 찾아야 한다는 심리적 압박감이 있을만큼 사용량이 극미하다.
내가 신규 서비스를 만들지 않아서 그런건지, 온갖 콘텐츠를 만들지 않아서 그런건지, 사용량이 부족한 상황이 거의 생기지 않는다. 이전엔 종종 리밋에 걸리긴 했지만, 이 또한 점점 분산 사용하면서 발생 빈도가 줄었다. 마지막으로 리밋 걸렷던 적이, 오픈클로 가지고 놀면서 캐릭터 세계관 만들던 때였던 것 같다.
분산 사용 기준은 내가 묻는 질문 카테고리나 추정 작업 난이도가 됐다. 계속 대화를 하면서 AI가 잘 하는 것과 못하는 것을 나누는 것은 무의미했다. 조금 쓰다보면, 새 버전이 나오고, 새 도구가 나왔다. 여기서 이렇게 쓰면 되겠다는 고정 사용 방식을 정해봐야, 얼마 유지 못하고 새로 나온 도구로 넘어가야 했다.
- 적당히 웹 검색을 하고, 검색 결과를 비교해야 하는 일이다 싶을 땐 고민없이 퍼플렉시티
- 플러그인을 만들거나 시스템 내부 설정값을 바꿀 땐 안티그래비티
- 단순 툴 사용법은 google.com의 AI 모드
- 작업하거나 저장한 문서 분석은 노트북LM
- 구글 워크스페이스 내부에서 검색하거나 함수 만들거나 할 땐 워크스페이스 도구별 제미나이
- 액세스 로그나 디버그 로그로 원인 찾고 해결책 적용하는 건 웹 제미나이
- 아무 생각 없고 기준도 없을 땐 마우스 커서가 제일 가까이 있는 아이콘
이미지 생성도 좀 해봐야 하는데, 이상하게 몇번 시도하다보면 만족감이 차오르지 않아 그냥 포기해버렸다. 아무튼 적당히 사용처가 점점 나눠지면서, 리밋 걸리는 일이 생기지 않고 있다.
처음 ChatGPT가 나왔을 때, 선두주자들이 늘 하던 말은 “AI와 최대한 대화를 많이 하라”였다. 그래서 그땐 겁없이 ChatGPT 월결제를 걸어놓고서, 계속 써보려고 노력했다. 하지만 답변 만족도나 퀄리티가 당연히 지금과 비교도 못할만큼 허접했다. 그냥 자연어를 알아듣고 대답한다는 수준보다 조금 더 나은 상태였지 않나 싶다.
AI와 최대한 대화를 많이 하라는 말은 결국 토큰을 많이 써보란 말과 비슷하지 않은가? 많이 쓰다보니, 스스로 알아서 용도를 찾게 됐다. 이 용도에 맞추다보니, 흔히 말하는 바이브 코딩과 에이전틱 AI 둘 다에 걸치게 됐다.
이미 오래도록 운영해 온 상용 서비스에는 에이전트가 접근하는게 무섭다. 혹시라도 뭔가 설정을 잘못 바꿔서 복구도 못하게 되면 대책이 없다. 이건 에이전틱 AI을 시키다보면, 뭐든 한번에 100% 만족하거나 장애 없는 결과를 보지 못한 탓도 있다. 그래서 상용 서비스에는 바이브 코딩으로 대응한다. 나는 실서버의 로그를 웹 제미나이나 안티그래비티에게 전달해주는 비둘기 역할을 맡는다.
맨바닥부터 완전히 새로 만드는 서비스나 페이지는 그냥 에이전틱 AI를 넘겨버린다. 프로토타입 맛만 본다. 가능성, 확장성, 사용성 모두가 확보돼야 상용 서비스로 낼 수 있지 않을까 싶다. 대충 10여건 정도 프로토타입을 만들어서 별 장애 없이 서비스를 제공하고 있지만, 가능성, 확장성, 사용성 모두를 충족한 경우를 아직 만나지 못했다.
에이전틱 AI가 정말 미래일까
토큰 사용량과 비슷할 수 있지만, 본인이 일시키는 AI 에이전트가 넘쳐나는 자랑글을 보기도 한다. 퍼블릭 AI인지 설치형 AI 모델인지는 적당히 가린채 그냥 에이전트 양만 자랑한다. 확실한 건 바이브 코딩보다 에이전틱 AI가 토큰은 훨씬 많이 소모하니, 그들은 상대적으로 많은 토큰을 쓰고 있음은 틀림 없다.
토큰 사용량은 결국 비용과 비례한다. 에이전틱 AI가 최소 토큰을 쓰면서 원하는 최상의 동작을 하게 만든다면 그게 최고의 결과가 될테다. 그런데 그게 꼭 에이전틱 AI여야만 하는지는 의문이다. 최소 토큰을 쓰게 한다는 건, 최적화된 워크플로우가 완성된 것이다. 최적화된 워크플로우에서는 적당히 룰 베이스 스크립트가 완성될 확률이 높고, 거기엔 트리거 조건을 붙이면 된다. 그럼 그건 에이전틱 AI가 여러 개가 될 일이 아니고, 에이전틱 AI 한두개가 조건 발동시 호출할 스크립트만 맞게 실행하면 된단 뜻이 아닐까.
타임라인에 이제 또 어떤 유행이 돌까? 아직 이 바닥엔 최상위 군림자가 등장하지 않았다.