거대언어모델(LLM) | 토큰 최적화 해서 프롬프팅 하자

LLM 토큰은 AI의 언어 조립 블록이라고 할 수 있어. 공백까지 토큰으로 계산되고 답변 생성 비용이 질문보다 비싸. 미래엔 문맥 이해 토큰으로 진화해 더 똑똑해질거 같고 이제는 토큰 관리기술이 핵심!

LLM 토큰! 막 연산 단위 같은 거라고 하면 머리에 쥐 나지? 걱정 마. 우리 일상에서 찾아볼 수 있는 예로 차근차근 설명해볼게.

토큰 개념 생성 이미지 / ChatGPT

1. 토큰 = 레고 블럭 같은 존재

인공지능이 글을 만들 때는 레고 조각을 조립하듯 토큰을 연결해. "안녕"이라는 말도 AI 눈에는 [안][녕]으로 분해될 때가 있어. 영어 단어 'hello'는 보통 한 토큰이지만, 'hippopotamus'처럼 긴 단어는 [hip][pop][otamus]처럼 쪼개지기도 한다고. 마치 우리가 긴 문장을 띄어쓰기하듯이 말이야.

근데 여기서 재밌는 점. 공백도 토큰으로 처리돼. "사과주스"를 띄어쓰기 안 하면 한 토큰인데, "사과 주스"라고 쓰면 [사과][ ][주스]로 3토큰이 돼. 이게 다 모델마다 토큰화 규칙이 달라서 그런 거야. GPT랑 클로드가 같은 문장을 다른 갯수로 셀 수 있다는 소리.

2. 토큰 제한의 현실적 영향

메신저같은 톡으로 500자 보내는 것과 5,000자 논문 초록 쓰는 건 토큰 소비가 천지차이야. 내가 챗GPT에 "요즘 날씨가"까지 치면 AI는 다음 단어로 '좋다'를 예측하잖아? 이때 이미 4토큰을 쓴 거야. 그런데 만약 "지난 10년간 기후변화로 인해..."로 시작하면 토큰이 순식간에 증발해.

실제 사례를 들자면, 주변 지인 중 한사람이 AI로 소설 쓸 때 3,000토큰 제한에 걸려서 뒷부분이 잘려나갔대. 결국 장면을 쪼개서 여러 번 생성해야 했는데, 이러면 긴 맥락이 유지되지 않아서 캐릭터 이름이 바뀌는 해프닝도 있었다고. 토큰 제한은 창작자들의 발목을 잡는 존재이기도하고. 이런 토큰 처리량을 계속 향상시키는게 또 LLM 개발사의 기술 차별력이자 경쟁력이기도 해.

3. 돈 문제와 직결되는 토큰 경제학

토큰은 그냥 기술 용어가 아니야. 진짜 돈처럼 계산된다고 봐. GPT-4로 500토큰 생성하는 데 약 0.01$ ~ 0.06$인데, 하루에 100번 질문하면 x 100 하면 계산되지. 월급날에 술 한 잔 값이 공기 중으로 사라지는 셈이지. 기업에서 API 쓰면 이게 어마어마하게 불어나. 100만 토큰당 30달러면, 1억 토큰 처리하면 3,000달러. 진짜 현금 흡혈귀 수준이야.

근데 여기서 반전. 입력 토큰보다 출력 토큰이 3배 비싸. ;;;  질문을 길게 하면 답변도 짧게 받아야 이득이라는 역설이 생겨. "간단히 요약해줘" 옵션이 있는 진짜 이유가 여기 있고 습관을 들이는걸 추천해. ;;

4. 토큰 최적화 전략

고수들은 이렇게 요령껏 쓰며 토큰을 최적화햐서 사용하고 있어. 첫째, 반복되는 표현을 압축하는 기술. "매우 매우 매우 중요합니다"를 "중요"로 바꾸면 토큰 6개→3개로 절약. 둘째, 약어 활용. 'Artificial Intelligence'를 'AI'로 쓰면 토큰 2→1개. 이게 쌓이면 차이 어마어마해.

5. 미래 예측: 토큰의 진화

5년 뒤엔 상황이 완전 달라질지도. 지금은 단어 단위지만, 앞으로는 의미 단위 토큰이 등장할 거라는 전망이 있어. '사과'라는 단어가 과일인지 회사명인지 문맥에 따라 다른 토큰으로 처리되는 시대가 온다면? 그땐 지금보다 훨씬 정확한 답변을 기대할 수 있겠지.

근데 이런 발전에도 한계는 존재해. 인간의 언어가 가진 뉘앙스를 100% 담아내는 건 영원히 불가능할지도 몰라. 그럼에도 불구하고, 토큰 체계는 점점 우리의 사고 방식을 닮아갈 거야. 어쩌면 미래 AI는 한국어의 높임말을 구분하는 특별 토큰까지 개발할지도 모르잖아?

이상, 토큰에 대한 설명이었어~.


#AI #토큰 #LLM #인공지능 #텍스트생성 #프롬프트
#토큰최적화