24년 말에 GPT가 추론을 도입하면서 주요 LLM들이 서로 추론 기능을 도입하기 시작해.
추론을 단순하게 설명하자면 "답변하기 전에 빠진 자료는 없는지 다시 확인 해봐"를 자동으로 입력한다고 생각하면 돼
즉 질문은 한번 했는데 llm은 스스로 셀프 질문을 하며 몇번을 돌고 있는 거지.
놀랍게도 이게 효과가 있었고 너도 나도 추론 기능을 도입하기 시작한 게 작년 트렌드야.
예전에는 인간의 한계로 토큰 사용량을 일정량 이상 넘기 힘들었는데 llm이 자가발전하기 시작하니 토큰 사용량이 기존의 인간이 입력할 수 있는 한계를 넘기 시작했어.
옛날에 어떤 사람의 토큰 사용량이 2K였다면 지금은 llm이 혼자 여러 번씩 셀프 질문하면서 몇배씩 뻥튀기가 되는 상황이 된거야.
그 상태에서 AI를 활용하겠다며 사용 인원과 사용처도 배로 늘려버렸으니 토큰 사용량이 수십배 수백배로 뛰어오른 거지.
추론을 대체할 획기적인 방법이 없다면 이대로 토큰 사용량은 크게 변하는 게 없을 거야.
바꿔말하면 지금처럼 인건비와 비교했을 때 미묘한 가격에서 사람과 경쟁하게 될 거란 거지.
토큰 값 더 올라서 내 인건비도 올랐으면 좋겠다.
싸다 휴먼! LLM보다 더!