[이데일리 김현아 기자] 카카오(035720)가 1550억개(155B) 파라미터 규모의 자체 대규모언어모델(LLM) ‘카나나’ 학습을 사실상 완료했다.

기존 공개한 30B 모델보다 5배 이상 크다. 카카오는 0.9B부터 155B까지 다양한 크기의 모델을 구축해 질문 난이도와 서비스 특성에 따라 골라 쓰는 멀티모델 전략을 추진한다. 모델 개발에 그치지 않고 실제 서비스를 위한 서빙 기술과 토크나이저까지 자체 구축해 AI 서비스 비용을 낮추겠다는 구상이다.

정신아 카카오 대표도 최근 “무조건적인 거대 모델 경쟁보다는 온디바이스 AI와 지능형 라우팅 기술로 추론 비용을 최대 90% 절감하는 고효율 아키텍처를 구축하겠다”며 비용 효율을 강조했다.

카카오의 자체 AI 모델 개발과 서빙 최적화를 맡고 있는 노병석(44) 성과리더는 이데일리와의 인터뷰에서 “공개돼 있는 모델 중에는 30B 정도 되는 모델도 있고, 내부적으로 준비하고 있는 건 그보다 5배 정도 더 큰 155B 스케일 모델도 거의 학습을 완료하는 단계”라며 “카카오가 어떤 작은 모델만 하는 건 아니다”라고 밝혔다. 그는 전자통신연구원(ETRI), 인텔을 거쳐 2020년 카카오브레인에 합류했다.

노 리더는 카카오의 155B 모델에 대해 “정부의 독자 파운데이션 모델 과제에서 작년 말 다른 기업들이 제출했던 모델들 스케일 규모라고 보시면 될 것 같다”며 “작년 말 업스테이지가 한 120B 스케일이었고, 저희가 155B 스케일 모델을 확보하고 있는 것”이라고 설명했다.

다만 독자 AI 파운데이션 모델 2차 경쟁에 참여한 주요 모델과 비교하면 파라미터 규모는 작다. LG AI연구원 750B, SK텔레콤 688B, 모티프 314B, 업스테이지 250B 등이 카카오보다 큰 규모다. 카카오는 절대적인 모델 크기 경쟁보다 다양한 크기의 모델을 서비스 목적에 맞게 활용하는 전략에 무게를 두고 있다.

노병석 카카오 파운데이션 모델 담당 성과리더. 사진=이데일리 방인권 기자

◇155B 카나나…모델군 다변화

카카오가 자체 모델을 키우는 배경에는 외부 AI 모델에 대한 비용 의존도를 낮추려는 전략이 있다.

노 리더는 “외부 API 콜을 하게 되면 아무래도 저희가 직접 만들고 직접 서빙하는 모델이 아니다 보니까 비용이 비쌀 것”이라며 “이 비용이 언제까지 유지될지도 모르지 않느냐”고 말했다.

이어 “갑자기 얘네가 오늘부터 2배, 아니면 10배 올립니다 할 수도 있기 때문에 가급적 이쪽으로 호출되기보다는 저희 자체 모델 패밀리에서 다 해결할 수 있게끔 할 것”이라고 밝혔다.

카카오는 질문의 복잡도에 따라 모델을 달리 호출한다. 간단한 질문은 작은 모델로 처리하고, 여행 계획 수립처럼 복잡한 요청에는 큰 모델을 활용해 답변 품질을 높이는 방식이다.

노 리더는 “저희 카카오톡은 4000만 유저를 대상으로 모델을 제공하고 서비스를 공급해야 하는데, 가장 작은 모델은 0.9B 그리고 1.3B, 3B, 8B, 9.8B, 30B, 155B까지 모델군이 굉장히 다양하다”며 “모든 사용자가 엄청 큰 모델을 필요로 하지는 않는다”고 설명했다.

이어 “굉장히 간단한 답변은 조금 작은 모델로 처리하고, ‘내일부터 제주도 여행을 갈 건데 여행 계획을 짜줘’처럼 조금 더 어려운 질문에는 큰 모델로 계획을 세워 더 좋은 퀄리티의 답변을 만들어 낸다”고 말했다.

질문의 난이도에 맞는 모델을 선택하면 가장 큰 모델을 모든 요청에 사용하는 것보다 추론 비용을 줄이면서 서비스 품질을 유지할 수 있다.

[생성형 AI로 작성]

◇서빙비 100원→10원…“AI 원가 낮춘다”

카카오는 모델을 만드는 데 그치지 않고 모델을 실제 서비스에서 구동하는 서빙 기술도 자체 개발한다.

서빙은 학습이 끝난 AI 모델을 서버와 GPU에서 실제로 실행해 사용자의 질문에 답을 생성하는 과정이다. 이용자가 많아질수록 GPU 사용량과 비용이 커지는 만큼 서빙 효율은 AI 서비스의 원가 경쟁력과 직결된다.

노 리더는 “제가 지금 맡고 있는 조직에서는 이렇게 만든 모델들을 어떻게 하면 효율적으로 최적화해서 서빙할 수 있을지까지도 저희 조직에서 다 하고 있다”며 “가령 한 번 서빙하는 데 GPU 비용이 100원이 든다면 최적화를 통해 이를 10원까지 낮춘다든가, 이런 식의 최적화 작업도 자체적으로 다 하고 있다”고 말했다.

정신아 대표가 언급한 ‘지능형 라우팅’이 질문에 따라 어떤 모델을 쓸지 결정하는 기술이라면, 노 리더가 설명한 서빙 최적화는 선택된 모델을 얼마나 적은 GPU 자원으로 돌릴지에 초점이 맞춰져 있다.

큰 모델을 확보하는 동시에 같은 모델을 적은 GPU 자원으로 돌릴 수 있는 서빙 기술까지 자체적으로 확보해 AI 서비스 원가를 낮추겠다는 전략이다.

노병석 카카오 파운데이션 모델 담당 성과리더. 사진=이데일리 방인권 기자

◇토크나이저도 자체 개발…한국어 효율 1.6배

카카오는 AI가 문장을 이해하고 처리할 수 있도록 문장을 작은 단위인 ‘토큰’으로 쪼개는 토크나이저(tokenizer)도 직접 개발했다.

토크나이저는 사람이 입력한 문장을 AI 모델이 계산할 수 있는 단위로 변환하는 일종의 ‘문장 분해기’다. 같은 문장이라도 어떤 토크나이저를 사용하느냐에 따라 필요한 토큰 수가 달라질 수 있다. 대규모 AI 서비스에서는 토큰 수가 많아질수록 연산량과 비용도 증가한다.

노 리더는 “카나나 토크나이저는 한국어에 대한 효율이 가장 좋음을 수치적으로도 확인했다”며 “글로벌에서 많이 사용되고 있는 공개 모델 중 하나인 알리바바의 큐웬(Qwen) 시리즈와 비교했을 때 저희 카나나 토크나이저가 한국어에 대해서 1.6배 더 효율성이 높다”고 밝혔다.

이어 “동일한 의미를 가지는 문장을 표현하기 위해 다른 모델을 쓰면 1.6배 더 많은 토큰을 써야 한다는 뜻”이라며 “저희처럼 수천만 유저로 하게 되면 비용이 60%나 더 증가하는 셈인 만큼 자체 토크나이저 개발을 통한 효율화가 필수적”이라고 덧붙였다.

카카오가 모델뿐 아니라 토크나이저까지 자체 개발하는 것도 대규모 서비스에서 발생하는 AI 비용을 낮추기 위한 작업이다.

출처=카카오

◇API 비용 낮추고…온디바이스로 서빙비까지 줄인다

카카오는 온디바이스 AI도 활용한다. 서버가 아닌 스마트폰에서 일부 AI 연산을 처리해 서버의 GPU 사용량을 줄이고 개인정보 보호에도 대응한다는 전략이다.

노 리더는 “온디바이스에서 동작하는 모델은 개인의 자원을 사용하기 때문에 카카오 입장에서는 서빙 비용, 즉 서비스 비용이 제로”라며 “동시에 민감한 프라이버시 이슈도 원천 해결된다”고 말했다.

그는 “고객의 대화 데이터는 서버로 들어가지 않고 온디바이스 모델에서 대화 맥락을 바탕으로 개인화된 정보를 디바이스에 갖고 있다가 ‘내일 강남역에서 만날까’라는 대화 중 장소를 추천하는 형태”라며 “단말 모델이 해결하기 어려운 복잡한 질문만 개인정보를 다 지운 채 서버로 던져 맥락을 처리하고 답변을 주는 하이브리드 방식을 취하고 있다”고 설명했다.

카카오는 온디바이스와 서버 AI를 결합해 개인정보는 기기에 두면서 복잡한 AI 기능은 서버 모델로 처리하는 하이브리드 AI를 구현한다는 구상이다.

노병석 카카오 파운데이션 모델 담당 성과리더. 사진=이데일리 방인권 기자

◇카톡 대화 맥락 활용…개인화 AI 에이전트로

카카오는 카카오톡에 쌓인 대화 맥락을 활용해 개인화된 AI 에이전트로 확장한다는 구상이다.

노 리더는 “챗GPT나 클로드, 제미나이와 싸워서 이기겠다는 생각을 이미 할 수가 없을 정도로 자본의 갭이 커졌다”면서도 “우리는 챗GPT랑 하는 대화와는 완전히 다른 지인·가족들과의 대화 데이터가 카카오톡에 쌓여 있다. 이런 자료를 바탕으로 가장 개인화된 에이전트 AI 서비스가 가능한 게 바로 카카오”라고 강조했다.

이어 “누구에게나 동일한 답변을 해주는 AI가 아니라 나를 너무 잘 알고 있는 AI라면, 상대에 따라 말투를 달리하거나 나의 말투까지 활용할 수 있다”며 “다른 어떤 글로벌 경쟁자도 하지 못하는 게 저희는 가능할 것”이라고 말했다.

에이전트 AI는 답변을 넘어 실제 행동까지 수행한다. 노 리더는 “기존 모델이 단순 답변을 주는 형태였다면 에이전트 AI는 ‘내가 이렇게 찾았고 수행하면 될까요? 물건 결제할까요?’처럼 사용자의 확인을 거쳐 결제까지 행동으로 완성하는 것”이라고 설명했다.

카카오톡이라는 생활 플랫폼 안에서 사용자의 대화 맥락을 이해하고, 개인별 상황에 맞는 답변과 행동을 제공하는 AI를 구현하겠다는 구상이다.

◇카나나 2.6 이어 3로…추론·에이전트 강화

카카오는 카나나 고도화도 이어간다. 오는 10월 ‘if kakao 2026’ 전후로 카나나 2.6 확보를 마무리하고, 카나나 3에서는 아키텍처 자체를 바꾼다는 구상이다.

노 리더는 “카나나 2.6은 2.5보다 훨씬 더 좋은 성능을 만들겠다는 첫 번째 목표가 있고, 카나나 3로 넘어가면 모델 아키텍처나 이런 게 완전히 또 바뀌게 된다”며 “컨텍스트 랭스(문맥 처리 길이)를 엄청나게 길게 늘린다든가 모델 구조를 개선해 더 강한 추론과 에이전트 능력을 계속 키우려 신경 쓰고 있다”고 예고했다.

노 리더가 그리는 카카오의 AI는 이용자가 AI를 의식하지 않아도 일상에서 자연스럽게 작동하는 형태다. 155B 대형 모델부터 온디바이스 AI까지, 카카오는 모델의 크기뿐 아니라 AI를 실제로 얼마나 효율적으로 쓰고 개인화할 수 있느냐에 승부를 걸고 있다.

© 이데일리 & 이데일리TV - 상업적 무단전재 & 재배포 금지