이앤아이 WithENI  로고

홈으로
ENI Media
SMART News
ENI Media

ENI Media


AI 500개를 한곳에서 고른다…KT 토큰팩토리, 구독보다 관리가 중요해진 이유

조회 298

2026-10-27 12:03

모델이 많아질수록 ‘성능’보다 ‘선택·비용·보안’을 한 화면에서 관리하는 체계가 중요해집니다.

기업의 AI 활용이 늘면서 ‘좋은 모델 하나’보다 ‘여러 모델을 어떻게 운영하느냐’가 더 중요해졌습니다.
KT는 500개+ 모델을 한곳에서 쓰고 사용량·비용·결제를 통합 관리하는 ‘토큰팩토리’를 공개했습니다.
출시 후에는 자동 라우팅, 토큰 절감, 데이터 처리 경로 등 실무 기준으로 효과를 검증하는 게 핵심입니다.

안녕하세요. 디지털에이전시 이앤아이입니다.

요즘 조직에서 AI를 쓰는 방식이 빠르게 바뀌고 있죠. 예전엔 ‘어떤 모델이 제일 똑똑하냐’가 관심사였다면, 이제는 부서마다 다른 서비스를 쓰면서 이용량과 비용이 흩어지는 문제가 더 크게 느껴집니다. 간단한 요약이나 초안 작성에도 고성능 모델을 습관처럼 쓰면, 월말에 비용이 예상보다 커지는 일도 생기고요.

KT가 공개한 AI 플랫폼 ‘KT 토큰팩토리’는 바로 그 지점을 겨냥합니다. 국내외 500개 이상의 AI 모델을 한 플랫폼에서 이용하고, 모델 선택부터 사용량 확인, 비용 관리와 결제까지 묶어 제공하겠다는 구상인데요. 발표는 10월 27일, 정식 출시는 30일로 예고됐습니다. 여기서 중요한 건 ‘공개’와 ‘정식 출시’, 그리고 실제 이용 가능 시점이 다를 수 있다는 점입니다. 발표 당일부터 모두가 같은 조건으로 쓸 수 있다는 의미로 받아들이면 혼동이 생길 수 있어요.

구성도 흥미롭습니다. KT는 글로벌 AI 모델 유통 플랫폼 ‘오픈라우터’와 공식 파트너십을 맺고, 오픈라우터의 모델 연결에 KT 자체 추론 서비스를 결합하겠다고 했습니다. 쉽게 말해, 모델 선택지를 넓히되 기업 입장에서는 ‘여러 곳과 따로 계약하고 관리하는 번거로움’을 줄이겠다는 방향이죠. 초기에는 여러 모델을 동시에 쓰는 기업 고객 중심으로 시작하고, 이후 개인 고객으로 확대할 계획이라고 합니다.

실무자가 특히 눈여겨볼 기능은 ‘오토 모델 라우터’입니다. 질문의 유형과 난도, 필요한 품질과 비용 등을 고려해 모델을 고르는 방식인데요. 항상 가장 큰 모델을 쓰는 대신, 업무 요구에 맞는 모델을 추천하거나 자동 선택해 비용 대비 효율을 높이려는 접근입니다. 결국 조직은 “정답률”만이 아니라 “작업별 비용과 운영 방식”까지 함께 평가하게 됩니다.

또 하나는 프롬프트 압축 기술입니다. 한국어 질문에서 불필요하게 반복되는 표현을 줄여 입력 토큰을 아끼는 방식으로, KT는 자체 기술로 토큰 사용량을 최대 25% 줄일 수 있다고 설명했습니다. 다만 ‘최대’ 수치라는 점이 포인트예요. 모든 업무에서 일괄적으로 25% 절감이 보장되거나, 요금이 자동으로 내려간다는 뜻은 아닙니다. 실제로는 업무 유형, 프롬프트 습관, 모델별 과금 구조에 따라 체감 효과가 달라질 수 있겠죠.

AI 모델 선택과 비용 통합 관리를 표현한 AI 대표 이미지

보안도 빼놓을 수 없습니다. KT는 국내 데이터센터에서 자체 모델과 글로벌 오픈웨이트 모델 등을 구동하는 추론 서비스를 제공하고, 개인정보나 유해 표현을 점검하는 가드레일을 적용한다고 밝혔습니다. 다만 여러 모델을 연결하는 구조인 만큼, ‘무조건 모든 요청이 국내에서만 처리된다’고 단정하긴 어렵습니다. 기업은 실제 선택한 모델의 처리 경로, 데이터 보관 정책, 계약 조건을 별도로 확인하는 게 안전합니다.

결국 토큰팩토리가 던지는 메시지는 단순합니다. AI의 수가 늘수록 중요한 건 ‘모델 리스트’가 아니라 ‘관리 기준’이라는 것. 어떤 업무에 어떤 모델을 쓰고, 결과를 누가 검토하며, 이용량과 비용을 어떤 단위로 추적할지 기준이 있어야 통합 플랫폼의 가치도 제대로 판단할 수 있습니다. 출시 이후에는 업무별 품질과 지연시간, 총비용을 비교해보고, 민감정보 입력 정책까지 함께 점검하는 과정이 필요하겠네요.

이앤아이 관점에서 보면, 앞으로의 경쟁은 모델 성능 자체보다 활용·연결·운영 효율로 더 빠르게 이동할 가능성이 큽니다. 조직이 자주 하는 작업을 기준으로 ‘통합 관리가 실제로 얼마나 편해지는지’를 검증해보는 것, 그게 가장 현실적인 도입 체크리스트가 될 겁니다.

이앤아이와 함께 더 나은 웹 환경을 만들어 나가요!

#AI플랫폼 #토큰관리 #AI비용관리 #모델라우팅 #오픈라우터 #프롬프트압축 #가드레일 #기업AI운영 #이앤아이 #디지털에이전시 #ENIMedia #AI전문기업