사내 AI 에이전트 및 지식 자산, 단일 통합 플랫폼 ‘카터(Carter)’로 일원화
모델 티어링·프롬프트 캐싱 등 고도화…AI 처리 절반은 경량 모델로 소화
강병규 CTO “카터 통해 안전한 AI 활용 기반 마련…비용 절감 넘어 품질까지 관리”
‘2400만이 찾은 대표 환급 플랫폼’ 삼쩜삼을 운영하는 자비스앤빌런즈(Jobis&Villains, 대표이사 김범섭)가 사내에 흩어져 개별 운영되던 AI 에이전트를 통합 관리하는 자체 플랫폼 ‘카터(Carter)’를 구축하고, AI 운영 비용을 최대 45% 절감했다고 27일 밝혔다.
‘카터’는 사내 AI 에이전트 개발과 운영에 필요한 비용을 관리 및 모니터링하고 보안과 개인정보 보호 기능을 공통으로 제공하는 AI 통합 플랫폼이다. 에이전트별로 기능을 개별 구축할 필요 없이 검증된 공통 라이브러리와 인프라를 즉시 활용해 중복 개발을 방지하고 일관된 AI 운영 환경을 확보할 수 있다. 현재 삼쩜삼Q, 삼쩜삼 앱 AI 에이전트 등 삼쩜삼 서비스와 사내 업무 곳곳에서 활용되는 8개 AI 에이전트가 카터 관리 아래 운영되고 있다.
삼쩜삼은 카터를 통해 AI 운용 비용을 크게 절감했다.
답변 조합 및 생성에는 고성능 모델을 유지하되 의도 분류·안전 판정 같은 보조 호출은 경량 모델로 분리하는 ‘모델 티어링(Model Tiering)’을 통해 전체 호출의 약 50%를 경량 모델로 처리해 LLM(거대언어모델) 호출비용을 약 45% 낮췄다. 또한 반복되는 프롬프트를 저장해뒀다가 재사용하는 ‘프롬프트 캐싱(Prompt Caching)’을 플랫폼 표준으로 적용해, 캐시가 재사용되는 구간에서 호출비용을 약 43% 절감했다.
불필요한 검색 로직을 단축하고 클라우드 간 자동 장애 전환(Failover) 시스템으로 서비스 다운타임도 최소화했다. 카터를 거치는 모든 AI 호출은 중앙에서 추적·관측되며, 개인정보 자동 비식별 및 프롬프트 인젝션 공격 차단 등의 보안기능을 공통 프레임워크로 제공한다.
나아가서는 사내에 흩어진 지식 자산을 단일 창구에서 검색·질의하는 이른바 ‘지식 오케스트레이터(Knowledge Orchestrator)’와 AI 에이전트의 답변 품질을 정량적으로 측정하는 평가 체계를 구축하고 있다. 카터가 제공하는 AI 에이전트 답변의 정확성과 신뢰도를 지속적으로 고도화해 나갈 계획이다.
자비스앤빌런즈 강병규 최고기술책임자(CTO)는 “사내 AI 에이전트와 지식 자산을 카터로 통합해 AI 운영 효율을 높이고 안전한 활용 기반을 마련했다“며 “비용 절감에 그치지 않고 답변 품질까지 측정하고 관리하는 체계를 갖춰, 구성원 누구나 안전하게 AI 에이전트를 만들고 운영할 수 있는 환경으로 확장해 나갈 것“이라고 말했다.