지난 글(Function Calling 기반의 AI 에이전트의 정확성 실험 #1)에서는 Function Calling을 적용한 첫 번째 실험을 소개했습니다. 당시에는 기업 자산 리스트 전체를 불러와 AI가 직접 검색하는 구조를 사용했으나, 토큰 사용량 급증과 데이터 확장성의 한계라는 문제에 직면했습니다.
이에 두 번째 실험에서는 접근 방식을 달리했습니다. 초기에는 룰베이스(Rule-Based) 라우팅으로 개선을 시도했지만, 궁극적으로는 툴체인(Tool Chain) 구조로 전환하면서 정확성, 확장성, 그리고 사용자 경험을 동시에 높일 수 있었습니다. 이번 글에서는 그 과정과 주요 시사점을 공유합니다.
1. 첫 번째 실험의 한계
초기 구조는 단순했습니다.
사용자가 질문 → 전체 자산 리스트 호출 → AI가 내부 검색 → 결과 반환
그러나 실제 환경에서는 다음과 같은 문제점이 뚜렷하게 드러났습니다.
토큰 사용량 폭증: 자산 데이터가 많아질수록 입력 길이가 기하급수적으로 늘어나 비용이 증가
데이터 크기 제약: 약 500개 수준의 자산까지만 정상 작동, 그 이상은 처리 불가
확장성 부재: 수천~수만 개 자산을 관리해야 하는 기업 환경에서는 적용 불가능
즉, 데이터는 맞더라도 답변 품질과 구조적 효율성이 떨어져 현업에 적용하기엔 한계가 있는 방식이었습니다.
2. 룰베이스(Rule-Based) 접근
2-1. 개념
룰베이스 접근은 사람이 사전에 정의한 규칙에 따라, AI가 특정 API를 호출하도록 강제하는 방식입니다.
“누구의 자산이 뭐야?” → 자산 검색 API 호출
“지난 분기 비용 절감 효과 알려줘” → 감가상각 API + 사용량 API 호출
2-2. 장점
규칙이 명확해 예측 가능성이 높음
단순 질의응답 환경에서는 안정적 성능 제공
2-3. 한계
질문 패턴 증가 시 관리 복잡도 상승
새로운 기능이 추가될 때마다 규칙을 지속적으로 보완해야 함
AI는 규칙을 수행하는 역할에 그치며, 스스로 판단하거나 조합하지 못함
따라서 룰베이스는 문제 해결에는 일정 부분 기여했으나, 복잡성이 높아지고 확장성 면에서 뚜렷한 제약을 보였습니다.
3. 툴체인(Tool Chain) 접근
3-1. 개념
툴체인은 AI가 사용자의 질문을 이해한 뒤, 스스로 적합한 Tool(Function)을 선택 · 호출하고, 응답을 가공하여 최종 답변을 구성하는 방식입니다. 사람이 일일이 규칙을 설계하지 않아도 AI가 도구를 활용해 문제를 해결할 수 있습니다.
