Function Calling 기반의 AI 에이전트의 정확성 실험 #1

2024-11-09
tony

지난번 글에서는 RAG 기반 AI 에이전트 테스트의 문제점을 살펴보았습니다. 이를 대안으로, 우리는 함수 호출(Function Calling) 방식을 활용한 AI 에이전트를 구현했습니다. 이번에는 셀리즈의 다양한 데이터에 대해 AI 에이전트가 어떻게 응답하는지 실험을 통해 확인해보려 합니다. 💡

셀리즈 데이터, AI가 이해할 수 있도록 정의하다 📊

셀리즈 서비스는 다양한 기능을 제공합니다:
유형자산 관리, 소프트웨어 자산관리, 도메인/인증서 관리, 구독/렌탈 관리, 조직도 정보 등등.

이 모든 데이터를 AI가 활용할 수 있도록 백엔드 API를 정의했습니다.

  • API 타이틀
  • 세부 정보
  • 파라미터 등

이를 상세히 설계해 정확한 응답을 생성할 수 있도록 지속적으로 튜닝을 진행했습니다. 🛠️
그 과정에서 몇 가지 문제점을 발견했고, 일부는 완전히 개선되었습니다. 이제 실험을 통해 그 결과를 살펴보겠습니다.

1단계: 명확한 키워드로 단순한 데이터 조회 🗂️

먼저, 정확한 키워드로 데이터 조회를 시도했습니다.
조직도에서 나를 인식하는지 확인해보았는데요, AI는 조직도와 개인 사용자 접속 정보를 기반으로 저의 역할을 가져왔습니다.

자산 현황 요약 🖥️

유형자산 현황 요약 요청을 해보았습니다.

  • 종류별, 상태별 자산을 정확히 요약해주었고, 현재 자산 목록과 비교해도 일치했습니다.
  • LLM이 아니라 펑션콜링으로 데이터 계산을 맡기니, 훨씬 정확한 결과가 나왔습니다. ✅

다음은 소프트웨어 사용현황입니다. 데이터가 많아 답변에 시간이 걸리긴 했지만 정확한 대답을 만들어 냈습니다. 부서별, 카테고리별 현황이 잘 요약되었습니다.

2단계: 불명확한 키워드로 단순 데이터 조회 🕵️‍♂️

이번에는 더 모호한 질문을 던져보았습니다.
대표님들이 자주 하는 질문 중 하나죠: “오래된 노트북 있나?”
AI는 "2024년 기준, 오래된 노트북은 없다"고 답변했습니다.

"우리 월 렌탈 비용이 얼마나 나가지?"" 이런 질문을 경영지원실에서 받으면 정말 당혹스럽습니다.

엑셀파일이나 통장을 들고다니는게 아니기 때문입니다. 그런데 AI에이전트는 정확하게 답변합니다. 계산에서는 달러를 한화로 바꾸지는 못했네요. 총 가격에서는 조금 실수하는 모습을 보였습니다. 🔍

3단계: 불명확한 키워드로 복잡한 데이터 조회 🧠

다음으로 던진 질문은 “우리 회사 개발팀은 집중도가 높은 편인가?”
AI는 관련 데이터를 분석하여 개발팀의 집중도가 높다는 결론을 도출했습니다.
대표님이 개발자가 아니더라도, AI는 지표를 기반으로 명확한 의견을 제공합니다.

마지막으로, **“커뮤니케이션 오버헤드”**라는 키워드를 던졌습니다.

  • 협업 도구 사용량을 분석하여 과도한 커뮤니케이션이 발생하고 있다는 의견을 제시했습니다.

정말 똑똑하죠? 🤖

Function Calling, AI의 새로운 패러다임 💼

셀리즈 AI 에이전트는 Function Calling을 기반으로 기업 데이터를 학습하지 않습니다.
사용자의 질문 의도를 파악하고, 적절한 API를 호출해 전략적인 의견과 판단을 제공합니다.
이를 통해 기업은 더 깊이 있는 인사이트를 도출하고, AI와 함께 전략적 의사 결정을 내릴 수 있습니다. 🌟

셀리즈 솔루션이 궁금하신가요?

지금 바로 아래 버튼을 눌러보세요!
감사합니다. 😊

셀리즈 서비스가 궁금하다면?