"금융 문서에 최적화된 RAG 구축으로 Agent의 답변 품질을 높였어요"

고객 상황 및 과제

KT는 기구축된 RAG 성능 개선과 함께 빠르게 변화하는 금융AX 시장에 대한 컨설팅을 진행했습니다. 기존 인프라를 기반으로 Baseline 성능을 먼저 가시화했고, 고객 인터뷰를 통해 검색 정확도(Recall@5)는 물론 속도와 사용성 개선에 대한 Needs를 추가로 파악할 수 있었습니다. trade-off 관계인 정확도와 속도를 모두 만족시키기 위해 모델별 리서치를 진행했고 RFP에는 없었지만, AI Search를 새롭게 구축하는 과제를 새롭게 수립해 이행했습니다. 

적용 솔루션 및 접근 전략

KT는 HTML, PDF, Word, PPT, Excel 등 문서 유형에 따라 최적화된 멀티 파서와 멀티 청커를 온프렘으로 개발하였고, 문서별 LLM 요약 정보를 추가해 문서 정보를 보다 더 효과적으로 검색할 수 있도록 RAG 성능을 개선했습니다. 또한 KT전략적파트너쉽인 Microsoft ISD와의 협력을 통해 AI Search도 새롭게 구축했고, 실제 금융 문서 대상으로 Agent 성능 비교 및 고도화를 진행했습니다. 이 밖에 프로젝트를 수행하면서 고객사 Needs에 맞춰 혁신금융컨설팅 세미나를 진행했으며, 추가 Needs를 발굴해 AI Agent 답변 길이도 개선해서 검색 정확도는 물론, 속도와 사용성 모두를 만족하는 이행 결과를 도출했습니다.

도입 효과

고객사는 기구축된 인프라에서 다양한 금융 문서의 특성에 맞춰 정보를 처리하고 검색할 수 있는 RAG 체계 구축은 물론, AI Agent 성능을 보다 더 고도화할 수 있게 됐습니다. 또한 Agent의 답변 품질을 지속적으로 검증하고 개선할 수 있는 LLM as a Judge 기반 평가 체계도 확보해 Release 프로세스에 활용하고 있습니다. 해당 프로젝트 성과는 금융 AX Reference가 되었고 이후 카드, 은행 등 다양한 후속 사업으로 협력이 확대되었습니다.