Agent는 안전하게 행동하고 있을까? — Tool Calling Safety 평가 프레임워크

AI Agent 안전성 평가와 Tool Calling Safety

AI Agent가 단순한 대화를 넘어 실제 업무를 수행하는 시대가 오고 있습니다. 사용자의 요청을 이해하고 필요한 업무를 판단해 시스템과 연결된 도구(Tool)를 호출하면서, 상담 예약부터 정보 변경, 업무 처리까지 사람을 대신해 수행할 수 있게 됐습니다.

하지만 AI Agent에게 업무를 맡기기 위해서는 얼마나 일을 잘하는가만큼, 필요한 상황에서 안전하게 행동하는가도 중요합니다. 정상적인 요청에는 적절한 업무를 수행하면서도, 위험하거나 정책에 어긋나는 요청에는 업무 수행을 멈출 수 있어야 하기 때문입니다.

KT는 AI Agent가 실제 업무 환경에서 무엇을 할 수 있는지뿐 아니라, 무엇을 하면 안 되는지까지 판단할 수 있는지 확인하기 위한 안전성 평가 방법을 연구하고 있습니다.

이번 글에서는 KT가 AI Agent의 안전한 업무 수행을 위해 어떤 관점에서 행동을 평가하고, 실제 평가를 통해 무엇을 확인했는지 소개합니다.

AI Agent 안전성 평가는 어떻게 하나요?

기존 AI 안전성 평가는 주로 AI가 어떤 답변을 생성했는가를 중심으로 이뤄졌습니다.

하지만 AI Agent는 다릅니다. 사용자의 요청을 이해하고 필요한 업무를 판단한 뒤, 외부 시스템의 Tool을 호출해 실제 행동을 수행할 수 있습니다.

따라서 AI Agent의 안전성을 평가하려면 답변뿐 아니라 어떤 행동을 선택했는지까지 살펴봐야 합니다.

예를 들어 여권 갱신과 관련된 정상적인 요청이라면 적절한 Tool을 호출해야 하지만, 위조 여권 제작처럼 위험한 요청이라면 관련 Tool이 존재하더라도 호출해서는 안 됩니다.

AI Agent 안전성 평가는 ‘무엇을 할 수 있는가’와 함께 ‘언제 행동하고 언제 멈춰야 하는가’를 확인하는 것입니다.

Tool Calling Safety란?

AI Agent가 적절한 Tool을 선택하는 능력과, 안전하게 Tool을 호출하는 능력은 서로 다를 수 있습니다.

KT는 이를 Tool Calling Safety라는 관점에서 평가했습니다.

• 정상적인 요청 → 적절한 Tool 호출
• 정책에 어긋나는 요청 → Tool 호출을 거부

즉, 단순히 Tool을 잘 선택하는 것을 넘어 호출해서는 안 되는 상황을 판단할 수 있는지까지 확인하는 것입니다.

AI Agent가 일을 잘한다고 해서 안전하게 행동하는 것은 아닙니다.

따라서 AI Agent의 실제 업무 적용을 위해서는 업무 수행 능력과 함께 Tool 호출·거부 판단을 함께 평가할 필요가 있습니다.

실제 업무 환경을 가정해 평가했습니다

KT는 고객센터 업무 환경을 가정해 AI Agent의 Tool Calling Safety를 평가했습니다.

평가 요청은 크게 두 가지로 구성했습니다.

평가 업무는 상담 예약, 개인정보 변경, 요금제 변경, 분실·도난 신고, 요금 조회 등 고객센터에서 발생할 수 있는 업무로 구성했습니다.

또한 올바른 Tool 외에 Decoy Tool을 함께 제공해 단순히 관련성이 높은 Tool을 선택하는 것만으로는 해결할 수 없도록 설계했습니다.

세부적인 평가 데이터와 Tool 구성, 평가 환경은 기술 연구 원문에서 확인할 수 있습니다.

‘거부’에도 품질이 있습니다

AI Agent가 위험한 요청을 거부했다고 해서 모두 같은 수준의 안전성을 갖춘 것은 아닙니다.

KT는 거부 행동을 다음과 같이 구분했습니다.

• Smart Refusal: 안전 정책을 이해하고 적절하게 거부
• Lucky Refusal: 명확한 판단 없이 결과적으로 거부
• Lazy Refusal: 요청을 제대로 판단하지 않고 무조건 거부

따라서 안전성 평가에서는 거부했는지뿐 아니라 왜 거부했는지도 중요합니다.

986건의 요청으로 3개 모델을 평가했습니다

KT는 총 986건의 요청을 대상으로 Gemini 2.5 Pro, Flash, Flash-lite 모델의 Tool Calling Safety를 평가했습니다.

특히 Flash-lite는 정상 요청의 60.5%에서 Tool을 호출하지 않고 추가 정보를 요청했습니다. Tool Precision만 보면 100%였지만, 실제 업무 수행 능력은 낮게 나타난 것입니다.

반대로 Smart Refusal Rate는 Flash 47.8%, Pro 45.0%, Flash-lite 21.6%로 모델마다 차이를 보였습니다.

‘일을 잘하는 것’과 ‘안전하게 행동하는 것’은 달랐습니다

이번 평가를 통해 확인한 핵심은 Tool Calling Capability와 Tool Calling Safety가 서로 다른 능력이라는 점입니다.

업무를 정확하게 수행하는 모델이라고 해서 위험한 요청을 적절하게 거부하는 것은 아니며, 반대로 Tool 호출을 보수적으로 하는 모델이 실제 업무를 잘 수행하는 것도 아닙니다.

따라서 AI Agent를 실제 업무에 적용할 때는 단순한 모델 성능이나 답변 품질만 보는 것이 아니라, 업무 과정에서 어떤 행동을 선택하고 언제 멈추는지까지 검증해야 합니다.

AI Agent의 안전한 업무 수행을 위한 KT의 연구

이번 연구는 하나의 요청에 대한 Tool 호출 여부를 중심으로 평가했습니다.

앞으로는 여러 차례 대화가 이어지는 Multi-turn 환경, 여러 Agent와 Tool이 연결되는 Agent·Tool Orchestration, 실제 업무 수행 과정의 실행 기록과 시스템 상태까지 평가 범위를 확대할 필요가 있습니다.

또한 산업과 업무에 따라 위험 수준과 안전 기준이 다른 만큼, 업무·산업별 안전성 평가 데이터와 기준을 구축하는 것도 필요합니다.

AI Agent가 기업의 실제 업무에 안정적으로 활용되기 위해서는 무엇을 할 수 있는가뿐 아니라 언제 행동하고 언제 멈춰야 하는가까지 검증되어야 합니다. 이를 위해 KT는 실제 업무 환경에서 AI Agent의 행동을 평가하고 안전한 업무 수행을 검증하는 연구를 이어가고 있습니다.