신뢰할 수 있는 법률 AI는 어떻게 만들어지는가 : 한국어 Legal LLM 개발기

법률 LLM 개발에서 확인한 도메인 AI의 조건

AI가 기업과 기관의 실제 업무에 빠르게 활용되면서, 법률·공공·금융·의료·제조 등 전문성이 필요한 영역에서도 도메인 특화 AI에 대한 관심이 높아지고 있습니다.

하지만 전문 업무에 AI를 적용할 때는 단순히 해당 분야의 질문에 얼마나 잘 답하는지만으로 충분하지 않습니다. 전문 지식을 정확하게 이해하는 것은 물론, 기존의 언어 이해와 추론 능력을 유지하고, 답변의 근거와 결과를 신뢰할 수 있는지도 함께 확인해야 합니다.

특히 법률과 같이 작은 오류도 실제 업무와 의사결정에 영향을 줄 수 있는 영역에서는 전문성과 신뢰성을 함께 갖춘 AI를 어떻게 만들고 검증할 것인가가 중요한 과제가 됩니다.

KT는 이러한 관점에서 범용 AI 모델을 기반으로 한국어 Legal LLM을 개발하고, 전문성·범용성·신뢰성 측면에서 성능을 검증했습니다.

이번 글에서는 법률 LLM 개발 사례를 통해, 특정 산업과 업무에 AI를 적용할 때 어떤 요소를 함께 고려해야 하는지 살펴봅니다.

전문 업무 AI는 왜 일반적인 AI와 달라야 할까요?

전문 업무에서는 단순히 그럴듯한 답변을 만드는 것보다 정확한 지식과 근거를 바탕으로 판단하는 것이 중요합니다.

예를 들어 법률 질문에 올바른 결론을 제시하더라도 존재하지 않는 판례나 잘못된 법령을 근거로 제시한다면 실제 업무에서는 활용하기 어렵습니다.

반대로 오류를 줄이기 위해 AI가 충분히 답변할 수 있는 질문까지 지나치게 회피한다면 업무 활용성은 떨어질 수 있습니다.

따라서 전문 업무에 AI를 적용하기 위해서는 해당 분야의 지식을 학습하는 것과 함께,

• 전문 업무를 정확하게 수행하는 능력
• 기존의 언어 이해·추론 능력
• 업무에 활용할 수 있는 신뢰성과 안전성

을 함께 고려해야 합니다.

신뢰할 수 있는 도메인 AI는 무엇을 평가해야 할까요?

KT는 Legal LLM의 성능을 하나의 점수로 판단하지 않고 전문성, 범용성, 신뢰성·안전성의 세 가지 관점에서 평가했습니다.

이는 특정 분야의 성능을 높이는 과정에서 다른 능력이 떨어질 수 있기 때문입니다.

전문 AI의 품질은 특정 벤치마크 점수 하나가 아니라, 실제 업무에 필요한 여러 역량을 얼마나 균형 있게 확보했는지를 함께 살펴봐야 합니다.

전문성은 데이터에서부터 시작됩니다

도메인 AI의 성능을 높이기 위해서는 데이터를 많이 학습시키는 것만으로는 충분하지 않습니다.

KT는 법률 전문가와 협업하고 공개 법률 데이터를 정제하는 한편, 실제 법령과 판례를 근거로 한 데이터를 구축하고 검증하는 과정을 통해 법률 지식과 추론에 적합한 학습 데이터를 마련했습니다.

특히 합성 데이터를 활용할 때도 AI가 임의로 법령이나 판례를 생성하도록 하는 것이 아니라, 실제 법령과 판례를 근거로 질문과 답변을 만들고 원본 정보와 비교·검증하는 방식을 적용했습니다.

결국 전문 AI의 품질을 높이기 위해서는 어떤 모델을 사용하는가뿐 아니라 어떤 데이터를 어떤 기준으로 구축하고 검증하는지도 중요합니다.

이 원칙은 법률뿐 아니라 산업별 전문 지식과 업무 기준이 필요한 다양한 도메인 AI에도 적용될 수 있습니다.

전문성을 높이면서 기존 AI의 능력은 어떻게 지킬까요?

도메인 데이터를 집중적으로 학습하면 해당 분야의 전문성은 높아질 수 있지만, 기존 모델이 가지고 있던 일반적인 지식이나 추론 능력이 떨어지는 Catastrophic Forgetting이 발생할 수 있습니다.

KT는 법률 전문성을 높이는 동시에 범용 능력의 변화를 함께 평가하며 학습 전략을 조정했습니다.

그 결과 최종 모델에서는 법률 전문성을 높이면서도 한국어·일반 지식 및 추론, 장문 문맥 이해, 지시 이행 등 범용 능력을 유지하는 방향을 확인했습니다.

즉, 도메인 AI 개발에서는 무엇을 더 학습할 것인가뿐 아니라 기존의 어떤 능력을 유지해야 하는가도 함께 고려해야 합니다.

법률 AI 개발이 다른 산업에도 주는 시사점은 무엇일까요?

법률 LLM 개발 사례에서 확인할 수 있는 핵심은 전문 AI를 만드는 과정 자체가 산업별로 달라질 수 있지만, 전문성을 확보하고 신뢰성을 검증하는 기본 원칙은 확장될 수 있다는 것입니다.

예를 들어 공공 분야에서는 정책과 행정 절차에 대한 정확한 이해와 함께 공공서비스의 기준과 규정을 반영해야 합니다. 금융에서는 금융 규제와 상품 지식뿐 아니라 정확한 판단과 설명 가능성이 중요할 수 있습니다. 제조에서는 산업별 업무 지식과 현장 데이터를 이해하고 실제 업무 프로세스와 연결할 수 있어야 합니다.

따라서 산업별 AI를 도입할 때는 단순히 범용 AI에 관련 데이터를 추가하는 것을 넘어,

① 어떤 산업·업무 지식이 필요한지 정의하고
② 신뢰할 수 있는 데이터를 구축하며
③ 전문성과 범용성의 균형을 검증하고
④ 실제 업무 환경에서 안전하게 활용할 수 있는지 평가하는 과정이 필요합니다.

법률 LLM 개발은 이러한 도메인 특화 AI 구축과 검증의 한 사례라고 볼 수 있습니다.

기업과 기관이 도메인 AI를 도입할 때 무엇을 봐야 할까요?

전문 AI의 경쟁력을 판단할 때는 단순한 모델 성능보다 실제 업무에 적용할 수 있는가를 중심으로 살펴볼 필요가 있습니다.

• 전문 업무를 정확하게 수행하는가
  → 해당 산업과 업무에 필요한 지식과 판단 능력을 갖추었는가
• 기존 AI의 강점을 유지하는가
  → 언어 이해, 추론, 장문 처리 등 기본 역량이 저하되지 않았는가
• 업무에 사용할 만큼 신뢰할 수 있는가
  → 환각, 편향, 유해 콘텐츠 등 위험 요소에 적절히 대응하는가

결국 도메인 AI의 경쟁력은 특정 분야의 지식을 얼마나 많이 넣었느냐보다, 전문성·범용성·신뢰성을 실제 업무 수준에서 얼마나 균형 있게 확보했느냐에 달려 있습니다.

산업별 AI로 확장하기 위해 필요한 것

법률과 같은 전문 영역에서 AI를 실제 업무에 적용하기 위해서는 해당 분야의 지식을 학습하는 것만으로 충분하지 않습니다.

산업별 데이터와 업무 지식을 이해하고, 도메인에 맞는 평가 기준을 설계하며, 실제 업무 환경에서 신뢰성과 안전성을 검증하는 과정이 함께 필요합니다.

KT는 Legal LLM 개발 경험을 바탕으로 다양한 산업과 업무에 특화된 AI와 AX 기술을 연구하며, 기업과 기관이 AI를 실제 업무에 적용할 수 있도록 데이터·AI·업무를 연결하는 방법을 고민하고 있습니다.