사내 AI 비서 답변 품질평가, 정확도보다 먼저 정해야 할 기준
사내 AI 비서와 RAG를 운영하기 전에 정해야 할 답변 품질평가 기준을 정확도, 근거, 권한, 최신성, 조치 가능성 관점으로 정리한 실무 체크리스트입니다.
사내 AI 비서는 도입보다 운영이 더 어렵습니다. 처음에는 “답이 맞는가”만 보게 되지만, 실제 업무에서는 맞는 답처럼 보이는 잘못된 안내, 근거 없는 요약, 권한 밖 문서 인용, 오래된 정책 반영이 더 큰 문제를 만듭니다.
특히 RAG 기반 챗봇이나 내부 문서 검색 AI를 쓰기 시작하면 품질평가는 모델 점수 하나로 끝나지 않습니다. 업무 담당자가 신뢰할 수 있는 답인지, 고객이나 동료에게 바로 전달해도 되는지, 틀렸을 때 어디서 고칠 수 있는지까지 봐야 합니다.
핵심 요약 · 사내 AI 비서의 품질평가는 “정확도” 하나가 아니라 근거, 최신성, 권한, 조치 가능성, 실패 처리까지 함께 봐야 합니다. 작은 평가표를 먼저 만들고 반복 질문 세트로 매주 확인하면, 운영 중 품질 저하를 훨씬 빨리 발견할 수 있습니다.
왜 정확도 하나로는 부족할까
AI 비서가 내부 문서를 요약하거나 정책을 안내할 때 “대체로 맞는 답”은 운영 기준으로 충분하지 않습니다. 사용자는 답변을 보고 다음 행동을 결정하고, 담당자는 그 답변 때문에 문의가 줄거나 늘어납니다.
예를 들어 휴가 규정, 견적 기준, 고객 응대 문구, 계약서 검토 절차처럼 실제 업무 판단에 연결되는 질문은 단순 정답률보다 더 세밀한 기준이 필요합니다. 답은 맞지만 근거 문서가 틀렸거나, 최신 개정본이 아닌 예전 문서를 인용하면 운영 사고로 이어질 수 있습니다.
좋은 사내 AI 비서는 많이 대답하는 도구가 아니라, 믿고 따라도 되는 답과 사람에게 넘겨야 하는 답을 구분하는 운영 시스템입니다.
핵심 요약
- 품질평가는 정확성, 근거성, 최신성, 권한 적합성, 조치 가능성, 실패 처리 기준으로 나눠 봅니다.
- 평가 질문은 실제 직원이 자주 묻는 업무 질문, 애매한 예외 질문, 권한이 걸린 민감 질문을 섞어 구성합니다.
- 답변만 보지 말고 어떤 문서를 찾아왔는지, 문서 버전은 최신인지, 확신이 낮을 때 사람에게 넘기는지까지 확인합니다.
- 한 번의 오픈 전 테스트보다 매주 같은 질문 세트로 품질 변화를 보는 운영 루틴이 더 중요합니다.
1. 먼저 “좋은 답변”의 기준을 문장으로 정하기
평가표를 만들기 전에 팀 안에서 좋은 답변이 무엇인지 먼저 정해야 합니다. “정확해야 한다”는 말만으로는 부족합니다. 상담팀, 운영팀, 보안 담당자가 기대하는 답변의 모습이 다를 수 있기 때문입니다.
예를 들어 내부 규정 AI 비서라면 좋은 답변은 최신 규정에 근거하고, 예외 조건을 분리하며, 담당 부서나 신청 링크까지 안내하는 답변입니다. 고객 응대 보조 AI라면 말투, 금지 표현, 후속 확인 질문까지 포함되어야 합니다.
간단한 기준 예시
- 답변에 사용한 내부 문서 또는 근거 위치를 함께 제시한다.
- 확실하지 않은 경우 추정으로 단정하지 않고 담당자 확인이 필요하다고 표시한다.
- 사용자가 바로 다음 행동을 할 수 있도록 신청 위치, 담당자, 필요한 자료를 안내한다.
- 권한이 없는 문서나 개인정보가 포함된 내용을 답변에 섞지 않는다.
2. 평가 질문 세트를 업무 흐름별로 나누기
평가 질문은 랜덤하게 많이 만드는 것보다 업무 흐름별로 나누는 편이 좋습니다. 자주 묻는 질문만 넣으면 AI 비서가 쉬운 문제만 잘 푸는지 확인하게 됩니다. 반대로 어려운 예외 질문만 넣으면 실제 운영 품질을 보기 어렵습니다.
권장하는 구성은 세 가지입니다. 첫째, 실제 반복 문의입니다. 둘째, 정책 예외나 조건이 붙은 애매한 질문입니다. 셋째, 권한·보안·개인정보 때문에 답하지 말아야 하는 질문입니다.
평가 질문 구성
- 반복 질문: 직원이나 고객이 자주 묻는 기본 업무 질문
- 예외 질문: 조건이 여러 개 붙고 담당자 확인이 필요한 질문
- 민감 질문: 권한 밖 자료, 개인정보, 계약 조건처럼 제한이 필요한 질문
- 최신성 질문: 최근 바뀐 정책이나 새 문서가 반영되어야 하는 질문
3. 점수표는 5개 항목이면 충분하다
처음부터 복잡한 평가 시스템을 만들 필요는 없습니다. 운영팀이 매주 볼 수 있는 5점 척도 표면 충분합니다. 중요한 것은 점수보다 “왜 낮은 점수를 받았는지”를 남기는 것입니다.
- 정확성: 질문의 의도와 사실관계가 맞는가
- 근거성: 답변에 사용한 문서·출처가 확인 가능한가
- 최신성: 최신 문서와 변경된 정책을 반영했는가
- 권한 적합성: 사용자가 볼 수 있는 범위 안에서만 답했는가
- 조치 가능성: 사용자가 다음 행동을 바로 이해할 수 있는가
이 다섯 항목을 질문별로 체크하면 문제 원인이 보입니다. 정확성은 높지만 조치 가능성이 낮다면 답변 문체와 템플릿을 고치면 됩니다. 최신성이 낮다면 지식 업데이트 루틴이 문제일 가능성이 큽니다.
4. 실패 답변을 모으는 방식까지 정하기
AI 비서 운영에서 가장 아까운 데이터는 실패한 답변입니다. 그런데 실패를 캡처하지 않으면 매번 같은 문제가 반복됩니다. 사용자가 “도움 안 됨”을 누른 로그만으로는 부족합니다.
최소한 질문 원문, AI 답변, 참조 문서, 사용자의 피드백, 담당자 수정 메모를 함께 남기는 구조가 필요합니다. 그래야 프롬프트 문제인지, 문서 문제인지, 권한 필터 문제인지 구분할 수 있습니다.
실패 로그에 남길 항목
- 질문 원문과 질문이 들어온 업무 채널
- AI가 참조한 문서 제목과 문서 버전
- AI 답변과 사용자가 기대한 답변의 차이
- 수정 담당자와 수정 방식: 문서 보완, 프롬프트 수정, 권한 정책 변경, 사람 승인 추가
5. 운영 전 체크리스트
- 실제 업무 질문 30~50개로 초기 평가 세트를 만들었는가
- 권한이 필요한 문서와 공개 가능한 문서를 분리했는가
- AI가 모르는 질문을 모른다고 말하거나 담당자에게 넘기는 기준이 있는가
- 최신 문서가 반영되는 주기와 담당자가 정해져 있는가
- 실패 답변을 다시 학습 자료나 문서 개선 업무로 연결하는 절차가 있는가
- 운영자가 매주 같은 질문 세트로 품질 변화를 볼 수 있는가
자주 묻는 질문
Q. 평가 질문은 몇 개부터 시작하면 될까요?
처음에는 30개 정도면 충분합니다. 자주 묻는 질문 15개, 예외 질문 10개, 보안·권한 질문 5개처럼 작게 시작한 뒤 운영 로그를 보면서 늘리는 편이 좋습니다.
Q. 점수가 낮으면 모델부터 바꿔야 하나요?
바로 모델을 바꾸기보다 원인을 나눠 보는 것이 먼저입니다. 문서가 오래됐는지, 검색 결과가 엉뚱한지, 프롬프트가 단정적으로 쓰였는지, 권한 필터가 빠졌는지에 따라 해결 방법이 달라집니다.
Q. 사람이 모든 답변을 검수해야 안전할까요?
모든 답변을 검수하면 AI 비서의 속도 장점이 사라집니다. 반복 질문은 자동 응답으로 두고, 외부 발송·계약·개인정보·금액 변경처럼 영향도가 큰 답변만 승인 루프에 넣는 방식이 현실적입니다.
HeyRatty가 도와줄 수 있는 부분
HeyRatty는 사내 AI 비서와 RAG 챗봇을 만들 때 단순히 답변 기능만 붙이지 않습니다. 어떤 질문을 자동 처리할지, 어떤 답변은 사람에게 넘길지, 어떤 로그를 남겨야 운영자가 개선할 수 있을지까지 함께 설계합니다.
이미 내부 문서 기반 AI 비서를 쓰고 있는데 답변 품질이 흔들리거나, 도입 전 평가 기준을 먼저 잡고 싶다면 작은 진단부터 시작해도 좋습니다.
참고 및 이미지 출처
이미지: Wikimedia Commons 「Precisionrecall」, author Walber, license CC BY-SA 4.0. 원본: https://commons.wikimedia.org/wiki/File:Precisionrecall.svg
라이선스: Creative Commons Attribution-Share Alike 4.0 — https://creativecommons.org/licenses/by-sa/4.0/