사내 AI 비서 지식 업데이트, 방치되기 전에 정하는 운영 기준
AI 비서와 RAG 자동화가 오래 쓰이려면 문서 소유자, 만료일, 검증 루프를 먼저 정해야 합니다. 현업 기준의 지식관리 체크리스트를 정리했습니다.
사내 AI 비서를 만들 때 처음에는 “어떤 모델을 쓸까”가 크게 보입니다. 하지만 운영에 들어가면 더 자주 막히는 지점은 모델이 아니라 지식입니다.
매뉴얼은 바뀌었는데 AI 비서는 예전 답을 하고, 담당자는 바뀌었는데 문서 소유자가 비어 있고, 예외 규정은 슬랙 어딘가에만 남아 있는 상태가 반복됩니다. 이 글은 RAG나 사내 AI 비서를 오래 쓰기 전에 정해야 할 지식 업데이트 운영 기준을 정리한 체크리스트입니다.
핵심 요약
- AI 비서의 품질은 “한 번 넣은 문서”보다 “계속 갱신되는 기준”에 더 크게 좌우됩니다.
- 문서마다 소유자, 원본 위치, 업데이트 주기, 만료일, 예외 처리 규칙을 붙여야 합니다.
- AI가 답변하기 전에는 최신성, 권한, 출처를 확인하고 답변한 뒤에는 오류 신고와 재학습 흐름이 있어야 합니다.
- 처음부터 전사 문서를 모두 넣기보다 문의가 잦고 기준이 비교적 명확한 업무부터 시작하는 편이 안전합니다.
사내 AI 비서는 “똑똑한 검색창”이 아니라, 회사 지식을 계속 정리하게 만드는 운영 시스템에 가깝습니다.
1. 왜 지식 업데이트 기준이 먼저인가
RAG 기반 AI 비서는 문서를 검색해 답을 만들기 때문에, 문서가 오래되면 답도 오래됩니다. 더 큰 문제는 오래된 답이 그럴듯하게 보인다는 점입니다.
예를 들어 휴가 규정, 가격 정책, 보안 예외, 고객 응대 템플릿처럼 실제 업무 판단에 쓰이는 문서는 작은 변경도 현장 혼선을 만듭니다. 그래서 “문서를 넣었다”가 아니라 “이 문서를 누가, 언제, 어떤 기준으로 갱신할 것인가”를 먼저 정해야 합니다.
2. 문서마다 붙여야 할 5가지 메타데이터
- 문서 소유자: 답변 오류가 생겼을 때 최종 판단하고 수정할 담당자 또는 팀을 지정합니다.
- 원본 위치: 노션, 구글드라이브, 사내 위키, CRM 등 실제 기준 문서가 있는 위치를 하나로 정합니다.
- 업데이트 주기: 매주, 매월, 분기별처럼 점검 주기를 정하고 자동 알림을 붙입니다.
- 만료일 또는 재검토일: 일정 기간이 지나면 AI가 그대로 답하지 않고 “확인 필요”로 낮추는 기준을 둡니다.
- 접근 권한: 전 직원에게 보여도 되는 문서인지, 특정 팀만 볼 수 있는 문서인지, 고객 정보가 섞여 있는지 분류합니다.
작게 시작한다면 “자주 묻는 내부 문의 30개”와 그 답의 원본 문서부터 메타데이터를 붙여보세요. 처음부터 전사 지식 전체를 정리하려고 하면 운영 기준이 흐려지기 쉽습니다.
3. 추천 운영 흐름: 등록, 검증, 배포, 관찰
등록: 새 문서를 아무나 넣지 않게 하기
AI 비서에 넣을 문서는 요청 채널을 하나로 모으는 것이 좋습니다. “이 문서를 추가해주세요”라는 요청에는 업무명, 대상 사용자, 원본 링크, 공개 범위, 담당자를 함께 받습니다.
검증: 사람이 먼저 기준을 확인하기
문서가 들어오면 바로 인덱싱하기보다 담당자가 최신 여부와 중복 여부를 확인합니다. 비슷한 문서가 여러 개 있으면 AI는 서로 다른 기준을 섞어 답할 수 있습니다.
배포: 변경 로그를 남기기
문서가 AI 비서에 반영된 날짜, 바뀐 내용, 영향을 받는 질문 유형을 간단히 남깁니다. 나중에 답변 품질이 흔들렸을 때 원인을 찾는 데 필요합니다.
관찰: 질문 로그로 다음 정리 대상을 찾기
사용자가 반복해서 묻는 질문, AI가 출처를 못 찾은 질문, 사람이 다시 수정한 답변은 다음 지식 정리 후보입니다. 운영 로그는 감시 목적이 아니라 개선 대상을 찾기 위한 자료로 다루는 것이 좋습니다.
4. 자동화에 맡길 일과 사람이 봐야 할 일
- 자동화에 맡길 수 있는 일: 만료일 알림, 링크 깨짐 확인, 중복 제목 탐지, 문서 변경 감지, 인덱싱 완료 알림
- 사람이 봐야 할 일: 정책 해석, 예외 승인, 고객 및 직원 개인정보 포함 여부, 부서 간 기준 충돌 조정
- 반자동으로 둘 일: AI 답변 오류 신고를 담당자에게 보내고, 수정된 원본 문서가 반영되면 테스트 질문을 다시 실행하는 흐름
특히 권한과 개인정보가 섞인 문서는 자동화만으로 판단하기 어렵습니다. AI 비서가 답변 가능한 범위와 “담당자에게 확인해야 하는 범위”를 명확히 나누는 편이 안전합니다.
5. 도입 전 체크리스트
- AI 비서가 답변할 업무 범위를 한 문장으로 설명할 수 있다.
- 최소 20~30개의 대표 질문과 기대 답변이 준비되어 있다.
- 각 답변의 원본 문서 링크와 담당자가 정해져 있다.
- 문서 만료일 또는 재검토 주기가 정해져 있다.
- 권한이 다른 사용자에게 같은 답을 보여주지 않는지 확인했다.
- 오답 신고, 수정, 재검증, 재배포 흐름이 있다.
- 월 1회 이상 질문 로그를 보고 지식베이스를 정리할 시간을 확보했다.
FAQ
Q. 모든 사내 문서를 한 번에 넣으면 더 빠르지 않나요?
초기에는 오히려 위험할 수 있습니다. 중복 문서, 오래된 문서, 권한이 다른 문서가 섞이면 AI가 그럴듯하지만 틀린 답을 만들 가능성이 커집니다. 문의가 잦고 원본 기준이 명확한 업무부터 작게 시작하는 편이 좋습니다.
Q. 업데이트 주기는 어떻게 정하면 좋나요?
업무 영향도가 높고 자주 바뀌는 문서는 짧게, 참고성 문서는 길게 잡습니다. 예를 들어 가격, 보안, 인사 규정은 월간 또는 변경 즉시, 일반 사용법 문서는 분기별 점검으로 시작할 수 있습니다.
Q. AI 비서가 틀린 답을 했을 때는 어떻게 처리하나요?
답변만 수정하지 말고 원본 문서, 검색 설정, 권한 조건을 함께 확인해야 합니다. 같은 문제가 반복되면 테스트 질문 세트에 추가해 다음 배포 때 자동으로 재검증하는 방식이 좋습니다.
HeyRatty가 도와줄 수 있는 부분
HeyRatty는 사내 AI 비서나 RAG 자동화를 만들 때 업무 흐름, 문서 구조, 권한 기준, 운영 로그까지 함께 설계합니다. “AI 답변 화면”만 만드는 것이 아니라, 현업이 계속 관리할 수 있는 운영 체계를 먼저 정리합니다.
우리 회사 업무에 AI 비서를 붙여도 되는지, 어떤 문서부터 정리해야 하는지 궁금하다면 현재 업무 흐름과 자료 구조를 기준으로 작게 진단해볼 수 있습니다.
참고 및 이미지 출처
- NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
- Microsoft Azure Architecture Center, RAG solution design and evaluation guide: https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-solution-design-and-evaluation-guide
- OWASP Top 10 for Large Language Model Applications: https://owasp.org/www-project-top-10-for-large-language-model-applications/
- 이미지: Australian Government - Department of Health, “Our data governance framework placemat 2024”, Wikimedia Commons, CC BY 4.0. 원본: https://commons.wikimedia.org/wiki/File:Our-data-governance-framework-placemat-2024.jpg / 라이선스: https://creativecommons.org/licenses/by/4.0