RAG 파일럿을 시작하기 전 정해야 할 7가지

RAG는 사내 문서를 AI 답변에 연결하는 가장 현실적인 방법입니다. 하지만 “문서를 넣으면 알아서 잘 답한다”는 기대만으로 시작하면 파일럿 단계에서 바로 막힙니다.

RAG 파일럿의 목표는 거대한 지식 포털을 만드는 것이 아니라, 반복 질문 하나를 안정적으로 줄이는 작은 운영 시스템을 만드는 것입니다.

핵심 요약

좋은 RAG 파일럿은 “AI가 모든 걸 아는 상태”가 아니라 “사람이 매번 찾던 문서를 빠르게 찾고, 근거와 함께 답하는 상태”를 목표로 합니다.

1. 답변할 질문 범위를 한 문장으로 좁히기

처음부터 전사 지식 전체를 넣으려고 하면 답변 범위가 흐려집니다. 고객지원, 영업 제안, 사내 규정, 제품 매뉴얼 중 하나를 고르고 “누가 어떤 상황에서 묻는 질문인가”까지 적어야 합니다.

예를 들어 “신입 구성원이 복지 규정을 찾을 때”, “영업팀이 제안서 작성 전 레퍼런스를 찾을 때”, “CS 담당자가 배송/환불 정책을 확인할 때”처럼 좁히면 문서 우선순위가 선명해집니다.

2. 문서 소유자와 갱신 주기 정하기

RAG는 오래된 문서를 그럴듯하게 답변할 수 있습니다. 그래서 파일럿 전부터 문서별 담당자와 갱신 주기를 정해야 합니다.

이 기준이 없으면 AI 답변 문제가 아니라 “문서 운영 문제”가 파일럿 실패 원인이 됩니다.

3. 문서 품질을 모델 전에 점검하기

검색이 잘 안 되는 원인은 모델보다 문서 구조에서 더 자주 나옵니다. 파일명만 있고 제목이 없거나, 같은 내용의 PDF가 여러 버전으로 흩어져 있거나, 표와 이미지 안에 핵심 정보가 묻혀 있으면 검색 품질이 떨어집니다.

파일럿 문서는 최소한 제목, 작성/수정일, 담당 부서, 적용 범위, 요약 문단을 갖추는 것이 좋습니다. PDF만 모아 넣기보다 자주 묻는 질문 단위로 문서를 쪼개는 편이 실무 답변 품질에 유리합니다.

4. 접근권한을 먼저 설계하기

사내 AI 비서에서 가장 민감한 부분은 “답변을 잘하느냐”보다 “보면 안 되는 문서를 보여주지 않느냐”입니다. 인사, 계약, 고객정보, 내부 매출자료가 섞인 상태로 전체 검색을 열면 파일럿을 지속하기 어렵습니다.

부서별 권한, 프로젝트별 권한, 외부 공유 가능 여부를 최소 기준으로 나누고, 답변에는 문서 출처와 접근 가능 범위를 함께 남기는 설계를 추천합니다.

5. 답변 형식과 금지 행동 정하기

RAG 답변은 자유롭게 길게 쓰는 것보다 정해진 형식으로 제한할 때 운영하기 쉽습니다. 예를 들어 “요약 → 근거 문서 → 확인 필요 사항 → 담당자 문의” 순서로 고정하면 사용자는 답변을 더 빨리 검토할 수 있습니다.

반대로 근거 없는 추정, 법률/세무/인사 확정 판단, 접근권한 밖 문서 언급, 최신성 불확실한 답변은 금지 행동으로 명시해야 합니다.

6. 파일럿 성공 지표를 숫자로 정하기

RAG 파일럿은 “좋아 보인다”로 끝나면 다음 단계 예산을 설득하기 어렵습니다. 시작 전부터 운영 지표를 정해두면 개선 방향도 명확해집니다.

처음에는 2~4주 정도의 짧은 기간으로 잡고, 한 팀 또는 한 업무에서만 측정하는 것이 현실적입니다.

7. 운영 로그와 피드백 루프 만들기

RAG는 한 번 붙이고 끝나는 기능이 아닙니다. 사용자가 어떤 질문을 했는지, 어떤 문서를 못 찾았는지, 어떤 답변이 잘못됐는지 기록되어야 다음 주에 좋아집니다.

추천하는 피드백 루프는 간단합니다. 답변마다 “도움됨/부족함”을 남기고, 부족한 답변은 문서 문제인지 검색 문제인지 프롬프트 문제인지 분류합니다. 이 기록이 쌓이면 문서 정리 우선순위가 자연스럽게 나옵니다.

RAG 파일럿 시작 전 체크리스트

FAQ

Q. RAG는 챗봇을 만들면 바로 되는 건가요?

아니요. 챗봇 화면은 마지막 단계에 가깝습니다. 먼저 어떤 문서를 어떤 권한으로 검색할지, 답변에 어떤 근거를 붙일지, 틀린 답변을 어떻게 고칠지 정해야 합니다.

Q. 사내 문서가 정리되지 않았는데 RAG를 시작해도 될까요?

가능하지만 범위를 아주 좁혀야 합니다. 전체 문서 정리가 끝날 때까지 기다리기보다, 반복 질문이 많은 한 영역을 골라 문서 구조와 운영 방식을 함께 정리하는 접근이 좋습니다.

Q. 어떤 도구를 먼저 골라야 하나요?

도구보다 먼저 데이터 위치, 권한 구조, 사용자 질문 패턴을 확인하는 편이 안전합니다. 같은 RAG라도 문서가 Google Drive에 있는지, Notion에 있는지, 사내 NAS에 있는지에 따라 구현 방식과 보안 기준이 달라집니다.

Q. HeyRatty는 어떤 범위를 도와줄 수 있나요?

HeyRatty는 반복 업무와 사내 지식 흐름을 먼저 진단한 뒤, RAG 파일럿 범위 설정, 문서 구조 정리, 자동화 워크플로우, 권한/운영 체크리스트까지 함께 설계할 수 있습니다. 바로 큰 시스템을 만들기보다 작은 파일럿으로 검증하는 방식을 권합니다.

마무리

RAG는 “우리 회사 문서를 AI에게 넣는 기술”이라기보다, 조직의 지식을 계속 최신 상태로 운영하는 방식에 가깝습니다. 파일럿을 작게 시작하되 질문 범위, 문서 품질, 권한, 지표를 먼저 정하면 실패 비용을 줄일 수 있습니다.

참고 및 이미지 출처