# RAG 에이전트 평가 보고서 예시

이 문서의 수치는 형식을 설명하기 위한 가상의 연습 예시입니다. 실제 수업 결과나 실제 수강생의 성과가 아닙니다. 프로젝트에서는 같은 평가셋으로 직접 측정한 값과 근거 링크로 바꾸세요.

## 1. 문제와 비교 조건

- 해결할 문제: 공개 문서에서 질문에 맞는 근거를 찾고 답하는 서비스.
- 평가셋: 사람이 판정하고 동결한 50문항. 관련 질문 25개, 비관련 질문 25개.
- 비교 조건: 평가셋 버전과 입력을 유지하고, 한 번에 하나의 변경 사항을 적용합니다.
- 개선 전: 벡터 검색 기준선.
- 1차 개선: 키워드 검색과 벡터 검색을 결합합니다.
- 2차 개선: 1차 구성에 검색 결과 재정렬을 추가합니다.
- 아래 품질 수치는 예시일 뿐이며 특정 기술을 쓰면 반드시 개선된다는 뜻이 아닙니다.

## 2. 개선 전후 비교

| 지표 | 개선 전 | 1차 개선 | 2차 개선 |
| --- | --- | --- | --- |
| 관련 질문의 근거 검색 성공률 | 16 / 25 (64%) | 20 / 25 (80%) | 21 / 25 (84%) |
| 비관련 질문의 올바른 거절률 | 19 / 25 (76%) | 20 / 25 (80%) | 21 / 25 (84%) |
| 평균 응답 시간 | 2.4초/요청 | 2.9초/요청 | 3.1초/요청 |
| 평균 모델 API 호출비 | 3.2원/요청 | 3.8원/요청 | 4.1원/요청 |

- 근거 검색 성공률: 관련 질문 중 정답 근거가 검색 결과에 포함된 문항 수를 관련 질문 수로 나눕니다.
- 올바른 거절률: 비관련 질문 중 정해 둔 기준에 맞게 답변을 거절한 문항 수를 비관련 질문 수로 나눕니다.
- 응답 시간: 같은 조건의 평가 요청별 시작부터 최종 응답까지 측정하고 평균을 기록합니다. 실패와 재시도 포함 여부도 명시합니다.
- API 호출비: 입력과 출력 토큰 등 모델 API의 사용 비용을 요청 수로 나눈 예시입니다. 환율과 산정 시점, 재시도 포함 여부, 서버 등 제외한 비용을 실제 보고서에 적습니다. 로컬 모델은 사용량과 인프라 비용 산정 기준을 별도로 적습니다.

## 3. 실패를 분석하고 결정을 남기기

- 달라진 문항 ID: 개선된 문항과 나빠진 문항을 각각 기록합니다.
- 실패 유형: 검색 실패, 근거가 부족한 답변, 잘못된 거절, 잘못된 도구 호출 등으로 나눕니다.
- 선택과 이유: 품질 상승뿐 아니라 응답 시간과 비용 변화, 남은 한계를 함께 적습니다.
- 재현 근거: 평가셋 버전과 동결 해시, 실행 명령, 결과 파일, 코드 버전과 관측 기록 링크를 남깁니다.
- 비밀값이나 개인정보가 노출되지 않도록 보고서와 캡처를 확인합니다.

## 4. 직접 작성할 때

평가셋 버전: [입력]

모델과 검색 설정: [입력]

비교한 변경 1차 / 2차: [입력]

변화한 문항과 실패 사례: [입력]

최종 판단과 남은 한계: [입력]

결과와 실행 방법 링크: [입력]

