Project path
주제 선정부터 발표까지의 실행 경로
주제 선정
킥오프
D0
데이터와 RAG
D1–D3
에이전트
D4–D5
서비스와 운영
D6–D8
개선과 증거
D9–D10
마무리
D11–D12
발표
First checkpoint
먼저, 만들 RAG의 주제를 정합니다.
- 01
산업을 고른다
추천 산업 6종 중에서 고르면 별도 신청이 필요 없습니다. 그 밖의 산업은 사전 논의가 필요합니다(신청과 회신 모두 10/29).
- 02
주제서 1장을 낸다
10.29(목)까지. 누가, 어떤 업무에서, 무엇을 묻고, 지금은 어떻게 하는지, 범용 챗봇과 무엇이 다른지, 누가 쓰고 누가 지불하는지를 적습니다.
- 03
킥오프(10/30)에 저장소에서 시작한다
조 저장소의 쓰기 권한은 조원에게 이미 열려 있습니다(GitHub 초대 메일이 오면 수락하세요). 첫 PR로 README의 조원 소개를 채우고, 제출한 주제서를 docs/TOPIC.md로 옮겨 둡니다.
Definition of done
“돌아간다”는 주장이 아니라 증거입니다.
RAG와 에이전트는 같은 질문에도 다른 문서를 가져오고 다른 경로로 답합니다. 그래서 평가셋 몇 건 중 몇 건이 맞았는지, 개선 전후가 어떻게 달라졌는지, 한 번 처리에 얼마가 들고 어디가 느린지를 남이 확인할 수 있어야 합니다.
Industries
추천 산업 6종
코퍼스는 그 산업의 공개 문서입니다. 서로 다른 청크 1만 개 이상과 서로 다른 문서 50건 이상을 채울 수 있는지가 주제를 고르는 가장 현실적인 기준입니다.
금융, 핀테크
기업 공시와 사업보고서를 근거로 사업 구조와 리스크를 묻고 답하는 RAG
코퍼스 후보 · OpenDART 사업보고서와 공시
공공기관, 행정
관련 법령과 정책 문서를 근거로 제도와 절차를 묻고 답하는 RAG
코퍼스 후보 · 국가법령정보, 정책브리핑
헬스, 제약
의약품 정보와 규제 문서를 근거로 제품과 규제를 묻고 답하는 RAG
코퍼스 후보 · 식약처 등
물류, 무역
관세 법령과 통관 고시를 근거로 통관 업무를 묻고 답하는 RAG
코퍼스 후보 · 관세 법령, 통관 고시
IT, 플랫폼
프레임워크 공식 문서와 오픈소스 문서를 근거로 기술 질문에 답하는 RAG
코퍼스 후보 · 프레임워크 공식 문서, 오픈소스 문서
창업
지원사업 공고 본문과 관련 법령을 근거로 신청 준비를 돕는 RAG
코퍼스 후보 · 기업마당, K-Startup 지원사업 공고, 법령
2차 서비스를 이어서 만들어도 됩니다. 이어 간다면 LLM 호출부, compose 틀, Langfuse 설정은 그대로 가져오고, RAG와 LangGraph를 얹는 범위를 주제서에 적으세요. 2차에서 이미 평가받은 부분은 3차 점수에 반영되지 않고 3차의 5축으로 새로 평가합니다.
Before D1
첫날(11/2) 전에 해 둘 일
- 1
임베딩 속도를 100건으로 재 보기
조 코퍼스 100건을 로컬 모델과 API로 각각 임베딩해 시간과 비용을 기록하고 1만 청크로 곱해 일정에 반영하세요. 참고로 DART 공시 11,022청크는 KURE-v1이 Apple MPS에서 361초였고 CPU 전용은 재 본 값이 없습니다.
- 2
로컬 모델은 미리 받고 오프라인으로 돌려 보기
임베딩과 리랭커 모델은 각각 약 2GB입니다. 평가자 환경에서는 내려받기가 막히거나 오래 걸릴 수 있으니 HF_HUB_OFFLINE=1로 돌아가는지 확인하세요.
- 3
코퍼스 범위를 확정한 뒤 평가셋을 동결하기
코퍼스가 작거나 바뀌는 중에 만든 평가셋은 개선을 보여 주지 못합니다. 동결 뒤 코퍼스를 바꿨다면 영향받는 문항을 evals/exclusions.json에 사유와 함께 적어 지표에서만 빼세요.
Pitfalls
자주 걸리는 함정
앞선 시험 구현에서 실제로 나온 것들입니다. 피하는 방법만 적었고, 결과 숫자는 목표치가 되기 쉬워 싣지 않았습니다.
- 1
쉬운 평가셋은 개선을 가립니다
코퍼스가 작거나 질문이 정답 문장을 따라 쓴 것이면 어떤 검색 방식도 비슷한 점수가 나옵니다. 코퍼스를 모은 뒤 동결하고, 비관련 질문은 도메인 밖, 없는 대상, 없는 항목, 기간이 다른 질문을 섞으세요.
- 2
검색 후처리 필터는 점수를 부풀릴 수 있습니다
검색 결과를 받은 뒤 걸러서 0~2개로 줄이면 우연한 거절이 생겨 실제보다 좋게 보입니다. 필터는 검색 단계에서 걸고, 후처리를 쓴다면 그 효과를 따로 보고하세요.
- 3
통과하는 테스트가 증거는 아닙니다
핵심 코드를 한 줄 깨뜨렸을 때 그 테스트가 실제로 실패하는지 확인하세요. 상수끼리 비교하는 단언은 상한을 바꿔도 통과합니다. AI가 "잡았다"고 보고한 것도 직접 확인하세요.
- 4
병렬 작업은 시그니처만으로 맞지 않습니다
함수 모양만 맞춰도 한쪽이 코퍼스 파일이나 환경변수에 몰래 기대면 코퍼스가 커질 때 깨집니다. 조원 간 계약서에 의존하는 파일과 환경변수까지 적으세요.
- 5
코퍼스가 바뀌면 동결한 정답도 바뀝니다
평가셋 파일은 고치지 말고 영향받은 문항을 제외 파일에 사유와 함께 적어 지표에서만 빼세요. 코퍼스 버전과 정답 기준일을 평가셋에 기록해 두면 가려내기 쉽습니다.
이 페이지는 3차 프로젝트 가이드의 요약입니다. 정확한 조건과 양식은 가이드와 각 조 저장소의 docs/GATES.md를 기준으로 합니다. 가이드 PDF(v5) 보기 →