W4
RAG W4 Hackathon
R&D 공고 Agentic RAG
과기정통부 R&D 사업공고 원천을 직접 수집·정규화하고, 질문별로 검색·재작성·근거 검증·중단을 선택하는 Agentic RAG를 만듭니다. 관련 질의 25개와 스냅샷 안에 근거가 없는 질의 25개에서 검색 순위, 최종 행동, 선언한 도구 경로를 함께 평가합니다.
- METRIC
- Agentic RAG Score
- LEVEL
- 중급
- EST. TIME
- 2시간
- BASELINE
- LangGraph · route → retrieve → grade → rewrite / stop
Start Here / Step 00
데이터와 제출 규격부터 확인하세요
과기정통부 R&D 사업공고 Open API · 상세 URL · 첨부 원문 URL · source_id
Dataset · Step 00
데이터셋 받기
queries · source guide · submission schema + README를 받습니다. 원천 레코드와 정답은 제공하지 않습니다.
Output Contract
출력 함수 (선택)
ranking.csv
query_id,rank,source_id
R001,1,MSIT-NOTICE-ID
manifest.json
{ "schema_version": 1, ... }
agent_trace.jsonl
{ "query_id": "R001", "final_action": "answer", "steps": ["route", "retrieve", "grade", "respond"], "cited_source_ids": ["MSIT-NOTICE-ID"], "answer_value": "2026-09-30", "evidence_quote": "접수 기간 : 2026년 9월 1일(화) ~ 2026년 9월 30일(수) 17:00" }
chunks.jsonl
{ "chunk_id": "MSIT-3186789-0", "source_id": "MSIT-3186789", "start": 0, "end": 612, "text_sha256": "..." }Starter / Step 00b
여기서 출발하세요
기준선 · Source-access scaffold (no submission output)
이 코드는 원천 위치와 환경변수만 확인합니다. 수집, 정규화, 그래프 생성, 검색, 제출 파일 작성은 직접 구현해야 합니다.
From the Lectures · 이 코드가 출발한 강의
- 17강 · Agentic RAG 검색 판단과 문서 채점
- 검색 전 판단과 근거 부족 문서의 재검색·중단 기준을 상태로 만든다.
- 18강 · Agentic RAG 질문 재작성과 재검색
- 첫 검색이 충분하지 않을 때 rewrite → retrieve를 제한적으로 반복하는 법
- 19강 · Agentic RAG 라우팅
- 답변·명확화·스냅샷 밖 중단을 질문 유형에 따라 분기하는 법
rag-w4-msit-agentic.py · Python standard library · Agentic RAG source-access scaffold
import os
CHALLENGE_SLUG = "rag-w4-msit-agentic"
SOURCE_PAGE = "https://www.data.go.kr/data/15074634/openapi.do"
LIST_ENDPOINT = "https://apis.data.go.kr/1721000/msitannouncementinfo/businessAnnouncMentList"
# 개인 data.go.kr 키는 로컬 환경변수에만 둡니다. Notebook, manifest,
# agent_trace.jsonl, Git 저장소에는 절대 넣지 않습니다.
service_key = os.environ.get("DATA_GO_KR_MSIT_KEY", "").strip()
if not service_key:
raise RuntimeError("DATA_GO_KR_MSIT_KEY를 설정한 뒤 다시 실행하세요")
print(f"{CHALLENGE_SLUG}: 과기정통부 R&D 사업공고 원천 위치를 확인했습니다.")
print(f"- 활용신청·명세: {SOURCE_PAGE}")
print(f"- 목록 endpoint: {LIST_ENDPOINT}")
print("이 파일은 API를 호출하거나 제출 파일을 만들지 않습니다.")
print("다음 단계는 직접 구현합니다: 목록 수집 → 상세·첨부 원문 정규화 → chunk → LangGraph route/retrieve/grade/rewrite-or-stop → ranking.csv + manifest.json + agent_trace.jsonl")
print("agent_trace.jsonl에는 행동 이름, 도구 이름, 인용 source_id만 남기고 프롬프트·원문 응답·도구 payload·키는 넣지 않습니다.")
New Here · 강의에서 다루지 않은 부분
검색 결과 외에 최종 행동과 안전한 도구 경로를 제출하는 agent_trace.jsonl 계약
모델의 사고 과정이나 원문 응답을 제출하지 않습니다. 결정 가능한 행동 이름과 source_id 연결만 남겨, 같은 입력에서 점검 가능한 실행 경로를 만듭니다.
Next Steps
- 01공고 목록에서 상세 URL·첨부 원문 URL을 보존하고, source_id 규칙을 먼저 고정
- 02related 25개와 snapshot 밖 25개에 대해 route 정책과 stop 조건을 표로 설계
- 03BM25·local embedding·hybrid를 같은 corpus에서 비교하고, 재작성 전후의 retrieval 차이를 기록
- 04ranking.csv, manifest.json, agent_trace.jsonl을 각각 검증한 뒤 제출
Live Rankings
클래스 리더보드
이해 확인을 통과해 ranked가 된 제출만 표시합니다. 각 수강생의 최고 점수 1개만 순위에 반영됩니다.
순위 기록을 불러오는 중입니다.
Join the Board
제출 → 이해 확인 → 순위 공개
출력값은 서버가 다시 채점합니다. 객관식 3문항 중 2문항 이상과 80자 이상의 실험 회고를 제출하기 전까지 점수는 잠깁니다.
- 01랭킹·manifest·trace 검증현재
- 02Agentic RAG 재채점대기
- 03이해 확인대기
- 04순위 공개대기
Submission Gate
제출 준비 중
미션 브리프는 먼저 확인할 수 있습니다. 강사가 비공개 평가셋과 제출 설정을 공개하면 랭킹·manifest·agent trace 제출과 이해 확인이 열립니다.
Learning Objectives
이번 미션에서 확인할 것
- 01공고 목록·상세 URL·첨부 원문 URL을 수집해 source_id 중심의 근거 코퍼스로 정규화한다.
- 02질문을 바로 답할지, 재검색·재작성할지, 스냅샷 밖으로 중단할지 명시적인 상태 전이로 설계한다.
- 03검색 점수만이 아니라 최종 행동과 근거가 있는 도구 경로를 재현 가능한 제출물로 검증한다.
Output Checklist
제출·학습 산출물
사이트에는 ranking.csv, manifest.json, agent_trace.jsonl, chunks.jsonl을 업로드합니다. 수집·정규화·검색 결과는 직접 만드세요.
공개 채점식
Retrieval Score 25% + final_action 정확도 20% + 문서 내부 사실(answer_value와 evidence_quote) 30% + 청킹 설계(chunks.jsonl) 20% + 도구 순서·인용 source_id 연결의 trace validity 5%입니다. answer, needs_review, ask_clarification, not_in_snapshot 중 하나를 질의마다 선언합니다. 근거가 없는 질의에 answer나 needs_review로 답한 비율이 20%를 넘으면 총점은 0.70을 넘지 못합니다.
필수 조건이 빠졌거나 질문이 사업의 어느 회차인지 정하지 않아 여러 회차로 갈리면 ask_clarification, 조건은 충분하지만 범위 내 근거가 없으면 not_in_snapshot입니다. 질문에 적힌 연도, 회차, 차수가 범위 내 공고와 다르면 그 공고는 근거가 아닙니다. 직접 근거가 정확히 1개면 answer, 같은 사안에 대해 서로 경쟁하는 근거(최초 공고와 정정 공고 등)가 2개 이상이면 needs_review로 모두 인용합니다. 원천 수집 실패는 두 중단 행동으로 대신하지 않습니다.
answer/needs_review의 steps는 route → retrieve → grade → respond 또는 route → retrieve → grade → rewrite → retrieve → grade → respond만 허용합니다. 최대 7단계이며, ask_clarification/not_in_snapshot은 정확히 route → respond와 빈 인용 목록을 사용합니다.
- 사이트 제출ranking.csv (query_id, rank, source_id)
- 실험 기록manifest.json (키를 제외한 수집·정규화 기록)
- 실험 기록agent_trace.jsonl (행동·도구 이름·인용 source_id·원문 인용)
- 실험 기록chunks.jsonl (design_docs 10개를 어떻게 잘랐는지: 좌표와 해시만)
- 실험 기록재현 가능한 LangGraph notebook 또는 script와 개선 실험 1건
Original Source
원천 위치만 제공합니다. 원천 레코드, 검색 코퍼스, 정답은 각자 수집·구성합니다.