CCheckpointW4 · RAG_RETRIEVAL
RAG_RETRIEVAL / LangGraph · route → retrieve → grade → rewrite / stop제출 준비 중

W4

RAG W4 Hackathon

R&D 공고 Agentic RAG

과기정통부 R&D 사업공고 원천을 직접 수집·정규화하고, 질문별로 검색·재작성·근거 검증·중단을 선택하는 Agentic RAG를 만듭니다. 관련 질의 25개와 스냅샷 안에 근거가 없는 질의 25개에서 검색 순위, 최종 행동, 선언한 도구 경로를 함께 평가합니다.

METRIC
Agentic RAG Score
LEVEL
중급
EST. TIME
2시간
BASELINE
LangGraph · route → retrieve → grade → rewrite / stop

Start Here / Step 00

데이터와 제출 규격부터 확인하세요

과기정통부 R&D 사업공고 Open API · 상세 URL · 첨부 원문 URL · source_id

Dataset · Step 00

데이터셋 받기

queries · source guide · submission schema + README를 받습니다. 원천 레코드와 정답은 제공하지 않습니다.

강사 snapshot preflight 후 배포

Output Contract

출력 함수 (선택)

ranking.csv
query_id,rank,source_id
R001,1,MSIT-NOTICE-ID

manifest.json
{ "schema_version": 1, ... }

agent_trace.jsonl
{ "query_id": "R001", "final_action": "answer", "steps": ["route", "retrieve", "grade", "respond"], "cited_source_ids": ["MSIT-NOTICE-ID"], "answer_value": "2026-09-30", "evidence_quote": "접수 기간 : 2026년 9월 1일(화) ~ 2026년 9월 30일(수) 17:00" }

chunks.jsonl
{ "chunk_id": "MSIT-3186789-0", "source_id": "MSIT-3186789", "start": 0, "end": 612, "text_sha256": "..." }
.py 받기

Starter / Step 00b

여기서 출발하세요

기준선 · Source-access scaffold (no submission output)

이 코드는 원천 위치와 환경변수만 확인합니다. 수집, 정규화, 그래프 생성, 검색, 제출 파일 작성은 직접 구현해야 합니다.

From the Lectures · 이 코드가 출발한 강의

17강 · Agentic RAG 검색 판단과 문서 채점
검색 전 판단과 근거 부족 문서의 재검색·중단 기준을 상태로 만든다.
18강 · Agentic RAG 질문 재작성과 재검색
첫 검색이 충분하지 않을 때 rewrite → retrieve를 제한적으로 반복하는 법
19강 · Agentic RAG 라우팅
답변·명확화·스냅샷 밖 중단을 질문 유형에 따라 분기하는 법

rag-w4-msit-agentic.py · Python standard library · Agentic RAG source-access scaffold

import os

CHALLENGE_SLUG = "rag-w4-msit-agentic"
SOURCE_PAGE = "https://www.data.go.kr/data/15074634/openapi.do"
LIST_ENDPOINT = "https://apis.data.go.kr/1721000/msitannouncementinfo/businessAnnouncMentList"

# 개인 data.go.kr 키는 로컬 환경변수에만 둡니다. Notebook, manifest,
# agent_trace.jsonl, Git 저장소에는 절대 넣지 않습니다.
service_key = os.environ.get("DATA_GO_KR_MSIT_KEY", "").strip()
if not service_key:
    raise RuntimeError("DATA_GO_KR_MSIT_KEY를 설정한 뒤 다시 실행하세요")

print(f"{CHALLENGE_SLUG}: 과기정통부 R&D 사업공고 원천 위치를 확인했습니다.")
print(f"- 활용신청·명세: {SOURCE_PAGE}")
print(f"- 목록 endpoint: {LIST_ENDPOINT}")
print("이 파일은 API를 호출하거나 제출 파일을 만들지 않습니다.")
print("다음 단계는 직접 구현합니다: 목록 수집 → 상세·첨부 원문 정규화 → chunk → LangGraph route/retrieve/grade/rewrite-or-stop → ranking.csv + manifest.json + agent_trace.jsonl")
print("agent_trace.jsonl에는 행동 이름, 도구 이름, 인용 source_id만 남기고 프롬프트·원문 응답·도구 payload·키는 넣지 않습니다.")

New Here · 강의에서 다루지 않은 부분

검색 결과 외에 최종 행동과 안전한 도구 경로를 제출하는 agent_trace.jsonl 계약

모델의 사고 과정이나 원문 응답을 제출하지 않습니다. 결정 가능한 행동 이름과 source_id 연결만 남겨, 같은 입력에서 점검 가능한 실행 경로를 만듭니다.

Next Steps

  • 01공고 목록에서 상세 URL·첨부 원문 URL을 보존하고, source_id 규칙을 먼저 고정
  • 02related 25개와 snapshot 밖 25개에 대해 route 정책과 stop 조건을 표로 설계
  • 03BM25·local embedding·hybrid를 같은 corpus에서 비교하고, 재작성 전후의 retrieval 차이를 기록
  • 04ranking.csv, manifest.json, agent_trace.jsonl을 각각 검증한 뒤 제출

Live Rankings

클래스 리더보드

이해 확인을 통과해 ranked가 된 제출만 표시합니다. 각 수강생의 최고 점수 1개만 순위에 반영됩니다.

순위 기록을 불러오는 중입니다.

Join the Board

제출 → 이해 확인 → 순위 공개

출력값은 서버가 다시 채점합니다. 객관식 3문항 중 2문항 이상과 80자 이상의 실험 회고를 제출하기 전까지 점수는 잠깁니다.

  1. 01랭킹·manifest·trace 검증현재
  2. 02Agentic RAG 재채점대기
  3. 03이해 확인대기
  4. 04순위 공개대기

Submission Gate

제출 준비 중

미션 브리프는 먼저 확인할 수 있습니다. 강사가 비공개 평가셋과 제출 설정을 공개하면 랭킹·manifest·agent trace 제출과 이해 확인이 열립니다.

Learning Objectives

이번 미션에서 확인할 것

  1. 01공고 목록·상세 URL·첨부 원문 URL을 수집해 source_id 중심의 근거 코퍼스로 정규화한다.
  2. 02질문을 바로 답할지, 재검색·재작성할지, 스냅샷 밖으로 중단할지 명시적인 상태 전이로 설계한다.
  3. 03검색 점수만이 아니라 최종 행동과 근거가 있는 도구 경로를 재현 가능한 제출물로 검증한다.

Output Checklist

제출·학습 산출물

사이트에는 ranking.csv, manifest.json, agent_trace.jsonl, chunks.jsonl을 업로드합니다. 수집·정규화·검색 결과는 직접 만드세요.

공개 채점식

Retrieval Score 25% + final_action 정확도 20% + 문서 내부 사실(answer_value와 evidence_quote) 30% + 청킹 설계(chunks.jsonl) 20% + 도구 순서·인용 source_id 연결의 trace validity 5%입니다. answer, needs_review, ask_clarification, not_in_snapshot 중 하나를 질의마다 선언합니다. 근거가 없는 질의에 answer나 needs_review로 답한 비율이 20%를 넘으면 총점은 0.70을 넘지 못합니다.

필수 조건이 빠졌거나 질문이 사업의 어느 회차인지 정하지 않아 여러 회차로 갈리면 ask_clarification, 조건은 충분하지만 범위 내 근거가 없으면 not_in_snapshot입니다. 질문에 적힌 연도, 회차, 차수가 범위 내 공고와 다르면 그 공고는 근거가 아닙니다. 직접 근거가 정확히 1개면 answer, 같은 사안에 대해 서로 경쟁하는 근거(최초 공고와 정정 공고 등)가 2개 이상이면 needs_review로 모두 인용합니다. 원천 수집 실패는 두 중단 행동으로 대신하지 않습니다.

answer/needs_review의 steps는 route → retrieve → grade → respond 또는 route → retrieve → grade → rewrite → retrieve → grade → respond만 허용합니다. 최대 7단계이며, ask_clarification/not_in_snapshot은 정확히 route → respond와 빈 인용 목록을 사용합니다.

  • 사이트 제출ranking.csv (query_id, rank, source_id)
  • 실험 기록manifest.json (키를 제외한 수집·정규화 기록)
  • 실험 기록agent_trace.jsonl (행동·도구 이름·인용 source_id·원문 인용)
  • 실험 기록chunks.jsonl (design_docs 10개를 어떻게 잘랐는지: 좌표와 해시만)
  • 실험 기록재현 가능한 LangGraph notebook 또는 script와 개선 실험 1건

Original Source

원천 위치만 제공합니다. 원천 레코드, 검색 코퍼스, 정답은 각자 수집·구성합니다.

과기정통부 R&D 사업공고 Open API 열기 ↗