CCheckpointW3 · RAG_RETRIEVAL
RAG_RETRIEVAL / BM25 → Embedding → Hybrid RRF제출 준비 중

W3

RAG W3 Hackathon

법령 조문 근거 검색

법제처 국가법령정보 API의 XML을 법령·조문 구조로 정규화하고, 질문에 가장 관련된 조문을 순위로 제출합니다. 이 과제는 법률 자문이 아니라 원문 조문 검색 정확도를 평가합니다.

METRIC
Retrieval Score
LEVEL
초중급
EST. TIME
2시간
BASELINE
BM25 → Embedding → Hybrid RRF

Start Here / Step 00

데이터와 제출 규격부터 확인하세요

법제처 국가법령정보 XML · law_code:article_no 조문 ID

Dataset · Step 00

데이터셋 받기

queries · sources · sample_ranking + manifest 템플릿·제출 안내(README)를 한 번에 받습니다.

강사 snapshot preflight 후 배포

Output Contract

출력 함수 (선택)

ranking.csv
query_id,rank,source_id
q001,1,LAW_CODE:ARTICLE_NO

manifest.json
{ "schema_version": 1, ... }
.py 받기

Starter / Step 00b

여기서 출발하세요

기준선 · Token-overlap BM25-ready baseline

ZIP을 푼 폴더에서 그대로 실행하면 ranking.csv + manifest.json가 만들어집니다. 완성된 답이 아니라 기준선입니다. 먼저 제출해 점수를 확인하고, 아래 항목을 바꿔가며 개선하세요.

From the Lectures · 이 코드가 출발한 강의

1강 · RAG 개요와 검색 파이프라인
API 수집 → 정규화 → chunk → 검색 → 근거 ID 제출의 전체 계약
2강 · 텍스트 전처리와 BM25
법령명·조문 제목·본문을 검색 가능한 텍스트로 만드는 기준

rag-w1-law.py · Python standard library · lexical baseline

import csv, hashlib, json, re

CHALLENGE_SLUG = "rag-w1-law"
SOURCE_URL = "https://apis.data.go.kr/1170000/law/lawSearchList.do"

def tokens(text):
    return set(re.findall(r"[0-9A-Za-z가-힣]+", text.lower()))

# sources.jsonl은 강사가 API 응답을 정규화해 만든 공개 검색 코퍼스다.
# API 키나 원문 응답은 이 파일과 제출물에 넣지 않는다.
with open("sources.jsonl", encoding="utf-8") as source_file:
    sources = [json.loads(line) for line in source_file if line.strip()]
if len(sources) < 10:
    raise ValueError("ranking.csv에는 질의마다 10개 source_id가 필요합니다")

with open("queries.csv", encoding="utf-8", newline="") as query_file:
    queries = list(csv.DictReader(query_file))

with open("ranking.csv", "w", encoding="utf-8", newline="") as output:
    writer = csv.DictWriter(output, fieldnames=["query_id", "rank", "source_id"])
    writer.writeheader()
    for query in queries:
        query_tokens = tokens(query["query"])
        ranked = sorted(
            sources,
            key=lambda source: (-len(query_tokens & tokens(source["text"])), source["source_id"]),
        )
        for rank, source in enumerate(ranked[:10], start=1):
            writer.writerow({"query_id": query["query_id"], "rank": rank, "source_id": source["source_id"]})

# snapshot_provenance.json은 강사가 만든 비밀 없는 수집 증빙이다.
# serviceKey, token, Authorization, 원문 response를 넣으면 Checkpoint가 거절한다.
with open("snapshot_provenance.json", encoding="utf-8") as provenance_file:
    provenance = json.load(provenance_file)
normalized = "\n".join(
    f'{source["source_id"]}\t{source["text"]}' for source in sorted(sources, key=lambda item: item["source_id"])
)
manifest = {
    "schema_version": 1,
    "challenge_slug": CHALLENGE_SLUG,
    "corpus_id": provenance["corpus_id"],
    "collector": {
        "collected_at": provenance["collected_at"],
        "normalizer_version": provenance["normalizer_version"],
        "requests": [{"source_url": SOURCE_URL, "parameters": provenance["parameters"], "result_code": "00"}],
    },
    "corpus": {"source_count": len(sources), "chunk_count": len(sources), "normalized_sha256": hashlib.sha256(normalized.encode()).hexdigest()},
    "retriever": {"method": "bm25"},
}
with open("manifest.json", "w", encoding="utf-8") as manifest_file:
    json.dump(manifest, manifest_file, ensure_ascii=False, indent=2)

New Here · 강의에서 다루지 않은 부분

법령 코드와 조문 번호를 결합한 law_code:article_no 근거 ID

법률 해석을 생성하는 과제가 아니라, 질문에 대응하는 원문 조문을 정확한 ID로 찾는 retrieval 과제입니다.

Next Steps

  • 01법령명·조문 제목·본문을 분리하거나 합쳐 검색 품질 비교
  • 02시행일과 조문 계층을 metadata filter로 사용해 오류 유형 확인
  • 03embedding 검색과 BM25를 RRF로 결합하고 no-result 임계값을 한 번만 조정

Live Rankings

클래스 리더보드

이해 확인을 통과해 ranked가 된 제출만 표시합니다. 각 수강생의 최고 점수 1개만 순위에 반영됩니다.

순위 기록을 불러오는 중입니다.

Join the Board

제출 → 이해 확인 → 순위 공개

출력값은 서버가 다시 채점합니다. 객관식 3문항 중 2문항 이상과 80자 이상의 실험 회고를 제출하기 전까지 점수는 잠깁니다.

  1. 01랭킹·manifest 검증현재
  2. 02Retrieval 재채점대기
  3. 03이해 확인대기
  4. 04순위 공개대기

Submission Gate

제출 준비 중

미션 브리프는 먼저 확인할 수 있습니다. 강사가 비공개 평가셋과 제출 설정을 공개하면 랭킹·manifest 제출과 이해 확인이 열립니다.

Learning Objectives

이번 미션에서 확인할 것

  1. 01XML의 법령·조문 계층과 시행일을 보존해 source_id를 만든다.
  2. 02조문 단위 검색에서 BM25·임베딩·Hybrid RRF의 순위를 비교한다.
  3. 03근거 조문이 없는 질문을 NO_RESULT로 구분한다.

Output Checklist

제출·학습 산출물

사이트에는 ranking.csv와 manifest.json을 업로드합니다. 수집 API 키·토큰·원문은 넣지 말고, notebook에는 정규화·chunking·검색 실험 근거를 남기세요.

  • 사이트 제출ranking.csv (query_id, rank, source_id)
  • 실험 기록manifest.json (키를 제외한 수집·정규화 기록)
  • 실험 기록재현 가능한 notebook
  • 실험 기록검색 개선 실험 1건

Original Source

위 ZIP은 학습용 split입니다. 정답이 포함된 원본 전체는 아래 대회에서 확인하세요.

법제처 국가법령정보 Open API 열기 ↗