W3
RAG W3 Hackathon
법령 조문 근거 검색
법제처 국가법령정보 API의 XML을 법령·조문 구조로 정규화하고, 질문에 가장 관련된 조문을 순위로 제출합니다. 이 과제는 법률 자문이 아니라 원문 조문 검색 정확도를 평가합니다.
- METRIC
- Retrieval Score
- LEVEL
- 초중급
- EST. TIME
- 2시간
- BASELINE
- BM25 → Embedding → Hybrid RRF
Start Here / Step 00
데이터와 제출 규격부터 확인하세요
법제처 국가법령정보 XML · law_code:article_no 조문 ID
Dataset · Step 00
데이터셋 받기
queries · sources · sample_ranking + manifest 템플릿·제출 안내(README)를 한 번에 받습니다.
Output Contract
출력 함수 (선택)
ranking.csv
query_id,rank,source_id
q001,1,LAW_CODE:ARTICLE_NO
manifest.json
{ "schema_version": 1, ... }Starter / Step 00b
여기서 출발하세요
기준선 · Token-overlap BM25-ready baseline
ZIP을 푼 폴더에서 그대로 실행하면 ranking.csv + manifest.json가 만들어집니다. 완성된 답이 아니라 기준선입니다. 먼저 제출해 점수를 확인하고, 아래 항목을 바꿔가며 개선하세요.
From the Lectures · 이 코드가 출발한 강의
- 1강 · RAG 개요와 검색 파이프라인
- API 수집 → 정규화 → chunk → 검색 → 근거 ID 제출의 전체 계약
- 2강 · 텍스트 전처리와 BM25
- 법령명·조문 제목·본문을 검색 가능한 텍스트로 만드는 기준
rag-w1-law.py · Python standard library · lexical baseline
import csv, hashlib, json, re
CHALLENGE_SLUG = "rag-w1-law"
SOURCE_URL = "https://apis.data.go.kr/1170000/law/lawSearchList.do"
def tokens(text):
return set(re.findall(r"[0-9A-Za-z가-힣]+", text.lower()))
# sources.jsonl은 강사가 API 응답을 정규화해 만든 공개 검색 코퍼스다.
# API 키나 원문 응답은 이 파일과 제출물에 넣지 않는다.
with open("sources.jsonl", encoding="utf-8") as source_file:
sources = [json.loads(line) for line in source_file if line.strip()]
if len(sources) < 10:
raise ValueError("ranking.csv에는 질의마다 10개 source_id가 필요합니다")
with open("queries.csv", encoding="utf-8", newline="") as query_file:
queries = list(csv.DictReader(query_file))
with open("ranking.csv", "w", encoding="utf-8", newline="") as output:
writer = csv.DictWriter(output, fieldnames=["query_id", "rank", "source_id"])
writer.writeheader()
for query in queries:
query_tokens = tokens(query["query"])
ranked = sorted(
sources,
key=lambda source: (-len(query_tokens & tokens(source["text"])), source["source_id"]),
)
for rank, source in enumerate(ranked[:10], start=1):
writer.writerow({"query_id": query["query_id"], "rank": rank, "source_id": source["source_id"]})
# snapshot_provenance.json은 강사가 만든 비밀 없는 수집 증빙이다.
# serviceKey, token, Authorization, 원문 response를 넣으면 Checkpoint가 거절한다.
with open("snapshot_provenance.json", encoding="utf-8") as provenance_file:
provenance = json.load(provenance_file)
normalized = "\n".join(
f'{source["source_id"]}\t{source["text"]}' for source in sorted(sources, key=lambda item: item["source_id"])
)
manifest = {
"schema_version": 1,
"challenge_slug": CHALLENGE_SLUG,
"corpus_id": provenance["corpus_id"],
"collector": {
"collected_at": provenance["collected_at"],
"normalizer_version": provenance["normalizer_version"],
"requests": [{"source_url": SOURCE_URL, "parameters": provenance["parameters"], "result_code": "00"}],
},
"corpus": {"source_count": len(sources), "chunk_count": len(sources), "normalized_sha256": hashlib.sha256(normalized.encode()).hexdigest()},
"retriever": {"method": "bm25"},
}
with open("manifest.json", "w", encoding="utf-8") as manifest_file:
json.dump(manifest, manifest_file, ensure_ascii=False, indent=2)
New Here · 강의에서 다루지 않은 부분
법령 코드와 조문 번호를 결합한 law_code:article_no 근거 ID
법률 해석을 생성하는 과제가 아니라, 질문에 대응하는 원문 조문을 정확한 ID로 찾는 retrieval 과제입니다.
Next Steps
- 01법령명·조문 제목·본문을 분리하거나 합쳐 검색 품질 비교
- 02시행일과 조문 계층을 metadata filter로 사용해 오류 유형 확인
- 03embedding 검색과 BM25를 RRF로 결합하고 no-result 임계값을 한 번만 조정
Live Rankings
클래스 리더보드
이해 확인을 통과해 ranked가 된 제출만 표시합니다. 각 수강생의 최고 점수 1개만 순위에 반영됩니다.
순위 기록을 불러오는 중입니다.
Join the Board
제출 → 이해 확인 → 순위 공개
출력값은 서버가 다시 채점합니다. 객관식 3문항 중 2문항 이상과 80자 이상의 실험 회고를 제출하기 전까지 점수는 잠깁니다.
- 01랭킹·manifest 검증현재
- 02Retrieval 재채점대기
- 03이해 확인대기
- 04순위 공개대기
Submission Gate
제출 준비 중
미션 브리프는 먼저 확인할 수 있습니다. 강사가 비공개 평가셋과 제출 설정을 공개하면 랭킹·manifest 제출과 이해 확인이 열립니다.
Learning Objectives
이번 미션에서 확인할 것
- 01XML의 법령·조문 계층과 시행일을 보존해 source_id를 만든다.
- 02조문 단위 검색에서 BM25·임베딩·Hybrid RRF의 순위를 비교한다.
- 03근거 조문이 없는 질문을 NO_RESULT로 구분한다.
Output Checklist
제출·학습 산출물
사이트에는 ranking.csv와 manifest.json을 업로드합니다. 수집 API 키·토큰·원문은 넣지 말고, notebook에는 정규화·chunking·검색 실험 근거를 남기세요.
- 사이트 제출ranking.csv (query_id, rank, source_id)
- 실험 기록manifest.json (키를 제외한 수집·정규화 기록)
- 실험 기록재현 가능한 notebook
- 실험 기록검색 개선 실험 1건
Original Source
위 ZIP은 학습용 split입니다. 정답이 포함된 원본 전체는 아래 대회에서 확인하세요.