W3
RAG W3 Hackathon
부산 해양체험 근거 검색
부산 해양체험정보 Open API를 직접 수집하고 정규화해, 관광 질문에 가장 근거가 되는 장소를 순위로 제출합니다. API 응답의 상세내용과 운영 정보를 보존하고, 검색 결과를 원문 ID로 설명합니다.
- METRIC
- Retrieval Score
- LEVEL
- 초중급
- EST. TIME
- 2시간
- BASELINE
- BM25 → Embedding → Hybrid RRF
Start Here / Step 00
데이터와 제출 규격부터 확인하세요
부산 해양체험정보 API JSON · 장소별 UC_SEQ와 상세내용
Dataset · Step 00
데이터셋 받기
queries · sources · sample_ranking + manifest 템플릿·제출 안내(README)를 한 번에 받습니다.
Output Contract
출력 함수 (선택)
ranking.csv
query_id,rank,source_id
q001,1,UC_SEQ
manifest.json
{ "schema_version": 1, ... }Starter / Step 00b
여기서 출발하세요
기준선 · Token-overlap BM25-ready baseline
ZIP을 푼 폴더에서 그대로 실행하면 ranking.csv + manifest.json가 만들어집니다. 완성된 답이 아니라 기준선입니다. 먼저 제출해 점수를 확인하고, 아래 항목을 바꿔가며 개선하세요.
From the Lectures · 이 코드가 출발한 강의
- 1강 · RAG 개요와 검색 파이프라인
- API 수집 → 정규화 → chunk → 검색 → 근거 ID 제출의 전체 계약
- 2강 · 텍스트 전처리와 BM25
- 질문·문서를 같은 토큰 공간으로 바꿔 lexical baseline을 만드는 법
rag-w1-busan.py · Python standard library · lexical baseline
import csv, hashlib, json, re
CHALLENGE_SLUG = "rag-w1-busan"
SOURCE_URL = "https://apis.data.go.kr/6260000/MarintimeService/getMaritimeKr"
def tokens(text):
return set(re.findall(r"[0-9A-Za-z가-힣]+", text.lower()))
# sources.jsonl은 강사가 API 응답을 정규화해 만든 공개 검색 코퍼스다.
# API 키나 원문 응답은 이 파일과 제출물에 넣지 않는다.
with open("sources.jsonl", encoding="utf-8") as source_file:
sources = [json.loads(line) for line in source_file if line.strip()]
if len(sources) < 10:
raise ValueError("ranking.csv에는 질의마다 10개 source_id가 필요합니다")
with open("queries.csv", encoding="utf-8", newline="") as query_file:
queries = list(csv.DictReader(query_file))
with open("ranking.csv", "w", encoding="utf-8", newline="") as output:
writer = csv.DictWriter(output, fieldnames=["query_id", "rank", "source_id"])
writer.writeheader()
for query in queries:
query_tokens = tokens(query["query"])
ranked = sorted(
sources,
key=lambda source: (-len(query_tokens & tokens(source["text"])), source["source_id"]),
)
for rank, source in enumerate(ranked[:10], start=1):
writer.writerow({"query_id": query["query_id"], "rank": rank, "source_id": source["source_id"]})
# snapshot_provenance.json은 강사가 만든 비밀 없는 수집 증빙이다.
# serviceKey, token, Authorization, 원문 response를 넣으면 Checkpoint가 거절한다.
with open("snapshot_provenance.json", encoding="utf-8") as provenance_file:
provenance = json.load(provenance_file)
normalized = "\n".join(
f'{source["source_id"]}\t{source["text"]}' for source in sorted(sources, key=lambda item: item["source_id"])
)
manifest = {
"schema_version": 1,
"challenge_slug": CHALLENGE_SLUG,
"corpus_id": provenance["corpus_id"],
"collector": {
"collected_at": provenance["collected_at"],
"normalizer_version": provenance["normalizer_version"],
"requests": [{"source_url": SOURCE_URL, "parameters": provenance["parameters"], "result_code": "00"}],
},
"corpus": {"source_count": len(sources), "chunk_count": len(sources), "normalized_sha256": hashlib.sha256(normalized.encode()).hexdigest()},
"retriever": {"method": "bm25"},
}
with open("manifest.json", "w", encoding="utf-8") as manifest_file:
json.dump(manifest, manifest_file, ensure_ascii=False, indent=2)
New Here · 강의에서 다루지 않은 부분
API 응답의 UC_SEQ를 검색 결과의 source_id로 끝까지 보존하는 작업
모델 점수보다 먼저 source_id와 정규화 텍스트의 연결을 고정해야 결과를 재현하고 근거를 제시할 수 있습니다.
Next Steps
- 01상세내용·운영시간·요금 등 필드를 합친 text와 필드별 가중치를 비교
- 02chunk 크기·overlap을 바꾸고 nDCG@5와 MRR@10 변화를 기록
- 03embedding 검색과 BM25를 RRF로 결합해 같은 질의에서 순위 차이를 확인
Live Rankings
클래스 리더보드
이해 확인을 통과해 ranked가 된 제출만 표시합니다. 각 수강생의 최고 점수 1개만 순위에 반영됩니다.
순위 기록을 불러오는 중입니다.
Join the Board
제출 → 이해 확인 → 순위 공개
출력값은 서버가 다시 채점합니다. 객관식 3문항 중 2문항 이상과 80자 이상의 실험 회고를 제출하기 전까지 점수는 잠깁니다.
- 01랭킹·manifest 검증현재
- 02Retrieval 재채점대기
- 03이해 확인대기
- 04순위 공개대기
Submission Gate
제출 준비 중
미션 브리프는 먼저 확인할 수 있습니다. 강사가 비공개 평가셋과 제출 설정을 공개하면 랭킹·manifest 제출과 이해 확인이 열립니다.
Learning Objectives
이번 미션에서 확인할 것
- 01Open API 응답을 source_id(UC_SEQ) 중심의 검색 코퍼스로 정규화한다.
- 02chunking·BM25·임베딩·Hybrid RRF 선택이 검색 순위에 미치는 영향을 비교한다.
- 03근거가 없는 질문에는 NO_RESULT를 제출하고, 출처 ID로 검색 결과를 재현한다.
Output Checklist
제출·학습 산출물
사이트에는 ranking.csv와 manifest.json을 업로드합니다. 수집 API 키·토큰·원문은 넣지 말고, notebook에는 정규화·chunking·검색 실험 근거를 남기세요.
- 사이트 제출ranking.csv (query_id, rank, source_id)
- 실험 기록manifest.json (키를 제외한 수집·정규화 기록)
- 실험 기록재현 가능한 notebook
- 실험 기록검색 개선 실험 1건
Original Source
위 ZIP은 학습용 split입니다. 정답이 포함된 원본 전체는 아래 대회에서 확인하세요.