W4
RAG W4 Hackathon
통관 요건 GraphRAG
관세청 HS·관세율·세관장확인대상물품 원천을 직접 조사해 통관 요건 그래프를 만듭니다. 상품 또는 HS 단서에서 요건·법령·승인기관·적용일을 여러 홉으로 추적하고, 근거가 없는 질문은 NO_RESULT로 구분해 제출합니다. 모든 질문을 NO_RESULT로 내면 NO_RESULT 판별 점수를 받지 못합니다.
- METRIC
- Retrieval Score
- LEVEL
- 중급
- EST. TIME
- 2시간
- BASELINE
- Neo4j GraphRAG · multi-hop traversal
Start Here / Step 00
데이터와 제출 규격부터 확인하세요
관세청 HS부호·관세율표 파일과 세관장확인대상물품 API · 그래프 근거 ID
Dataset · Step 00
데이터셋 받기
queries · source guide · submission schema + README를 받습니다. 원천 레코드와 정답은 제공하지 않습니다.
Output Contract
출력 함수 (선택)
ranking.csv
query_id,rank,source_id
q001,1,UC_SEQ
manifest.json
{ "schema_version": 1, ... }Starter / Step 00b
여기서 출발하세요
기준선 · Source access contract only (no submission output)
이 코드는 원천 위치와 환경변수만 확인합니다. 수집, 정규화, 그래프 생성, 검색, 제출 파일 작성은 직접 구현해야 합니다.
From the Lectures · 이 코드가 출발한 강의
- 1강 · RAG 개요와 검색 파이프라인
- 원천 수집·정규화·근거 ID·검색 제출 계약을 다시 연결합니다.
- 3강 · GraphRAG와 multi-hop retrieval
- 상품 또는 HS 단서에서 요건·법령·승인기관까지 그래프를 따라가는 이유와 방법
rag-w4-customs-graphrag.py · Python standard library · source-access contract only
import hashlib
import os
import re
CHALLENGE_SLUG = "rag-w4-customs-graphrag"
SOURCE_PAGES = [
"https://www.data.go.kr/data/15049722/fileData.do",
"https://www.data.go.kr/data/15051179/fileData.do",
"https://www.data.go.kr/data/15101589/openapi.do",
]
# 이번 과제의 corpus 범위: hs_scope.txt의 HS부호마다 imexTpcd를 "1", "2"로 두 번씩 호출합니다.
DIRECTIONS = ["1", "2"]
PATH_EDGE_TYPES = ["CLASSIFIED_AS", "HAS_REQUIREMENT", "GOVERNED_BY", "APPROVED_BY"]
# 세관장확인대상물품 API 응답 <item> 태그 -> 필드 이름
ITEM_TAGS = {
"dcerCfrmLworCd": "law_code",
"dcerCfrmLworNm": "law_name",
"reqApreIttCd": "approval_agency_code",
"reqApreIttNm": "approval_agency_name",
"reqCfrmIstmNm": "requirement_name",
"aplyStrtDt": "effective_date",
}
def sha1_16(*parts):
return hashlib.sha1("|".join(parts).encode("utf-8")).hexdigest()[:16]
def xml_value(item, tag):
found = re.search(rf"<{tag}>([\s\S]*?)</{tag}>", item)
value = found.group(1) if found else ""
for entity, char in (("&", "&"), ("<", "<"), (">", ">"), (""", '"'), ("'", "'")):
value = value.replace(entity, char)
return value.strip()
def parse_requirements(xml, hs_code, direction):
"""API 응답 XML을 요건 레코드 목록으로 바꿉니다. hs_code는 요청한 hsSgn, direction은 요청한 imexTpcd 값입니다."""
if xml_value(xml, "resultCode") != "00":
raise RuntimeError(f"관세청 API 결과 코드 {xml_value(xml, 'resultCode') or '없음'}")
return [
{"hs_code": hs_code, "direction": direction, **{name: xml_value(item, tag) for tag, name in ITEM_TAGS.items()}}
for item in re.findall(r"<item>([\s\S]*?)</item>", xml)
]
def make_source_id(record):
"""ranking.csv에 쓰는 요건 근거 source_id."""
return "requirement:" + sha1_16(
record["hs_code"],
record["direction"],
record["law_code"],
record["approval_agency_code"],
record["requirement_name"],
record["effective_date"],
)
def make_path_node_ids(record):
"""path_evidence.jsonl의 node_ids. edge_types는 PATH_EDGE_TYPES입니다."""
return [
f"product:{record['hs_code']}",
f"hs_code:{record['hs_code']}",
"requirement:" + sha1_16(record["requirement_name"]),
"law:" + sha1_16(record["law_code"], record["law_name"]),
"approval_agency:" + sha1_16(record["approval_agency_code"], record["approval_agency_name"]),
]
def main():
service_key = os.environ.get("DATA_GO_KR_CUSTOMS_KEY", "").strip()
if not service_key:
raise RuntimeError("DATA_GO_KR_CUSTOMS_KEY를 설정한 뒤 다시 실행하세요")
print("통관 요건 GraphRAG 원천 위치를 확인했습니다.")
for source_page in SOURCE_PAGES:
print(f"- {source_page}")
print("수집 범위는 hs_scope.txt의 HS부호 x 수출입구분(1, 2)입니다. 범위 밖 HS부호는 수집하지 않습니다.")
print("이 파일의 make_source_id, make_path_node_ids가 submission_schema.json의 ID 규칙과 같은 계산입니다.")
print("다음 단계는 직접 구현합니다: 원천 수집 → 정규화 → 그래프 생성 → 검색 → ranking.csv")
print("제출 manifest에는 Neo4j backend, graphrag method와 그래프 노드·엣지·순회 기록이 필요합니다.")
if __name__ == "__main__":
main()
New Here · 강의에서 다루지 않은 부분
통관 요건을 그래프의 경로로 설명하는 multi-hop retrieval
문서 유사도만으로 찾기 어려운 승인기관·적용일 연결을 노드와 엣지로 보존한 뒤, 질문마다 근거 경로를 따라갑니다.
Next Steps
- 01HS코드·요건·법령·승인기관·관세율·적용일 노드와 관계를 직접 정의
- 02BM25·dense 결과와 GraphRAG 경로 탐색 결과를 같은 질의에서 비교
- 03NO_RESULT 임계값을 한 번 조정하고 근거 없는 연결이 생기는지 기록
Live Rankings
클래스 리더보드
이해 확인을 통과해 ranked가 된 제출만 표시합니다. 각 수강생의 최고 점수 1개만 순위에 반영됩니다.
순위 기록을 불러오는 중입니다.
Join the Board
제출 → 이해 확인 → 순위 공개
출력값은 서버가 다시 채점합니다. 객관식 3문항 중 2문항 이상과 80자 이상의 실험 회고를 제출하기 전까지 점수는 잠깁니다.
- 01랭킹·manifest 검증현재
- 02Retrieval 재채점대기
- 03이해 확인대기
- 04순위 공개대기
Submission Gate
제출 준비 중
미션 브리프는 먼저 확인할 수 있습니다. 강사가 비공개 평가셋과 제출 설정을 공개하면 랭킹·manifest 제출과 이해 확인이 열립니다.
Learning Objectives
이번 미션에서 확인할 것
- 01상품·HS코드·요건·법령·승인기관·관세율·적용일을 분리한 그래프 스키마를 만든다.
- 02질문의 상품 또는 HS 단서에서 근거 조항과 승인기관까지 multi-hop으로 추적한다.
- 03근거가 없는 질문은 그럴듯한 답을 만들지 않고 NO_RESULT로 구분한다.
Output Checklist
제출·학습 산출물
사이트에는 ranking.csv, manifest.json, path_evidence.jsonl을 업로드합니다. 수집·정규화·검색 결과는 직접 만드세요.
- 사이트 제출ranking.csv (query_id, rank, source_id)
- 실험 기록manifest.json (키를 제외한 수집·그래프 생성 기록)
- 실험 기록재현 가능한 notebook 또는 script
- 실험 기록BM25·dense 검색과 GraphRAG 비교 실험 1건
Original Source
원천 위치만 제공합니다. 원천 레코드, 검색 코퍼스, 정답은 각자 수집·구성합니다.