W4
RAG W4 Hackathon
GovTech 문서 OCR·청킹
검수·마스킹을 마친 서로 다른 공공행정 PDF 100개를 OCR·정규화하고, 검색 가능한 청크를 설계합니다. 점수는 본문 복원 50%, 필수 구간 보존 25%, 청크 경계 존중 15%, 검색 가능성 10%입니다. 학생 ZIP(약 515MB)은 Google Drive에서 받으며, '바이러스 검사를 할 수 없습니다' 창이 뜨면 '무시하고 다운로드'를 누르세요.
- METRIC
- OCR Document Score
- LEVEL
- 중급
- EST. TIME
- 2시간
- BASELINE
- OCR → Parsing → Chunking
Start Here / Step 00
데이터와 제출 규격부터 확인하세요
강사 제공 마스킹 PDF 100개 · document_id · ocr.jsonl
Dataset · Step 00
데이터셋 받기
마스킹된 documents (PDF) · document_index · page_index · sample_ocr + README를 받습니다. 원본 라벨·원천 경로는 포함하지 않습니다.
Output Contract
출력 함수 (선택)
ocr.jsonl
{ "document_id": "w4-ocr-001", "text": "...", "chunks": [{ "chunk_id": "w4-ocr-001-c001", "text": "..." }] }Starter / Step 00b
여기서 출발하세요
기준선 · 입력 검증 scaffold (no submission output)
ZIP을 푼 폴더에서 입력 구성을 먼저 검증합니다. 이 스타터는 ocr.jsonl을 만들지 않습니다 — OCR 전사와 청크 경계를 직접 구현한 뒤 제출 파일을 생성하세요.
From the Lectures · 이 코드가 출발한 강의
- 17강 · 문서 기반 파싱과 청킹
- OCR 본문을 검색 가능한 청크로 바꾸고 청크 경계를 검증하는 방법
- 18강 · OCR·문서 품질 진단
- 스캔 품질·표·레이아웃 때문에 발생하는 OCR 오류를 분리하는 기준
rag-w4-govtech-ocr.py · Python standard library · OCR/청킹 입력 검증 scaffold
import json
from pathlib import Path
DOCUMENTS_DIR = Path("documents")
INDEX_PATH = Path("document_index.json")
if not INDEX_PATH.is_file() or not DOCUMENTS_DIR.is_dir():
raise RuntimeError("ZIP을 푼 폴더에서 document_index.json과 documents/를 확인하세요")
documents = json.loads(INDEX_PATH.read_text(encoding="utf-8"))
document_ids = [document["document_id"] for document in documents]
pdfs = [DOCUMENTS_DIR / document["file_name"] for document in documents]
if len(documents) != 100 or len(document_ids) != len(set(document_ids)) or not all(path.is_file() for path in pdfs):
raise RuntimeError("100개 document_id 또는 PDF 파일 구성을 확인하세요")
print(f"입력 PDF 문서 {len(document_ids)}개를 확인했습니다.")
print("각 PDF 전체를 파싱·OCR·정규화한 뒤, 800~1,200자 청크를 만들어 document_id별 ocr.jsonl을 직접 만드세요.")
print("이 스타터는 정답·가짜 전사를 만들지 않으므로 ocr.jsonl을 생성하지 않습니다.")
print("제출 규칙")
print("- ocr.jsonl은 UTF-8 그대로 저장하세요: json.dumps(row, ensure_ascii=False). 한글이 \\uXXXX로 바뀌면 파일이 두 배가 되어 4MiB 한도를 넘습니다.")
print("- 파일은 4MiB 이하, 청크 하나는 1,200자 이하입니다. text는 공백·문장부호를 빼고 낼 수 있습니다(채점 전에 같은 방식으로 정규화합니다).")
print("- 입력 PDF는 텍스트 레이어가 없는 스캔 이미지이고, 개인정보 마스킹으로 검은 블록이 있을 수 있습니다. 블록 때문에 OCR이 실패하면 이미지 전처리가 필요합니다.")
print("- 각 청크의 text는 같은 행의 text(본문) 안에서 잘라낸 부분이어야 합니다. 정규화한 본문에 없으면 chunk_not_in_document로 거절됩니다.")
print("- chunk_id는 제출 전체에서 중복되면 안 됩니다. sample_ocr.jsonl처럼 문서 번호를 붙이세요(예: w4-ocr-001-c001). 청크 길이의 하한 규칙은 없고(상한 1,200자만 강제), 800~1,200자는 권장입니다.")
print("- 한 문서의 청크 글자 수 합계(공백·문장부호 제외)는 본문의 110% 이하여야 합니다. 겹치는 청크로 모든 구간을 덮을 수 없습니다.")
print("- 필수 구간(anchor)은 정규화 뒤 하나의 청크 안에 통째로 들어 있어야 보존으로 칩니다. 청크 경계가 필수 구간을 자르지 않게 설계하세요.")
print("채점 (합계 100%)")
print("- 본문 복원 50%: 공백·문장부호를 뺀 정규화 본문과 정답의 유사도(1 - CER)입니다.")
print("- 필수 구간 25%: 문서마다 12개의 구간(날짜·금액·번호가 든 구간이 많습니다)이 정규화 뒤 하나의 청크 안에 통째로 들어 있어야 보존입니다.")
print("- 청크 경계 존중 15%: 정답 문서의 줄, 절 제목, 문서 머리말 경계에서 자른 청크일수록 높습니다. 같은 텍스트를 같은 개수의 고정 길이로 자른 것보다 얼마나 나은지로 잽니다.")
print("- 검색 가능성 10%: 비공개 질문으로 모든 청크를 검색(BM25)했을 때 정답 구절이 든 청크가 상위 3개 안에 오는 비율입니다. 너무 잘게 쪼갠 청크는 불리합니다.")
New Here · 강의에서 다루지 않은 부분
PDF 문서 전체 본문과 검색 청크를 함께 제출하는 OCR JSONL 계약
OCR 결과를 그대로 끝내지 않고, 문서 전체에서 자른 각 청크가 원문 본문 안에 실제 존재하는지 확인해야 검색 근거로 쓸 수 있습니다.
Next Steps
- 01Tesseract·PaddleOCR 등 서로 다른 OCR 엔진의 본문 오류를 같은 PDF에서 비교
- 02표·목록·문단 경계에 맞춰 chunk 길이와 overlap을 바꾸고 anchor 보존률 비교
- 03로컬 임베딩으로 청크 검색을 붙여 OCR 오류가 retrieval에 주는 영향 기록
Live Rankings
클래스 리더보드
이해 확인을 통과해 ranked가 된 제출만 표시합니다. 각 수강생의 최고 점수 1개만 순위에 반영됩니다.
순위 기록을 불러오는 중입니다.
Join the Board
제출 → 이해 확인 → 순위 공개
출력값은 서버가 다시 채점합니다. 객관식 3문항 중 2문항 이상과 80자 이상의 실험 회고를 제출하기 전까지 점수는 잠깁니다.
- 01OCR JSONL 검증현재
- 02OCR·청크 재채점대기
- 03이해 확인대기
- 04순위 공개대기
Submission Gate
제출 준비 중
미션 브리프는 먼저 확인할 수 있습니다. 강사가 비공개 평가셋과 제출 설정을 공개하면 OCR JSONL 제출과 이해 확인이 열립니다.
Learning Objectives
이번 미션에서 확인할 것
- 01스캔 행정 PDF에서 레이아웃·표·인쇄 품질이 OCR 본문에 미치는 영향을 확인한다.
- 02문서 본문을 보존하면서 검색에 적합한 청크 경계를 직접 설계한다.
- 03본문 유사도와 필수 구간의 단일 청크 보존을 분리해 OCR 오류를 진단한다.
- 04줄·절 제목 경계를 존중하는 청크가 검색에서 정답 구절을 더 잘 찾는지 확인한다.
Output Checklist
제출·학습 산출물
사이트에는 ocr.jsonl만 업로드합니다. 각 document_id에 PDF 전체 OCR 본문과 그 본문에서 잘라 낸 청크를 함께 넣으세요. 원천 이미지·개인정보·원본 라벨은 제출하지 않습니다.
- 사이트 제출ocr.jsonl (document_id, text, chunks)
- 실험 기록재현 가능한 notebook
- 실험 기록OCR·파싱·청킹 개선 실험 1건
- 실험 기록오류 유형과 다음 실험 회고
Dataset Boundary
검수·마스킹을 마친 서로 다른 교육용 PDF 100개만 제공합니다. 원본 파일명·원천 경로·OCR 라벨·정답키는 제공하지 않습니다.