Deeplearning W1 Hackathon

import pandas as pd, torch, torch.nn as nn

torch.manual_seed(0)                           # 13강처럼 시드 고정 — 이게 없으면 돌릴 때마다
                                               # 점수가 흔들려 "내 개선이 효과가 있었나"를 못 가린다
tr, te = pd.read_csv("train.csv"), pd.read_csv("test.csv")
y = torch.tensor(tr["target"].values, dtype=torch.float32).unsqueeze(1)

# train과 test를 붙여서 한 번에 인코딩한다. 따로 하면 한쪽에만 있는 값
# (예: test에만 등장하는 직업) 때문에 두 표의 열 개수가 어긋나 모델에 못 넣는다.
full = pd.concat([tr.drop(columns=["id", "target"]), te.drop(columns=["id"])])

# workclass·education 같은 문자열 열은 신경망에 그대로 넣을 수 없다. get_dummies는
# 값 하나마다 열을 만들어 해당하면 1, 아니면 0을 채운다 — 10강에서 리뷰를 '단어 출석부'로
# 바꾼 multi-hot과 같은 원리다. 열 수가 14개에서 100개 이상으로 늘어나니 X.shape를 찍어볼 것.
full = pd.get_dummies(full).astype("float32")

# 11강 표준화. age는 수십, capital.gain은 수만이라 스케일을 맞추지 않으면
# 큰 값을 가진 열이 학습을 지배한다. +1e-8은 std가 0인 열의 0 나누기 방지.
full = (full - full.mean()) / (full.std() + 1e-8)

X = torch.tensor(full[:len(tr)].values, dtype=torch.float32)
Xt = torch.tensor(full[len(tr):].values, dtype=torch.float32)

model = nn.Sequential(
    nn.Linear(X.shape[1], 64), nn.ReLU(), nn.Dropout(0.3),
    nn.Linear(64, 1))                          # 10강 이진 계약 ①: 출력 로짓 1개
opt = torch.optim.Adam(model.parameters(), lr=1e-3)
lossf = nn.BCEWithLogitsLoss()                 # 10강 이진 계약 ②: sigmoid를 손실 안에서 처리

for epoch in range(15):                        # 먼저 돌려보고 조절하세요
    for i in range(0, len(X), 128):
        opt.zero_grad(); loss = lossf(model(X[i:i + 128]), y[i:i + 128]); loss.backward(); opt.step()
    print(epoch, round(loss.item(), 4))

pred = (torch.sigmoid(model(Xt)) > 0.5).int().squeeze()   # 10강 이진 계약 ③: 0.5 임계값
pd.DataFrame({"id": te["id"], "target": pred.numpy()}).to_csv("submission.csv", index=False)