Project
직접 만든 시스템의 설계와 실험, 잘되지 않았던 선택까지 기록합니다.
OcclusionGateNet 개발기
선글라스와 마스크로 얼굴이 가려졌을 때도 운전자 상태를 판단할 수 있을까? 문제 정의부터 실제 영상 데모까지 따라갑니다.
읽는 순서 · 문제 정의 → 데이터 → 복원 모델 → 학습 → 결합 → 실험 → 데모와 회고
먼저 알면 좋은 것 · CNN과 PyTorch 학습 루프. 막히면 딥러닝 목차로 돌아가 확인할 수 있습니다.
1편부터 읽기 →Computer Vision / DMS
OcclusionGateNet 개발기
-
1. OcclusionGateNet 개발기 1 — 선글라스를 쓰면 운전자 모니터링은 어떻게 될까?
우수상을 받은 캡스톤 프로젝트 OcclusionGateNet. 눈과 자세를 보던 DMS가 얼굴 복원과 가시성 기반 융합으로 확장된 이유부터 정리한다.
조회수 —
-
2. OcclusionGateNet 개발기 2 — 가려진 얼굴의 정답은 어디서 얻을까?
DMD의 시간 구간 라벨부터 clean/masked 짝 데이터와 MediaPipe pseudo-label까지. 서로 다른 목적의 데이터셋과 가시성 라벨을 구분한다.
조회수 —
-
3. OcclusionGateNet 개발기 3 — ORFormer는 가려진 얼굴을 어떻게 추정할까?
VQ codebook, regular·messenger 표현, alpha 혼합, reference heatmap과 HGNet까지. 원 논문의 아이디어와 프로젝트 구현을 구분하며 복원 경로를 따라간다.
조회수 —
-
4. OcclusionGateNet 개발기 4 — loss는 내려가는데 복원은 왜 안 될까?
정답 좌표 재점검, VQ codebook collapse, warm-start, alpha 보조 손실과 CPU 전처리 병목. 저장된 학습 일지를 현재 코드와 대조해 정리한다.
조회수 —
-
5. OcclusionGateNet 개발기 5 — 복원한 얼굴을 얼마나 믿어야 할까?
좌표 교체와 feature fusion은 다른 gate다. 48프레임 입력, 얼굴 region token, visibility 가중치와 task별 pose–face 혼합을 코드와 수식으로 설명한다.
조회수 —
-
6. OcclusionGateNet 개발기 6 — 복원과 gate는 실제로 도움이 되었을까?
Clean/masked macro-F1, 재학습 ablation, 융합 비교와 통계의 범위. 원시 CSV로 수치를 다시 계산하고 개선된 결과와 불리한 결과를 함께 읽는다.
조회수 —
-
7. OcclusionGateNet 개발기 7 — 모델들을 연결하고, 야간 영상을 찍어보기까지
두 카메라와 48프레임 버퍼, 얼굴 검출 실패의 fallback, 야간 데모와 재현 조건. 캡스톤을 마무리하며 남은 과제를 정리한다.
조회수 —