⭐️ 프로젝트 시연

📚 개요

Unity로 구현한 공장 사각지대 환경에서 지게차와 작업자가 서로 직접 보이지 않는 상황을 구성하고, 두 대의 카메라 영상을 RTSP로 백엔드에 입력해 멀티뷰 기반으로 충돌 위험을 예측한 프로젝트입니다.

각 카메라에서 검출된 작업자와 지게차의 위치를 ArUco Homography를 통해 하나의 BEV 절대좌표계로 변환하고, 두 카메라 정보를 통합해 단일 카메라로는 판단하기 어려운 사각지대 충돌 위험을 Warning / Danger 단계로 예측했습니다.

🙋‍♂️ 역할

• Unity 기반 공장 사각지대 시나리오와 cam1 / cam2 멀티뷰 입력 환경 구성
• FFmpeg + MediaMTX 기반 RTSP 스트리밍 파이프라인 구축
• YOLO-Pose를 활용한 작업자 위치 검출, Custom YOLO를 활용한 지게차 검출 구현
• ArUco Marker와 Homography를 활용해 픽셀 좌표를 BEV 절대좌표로 변환
• cam1 / cam2에서 추정된 객체 좌표를 하나의 좌표계로 통합하는 fusion 로직 구현
• 거리, 진행 방향, TTC, 지게차 전방 기준점(FH)을 활용한 Warning / Danger 판단 로직 구현
• camera parallel, model parallel, input tuning, pose skip/cache를 적용해 3.145 FPS → 10.148 FPS 개선
• 1 frame 처리 시간을 약 0.320s에서 약 0.099s로 단축
• 위험 이벤트 발생 시 PostgreSQL incident log 저장, snapshot 저장, MQTT 알림, 리포트 생성 흐름까지 E2E 검증
• 대량 사고 로그 조회에서 Elasticsearch 기반 검색과 PostgreSQL 복합 인덱스 기반 검색을 비교하고, 날짜 조회 패턴에 맞춰 PostgreSQL 인덱싱을 적용해 p50 기준 0.097ms까지 조회 성능을 개선