Motivation for Development

실습 및 산업 현장에서는 한 사람이 여러 명의 작업을 모두 확인하기 어렵다.

인쇄물 및 영상 매뉴얼은 무엇이 틀렸는지 알려주지 않는다.

기존 코칭 시스템은 다른 작업에 쓸 때마다 판정 기준을 새로 설정해야 한다.

Operation Principle

① 매뉴얼 구조화: 사용자가 올린 PDF나 사진 매뉴얼을 Gemini가 분석해 단계별 그림과 지시문으로 나눈다.

② 영상 전송: QR 코드로 연결한 스마트폰이 작업 영상을 WebRTC로 노트북 서버에 실시간 전송한다.

③ AI 판정: 노트북 서버가 작업 화면을 현재 단계의 그림, 지시문과 함께 클라우드 GPU로 보내면, 자체 데이터로 파인튜닝한 VLM(Qwen3.6)이 PASS/FAIL을 판정하고 교정 피드백을 만든다.

④ 단계 진행: 판정 결과와 피드백을 화면과 음성으로 전달하고, PASS면 다음 단계로 자동으로 넘어간다.

⑤ 카메라 조정: 작업하는 손이 화면에서 벗어나지 않도록 MediaPipe로 손을 추적해 팬틸트로 카메라 각도를 자동으로 맞추고, 높이는 손동작으로 리니어 슬라이드를 움직여 조절한다.

Expected Effect

AI가 개개인의 작업을 대신 확인해 교사와 관리자의 반복적인 지도와 검수 부담을 줄인다.

학습자는 실시간으로 틀린 이유와 다음 행동을 안내받아 혼자서도 실수를 바로잡을 수 있다.

작업마다 시스템을 새로 만들 필요 없이 교육용 조립 키트부터 정비와 산업 교육까지 넓혀 쓸 수 있다.

Photo & Results

졸업작품 소개영상

https://www.youtube.com/watch?v=FmALG7GOcp0