RNN Pose Recognize

웹캠을 통해 어떤 동작을 하고 있는지 예측하는 프로그램입니다 현재 코드 리팩토링, 모듈화 단계 진행중입니다

아이디어

VR 기기는 값이 비싸고 사용시 다양한 단점이 발생하는데, VR 기기 없이 VR 게임을 즐길 수는 없을까? 라는 아이디어에서 시작된 웹캠을 기반으로 한 동작 예측 프로그램입니다.

코드 동작 원리

1. OpenCV를 이용하여 웹캠으로 사용자의 동작을 인식받습니다
2. mediapipe를 이용하여 특정 관절 부위 좌표를 인식한 후 좌표값을 numpy 형식의 배열로 저장합니다
3. 저장된 배열을 Tenworflow 라이브러리를 이용하여 프로세싱을 거칩니다
4. 프로세싱한 배열을 제작된 RNN 모델에 학습을 시키고 최종적으로 새로운 동작을 웹캠을 통해 인식받았을 때 어떠한 동작인지 예측할 수 있습니다
5. 이를 이용하여 특정 동작에 매치되는 키를 입력받아 게임을 플레이 할 수 있습니다

사용해보기

현재 코드 리팩토링, 모듈화 단계 진행중입니다

Version

python ~3.10 mediapipe==0.9.3.0 tensorflow==any version

에러 관련

mediapipe 설치 경로에 한글이 들어가 있을 경우, 실행이 안되는 에러가 있습니다.
기타 에러 발생시 Issues를 통한 문의 부탁드립니다.