MediaPipe를 이용하여 Hand Tracking & 손 동작 인식 쉽게 테스트 하기

 구현 동기

모바일 환경에서의 AR 프로젝트를 진행하고, 다른 AR 프로젝트를 많이 보면서 느낀 게 한 가지 있다면 대개 사용자한테 입력을 받을 때 스마트폰 터치로 받는 경우가 많았다. 이런 점에 약간의 아쉬움이 있어 직접 손을 추적하여, AR 로 증강한 오브젝트와 상호작용 하는 것을 구현해 보고 싶었다. 

얼마 전에, 발표한 애플의 Vision Pro에서의 컨트롤러 없는 장면이 인상 깊은데, 디바이스가 글래스와 스마트폰이냐에 차이 일 뿐 내가 상상하는 그림을 가지고 있었다.

찾아보니, Unity 엔진 자체에는 아직 손 동작을 인식하기 위한 공식적인 프레임워크나 라이브러리가 없어 보였다.

그렇기에, 외부에서 제스처 인식, 손 동작 데이터를 Unity 엔진에서 받아오는 방식을 선택했다.

 

 

 MediaPipe는 무엇인가?

Hand LandMark (핸드 랜드마크)

손 동작 인식을 위해 MediaPipe를 이용하게 되었다. MediaPipe는 실시간 비전 및 오디오 처리 파이프라인을 구축하기 위한 프레임워크이고, 구글에서 개발되었다. 주로, 컴퓨터비전, 제스처 인식, 객체 추적, 얼굴 감지 등의 작업에 사용된다.

 

ML(머신 러닝)을 사용하여 손마다 21개의 3D 랜드마크를 프레임마다 추론하는데, 휴대폰에서도 실시간 성능을 달성하고 2개 이상의 손을 인식할 수도 있다고 한다.

원리는 간략하게 모든 이미지에서 손을 감지하여 손 경계 박스를 반환하는 Palm Detection Model (손바닥 감지 모델) 활용 후 추출된 이미지 영역에 3D 핸드 키포인트를 반환하는 Hand Landmark Model (핸드 랜드 마크 모델)이 이용된다.

 

좀 더 자세히 궁금하다면, 아래 블로그를 참고하면 좋을 것 같다.

https://puleugo.tistory.com/10

[파이썬] MediaPipe 손 인식(Hands)

 

 

 

 

 

 

 

 PyCharm에서 손 동작 인식 구현하기

개발환경은 PyCharm을 이용해서 Python 코드로 구현을 쉽게 진행할 수 있다.

여기서 만약, 웹캠(Webcam)이 따로 준비가 되어 있지 않다면, 휴대폰 카메라를 활용한 IP WebCam 어플을 Play Store에서 다운받아서 시작해 볼 수 있다.

PyCharm이 설치되었다면, File - Settings 클릭

 

필요한 패키지 CvZone 와 MediaPipe를 검색해서 Install 해줍니다.

CvZone은 OpenCV와 함께 사용되는 오픈소스 라이브러리로 얼굴인식, 랜드마크 감지, 자세 추정, 동작 인식 등과 같은 작업을 수행하는 데 도움을 주는 도구입니다.

 

CVZone을 만약 최신 버전으로 Install 하고, 아래와 같이 Import를 시켜주었는데

import cv2

OpenCV에 관해 자동 완성이 진행이 안 된다면, OpenCV-Python을 4.5.5.64로 낮춰서 다시 설치를 해주시면 정상적으로 자동 완성이 사용 가능해집니다.

 

import cv2
from cvzone.HandTrackingModule import HandDetector

# IP WebCam 어플을 사용 할 경우
cap = cv2.VideoCapture("http://Your IP Number/video")
# WebCam 을 사용할 경우
cap = cv2.VideoCapture(0)


# 손을 감지
detector = HandDetector(maxHands=1, detectionCon=0.8)

while True:
# 웹켐에서 프레임 가져오기
success, img = cap.read()

# Hands
hands, img = detector.findHands(img)

cv2.imshow("Image", img)

if cv2.waitKey(1) == ord("q"): # q 누를 시 웹켐 종료
break

위 코드는 웹켐으로부터 영상을 받아와 사용자의 손을 감지하게 됩니다. 아래는 코드의 각 부분에 대한 설명입니다.
 
1. 라이브러리 임포트:
- `import cv2`: OpenCV 라이브러리를 임포트합니다.
OpenCV는 영상 처리와 컴퓨터 비전 작업을 위한 라이브러리입니다.
- `from cvzone.HandTrackingModule import HandDetector`: cvzone 패키지에서 HandDetector 모듈을 임포트합니다. 이 모듈은 손을 감지하고 추적하는 기능을 제공합니다.

2. IP 웹캠 설정:
- `cap = cv2.VideoCapture(0)`: 웹캠에서 영상을 받아오기 위해 `cv2.VideoCapture` 객체를 생성합니다. `0`은 기본 웹캠을 의미합니다.

3. 손 감지 객체 생성:
- `detector = HandDetector(maxHands=1, detectionCon=0.8)`: `HandDetector` 객체를 생성합니다. `maxHands`는 감지할 손의 최대 수를 지정하며, `detectionCon`은 손을 감지하기 위한 신뢰도 임계값을 설정합니다.

4. 영상 처리 루프:
- `while True:`: 무한 루프를 시작합니다.
- `success, img = cap.read()`: 웹캠에서 프레임을 읽어옵니다.
 `success`는 프레임 읽기가 성공했는지를 나타내는 불리언 값이고, `img`는 읽어온 프레임 이미지입니다.

5. 손 감지:
- `hands, img = detector.findHands(img)`: `HandDetector` 객체의 `findHands()` 메서드를 사용하여 손을 감지합니다. `img`에는 손 감지 결과가 그려진 이미지가 반환되고, `hands`에는 감지된 손에 대한 정보가 담긴 리스트가 반환됩니다.

6. 영상 출력:
- `cv2.imshow("Image", img)`: `img`에 저장된 이미지를 "Image"라는 창에 출력합니다.

7. 종료 조건:
- `if cv2.waitKey(1) == ord("q"):`: 사용자가 "q" 키를 누르면 루프를 종료합니다.
- `cv2.waitKey(1)`: 사용자의 키 입력을 1밀리초 동안 대기하고, 입력이 있으면 해당 키의 유니코드 값을 반환합니다.
- `ord("q")`: 문자 "q"의 유니코드 값을 반환합니다.
- `break`: 루프를 종료합니다.

 

 

 실행 화면

저는 IP WebCam 어플을 사용하여 일반 WebCam을 이용한 실행 화면이랑 다를 수 있습니다.

IP WebCam 어플을 사용하신다면 어플을 먼저 실행 후, 코드를 Run 해주세요.

 

오른손

오른손

왼손

왼손

오른손, 왼손 쥐었다 폈다 해보면서 정상적으로 손이 잘 인식되는 장면을 확인할 수 있습니다.