[Unity AR] Unity AR Hand Tracking / 실시간 핸드 트래킹 구현 - ManoMotion + AR Foundation

 

안녕하세요. 이번 글은 Unity AR 환경에서 실시간으로 오브젝트와 직접 "손"으로 상호작용할 수 있게 하도록 만들어보고자 합니다. Unity 자체에서는 "손 추적" 관련한 툴을 제공하지 않기에 외부 SDK인 ManoMotion을 이용합니다. 환경을 구축하는데 모든 과정을 담으려면 글 하나로는 벅찰 수 있기에 핵심적인 부분과 제가 참고한 영상을 첨부하겠습니다. 영상은 모든 과정을 담아주기에 누구나 쉽게 참고하실 수 있을 것입니다.

 

 

https://youtube.com/shorts/viodtUDVm_4?feature=share 

 

 

 

 

 

 ManoMotion 무엇인가?

 

ManoMotion은 손 인식 기술을 개발하는 회사로, 손 모션 및 제스처를 사용하여 인터랙션 하는 애플리케이션을 개발하기 위한 SDK를 제공합니다. 모바일 기기의 카메라를 통해서도 사용자의 손의 위치, 움직임, 동작 등을 실시간으로 추적하여 애플리케이션에 전달해 줍니다. Unity 및 Unreal 같은 게임 엔진에도 통합되어 쉽게 앱 또는 게임에도 통합할 수 있습니다.

 

Unity 안에서 "손 추적" 을 위해 MediaPipe를 사용할 수도 있지만, ManoMotion은 손 인식과 제스처 기능에 중점을 두었지만 MediaPipe는 객체 추적, 동작 인식, 얼굴 감지 등 다양한 비전 및 오디오 처리 알고리즘을 제공하고 있어 둘의 목적과 지원하려는 기능에서 차이가 있습니다.

 

또한, ManoMotion SDK는 이미 개발된 알고리즘과 기능을 사용하여 애플리케이션을 구축하는 반면, MediaPipe는 제공된 도구와 라이브러리를 이용해 개발자가 필요한 알고리즘을 구현해야 합니다. 만들고자 하는 앱에 "손"으로 상호작용 관련된 기능을 추가하고 싶다. 빠르게 Start 하는 데에는 ManoMotion SDK가 유리할 수 있게 되는 것이죠.

 

 

 

 

 

 

 Unity에 ManoMotion 환경 구축

 

https://developer.manomotion.com/

Manomotion Developer – Let your hands talk to technology!

먼저 ManoMotion 웹 사이트 회원가입을 해줍니다.

 

 

회원가입 시 나타나는 창입니다. 주목해야 하는 건 빨간색 네모로 그려진 Get Started / 라이센스가 있습니다.

 

 

 

Get Started를 클릭해서 SDK를 다운받아 줍니다.

 

 

라이센스 정보입니다. SDK를 사용하려면 라이선스 Key가 필요하게 되는데, 만료되면 사용할 수 없는 것도 참고하시기를 바랍니다. 저도 이 글을 쓸 때 지금 라이선스가 만료되어 라이선스를 확인할 수가 없는 상황입니다.. 

재발급에 대한 정보를 못 찾고 있어서.. 혹시 아시는 분 있으시면 댓글로 꼭 알려주세요!!

 

 

https://www.youtube.com/watch?v=wQlNT-oDreQ&t=351s 

 

 

 

 

 

 Hand Gesture로 오브젝트 생성

 

 

AR 환경을 위해 AR Session Origin과 AR Session을 생성해 줍니다. 그리고 ARManomotionManager 과 ManomotionCanvas Prefab을 생성해 줍니다. SDK를 다운받으셨다면 검색창에 바로 찾으실 수 있습니다.

 

 

 

ARManomotionManager 인스펙터 모습입니다. 위 사진처럼 연결해 줍니다. 그리고 각자 발급받았던 라이센스 Key를 넣어줍니다.

 

 

 

Project Settings를 열어 Player 항목으로 넘어가 제공받았던 Bundle ID도 써넣어 줍니다.

 

 

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
 
public class SpawnObjcectOnClick : MonoBehaviour
{
    
    [SerializeField] private GameObject[] arObject;
    private int currentIndex = 0;
 
   // GameObject[] childObjects = new GameObject[arObject.transform.childCount];
   
 
    // Update is called once per frame
    void Update()
    {
        ManomotionManager.Instance.ShouldCalculateGestures(true);
 
        GestureInfo gestureInfo = ManomotionManager.Instance.Hand_infos[0].hand_info.gesture_info;
 
        ManoGestureTrigger currentGesture = gestureInfo.mano_gesture_trigger;
    
    
        if (currentGesture == ManoGestureTrigger.CLICK)
        {
            SpawnObject();
        }
    }
 
    private void SpawnObject()
    {
        ManomotionManager.Instance.ShouldCalculateSkeleton3D(true);
 
        TrackingInfo trackingInfo = ManomotionManager.Instance.Hand_infos[0].hand_info.tracking_info;
 
        float depthEstimation = trackingInfo.depth_estimation;
 
        Vector3 jointPosition = ManoUtils.Instance.CalculateNewPositionSkeletonJointDepth(new Vector3(trackingInfo.skeleton.joints[8].x, trackingInfo.skeleton.joints[8].y, trackingInfo.skeleton.joints[8].z), depthEstimation);
 
        //Instantiate(arObject, jointPosition, Quaternion.identity);
 
        Instantiate(arObject[currentIndex], jointPosition, Quaternion.identity);
        
        Handheld.Vibrate();
 
        currentIndex++;
 
    }
}

SpawnObjcectOnClick 클래스는 사용자가 클릭 제스처를 수행할 때마다 새로운 게임 오브젝트를 생성하고, 생성된 오브젝트를 순차적으로 변경하면서 생성하는 기능을 제공합니다.

1. Updata() 함수에서 매 프레임마다 Manomotion 제스처 인식을 활성화하고, 현재 인식된 제스처를 확인합니다.
현재 제스처가 ManoGestureTrigger.CLICK인 경우 SpawnObject() 메서드를 호출하여 새로운 오브젝트를 생성합니다.

2. SpawnObject() 메서드는 Manomotion 3D 스켈레톤 추적을 활성화하고, 손의 깊이 추정 정보를 가져옵니다.
추정된 깊이와 손의 관절 위치를 기반으로 생성 위치를 계산하여 'arObject' 배열에서 현재 인덱스에 해당하는 오브젝트를 생성합니다.

3. 생성된 오브젝트를 진동시키고, 배열 인덱스를 증가시킵니다.

 

 

 

영상과는 다르게 저는 Ar Object 변수를 배열로 만들어 여러 개의 오브젝트를 넣어주었습니다.

 

 

https://www.youtube.com/watch?v=9PRYIxb3tYk&list=PLSc07dYXbtBl8PTbnWSjbvREVmkbebPOv&index=4 

 

 

 

 

 

 "손"으로 직접 오브젝트를 잡고 옮기기

 

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
 
public class GrabInteraction : MonoBehaviour
{
    [SerializeField] private GameObject handPointer;
    private float skeletonConfience = 0.0001f;
 
 
    // Update is called once per frame
    void Update()
    {
        bool hasConfience = ManomotionManager.Instance.Hand_infos[0].hand_info.tracking_info.skeleton.confidence > skeletonConfience;
 
        if (hasConfience )
        {
            var palmCenter = ManomotionManager.Instance.Hand_infos[0].hand_info.tracking_info.palm_center;
 
            var depthEstimation = ManomotionManager.Instance.Hand_infos[0].hand_info.tracking_info.depth_estimation;
 
            Vector3 positionPointer = ManoUtils.Instance.CalculateNewPositionDepth(palmCenter, depthEstimation);
 
            handPointer.transform.position = positionPointer;
            handPointer.SetActive(true);
        }
 
        else
        {
            handPointer.transform.DetachChildren();
            handPointer.SetActive(false);
 
 
        }
    }
}

GrabInteraction 클래스는 손 추적을 기반으로 Hand Pointer를 업데이트 기능을 가지고 있습니다.

1. hasConfience 변수는 손의 추적 정보에서 스켈레톤의 신뢰도가 skeltonConfience 보다 큰지 여부를 확인합니다.

2. 만약 신뢰도가 충분히 크다면 손의 중심(palmCenter)과 깊이 추정 정보(depthEstimation)를 기반으로 손 포인터의 위치(positionPointer)를 계산합니다.

3. 계산된 위치로 손 포인터의 위치를 이동하고, 손 포인터를 활성화합니다. 

4. 만약 신뢰도가 충분하지 않다면, 손 포인터와의 부모-자식 관계를 해제하고 손 포인터를 비활성화합니다.

 

 

 

GrabInteraction 컴포넌트를 넣어주고, Hand Pointer로 사용할 오브젝트를 넣어줍니다. 

이제 Hand Pointer 오브젝트가 손의 중심에 위치하고, 손이 움직일 때마다 Hand Pointer도 따라서 움직이게 됩니다.

 

 

 

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
 
[RequireComponent(typeof(BoxCollider), typeof(Rigidbody))]
public class ObjectManipulator : MonoBehaviour
{
 
    [SerializeField] private Material[] materials = new Material[2];
    private Renderer objcectRenderer;
    private string handTag = "Player";
    private bool isGrabbing;
    private float skeletonConfidence = 0.0001f;
 
 
    // Start is called before the first frame update
    void Start()
    {
        objcectRenderer= GetComponent<Renderer>();
 
    }
 
    // Update is called once per frame
    void Update()
    {
        ManomotionManager.Instance.ShouldCalculateGestures(true);
 
        var currentGesture = ManomotionManager.Instance.Hand_infos[0].hand_info.gesture_info.mano_gesture_trigger;
 
        if(currentGesture == ManoGestureTrigger.GRAB_GESTURE)
        {
            isGrabbing = true;
 
        }
 
        else if (currentGesture == ManoGestureTrigger.RELEASE_GESTURE)
        {
            isGrabbing = false;
            transform.parent = null;
        }
 
        bool hasConfidence = ManomotionManager.Instance.Hand_infos[0].hand_info.tracking_info.skeleton.confidence > skeletonConfidence;
 
        if(!hasConfidence)
        {
            objcectRenderer.sharedMaterial = materials[0];
 
        }
    }
 
    private void OnTriggerEnter(Collider other)
    {
        if(other.gameObject.CompareTag(handTag))
        {
            objcectRenderer.sharedMaterial = materials[1];
            Handheld.Vibrate();
        }
 
        else if(isGrabbing)
        {
            transform.parent = other.gameObject.transform;
        }
    }
 
    private void OnTriggerStay(Collider other)
    {
        if(other.gameObject.CompareTag(handTag) && isGrabbing)
        {
            transform.parent = other.gameObject.transform;
        }
    }
 
    private void OnTriggerExit(Collider other)
    {
        transform.parent = null;
        objcectRenderer.sharedMaterial = materials[0];
    }
}
 

ObjectManipulator 클래스는 "손" 과의 충돌을 감지하여 오브젝트를 잡고 놓는 기능을 제공합니다.
RequireComponent() 의해 컴포넌트 생성 시 `BoxCollider`와 `Rigidbody` 컴포넌트가 자동 생성됩니다.

1. `materials`라는 `Material` 배열과 여러 변수들이 선언되었습니다. `objcectRenderer`는 렌더러 컴포넌트를 참조하고, `handTag`는 손을 나타내는 태그를 저장합니다. `isGrabbing`은 오브젝트를 잡고 있는지 여부를 나타내는 불리언 변수입니다. `skeletonConfidence`는 스켈레톤의 신뢰도 임계값을 나타냅니다.
2. `Start()` 메서드에서 `objcectRenderer`를 초기화합니다.
3. `Update()` 메서드는 매 프레임마다 호출되며, Manomotion 제스처 인식을 활성화하고 현재 인식된 제스처를 확인합니다.
4. 현재 제스처가 `ManoGestureTrigger.GRAB_GESTURE`인 경우 `isGrabbing`을 true로 설정합니다.
5. 현재 제스처가 `ManoGestureTrigger.RELEASE_GESTURE`인 경우 `isGrabbing`을 false로 설정하고, 오브젝트의 부모를 null로 설정하여 오브젝트의 부모-자식 관계를 해제합니다.
6. `hasConfidence` 변수는 손의 추적 정보에서 스켈레톤의 신뢰도가 `skeletonConfidence`보다 큰지 여부를 확인합니다.
7. 만약 신뢰도가 충분하지 않다면, `objcectRenderer`의 `sharedMaterial`을 `materials[0]`으로 설정하여 오브젝트의 머티리얼을 변경합니다.
8. `OnTriggerEnter()` 메서드는 트리거 충돌이 발생했을 때 호출됩니다. 만약 충돌한 게임 오브젝트의 태그가 `handTag`와 일치한다면, `objcectRenderer`의 `sharedMaterial`을 `materials[1]`로 설정하고, 진동을 발생시킵니다. 9. 그렇지 않고 `isGrabbing`이 true인 경우, 오브젝트의 부모를 충돌한 게임 오브젝트로 설정하여 오브젝트를 잡은 상태로 유지합니다.
10. `OnTriggerStay()` 메서드는 트리거 충돌이 지속되는 동안 호출됩니다. 충돌한 게임 오브젝트의 태그가 `handTag`와 일치하고 `isGrabbing`이 true인 경우, 오브젝트의 부모를 충돌한 게임 오브젝트로 설정하여 오브젝트를 잡은 상태로 유지합니다.
11. `OnTriggerExit()` 메서드는 트리거 충돌이 종료될 때 호출됩니다. 오브젝트의 부모를 null로 설정하고, `objcectRenderer`의 `sharedMaterial`을 `materials[0]`으로 설정하여 오브젝트의 머티리얼을 초기 상태로 되돌립니다.

 

 

 

GrabInteraction 클래스에서 handPointer로 지정한 오브젝트 Tag를 Player로 변경합니다.

 

 

 

이제 잡을 오브젝트에 ObjectManipulator 컴포넌트를 넣어줍니다. Materials[0]에는 오브젝트의 원래 Material을 넣어주고, Materials[1]에는 손으로 잡을 때 변할 Material을 넣어주면 됩니다. 

 

 

https://www.youtube.com/watch?v=RY_IbVgqPS0