4-2 얼굴인식기반 실시간 교육 플랫폼 개발[KHU Face ID] - 얼굴인식 시스템 설계 및 개선

20 May 2020 in AI-Project

얼굴인식기반 실시간 교육 플랫폼 개발과정 중 얼굴인식 시스템 설계 및 개선한다.

[Github] 코드 원본

얼굴인식 모델의 파이프라인

얼굴인식 모델의 파이프라인은 크게 두 단계로 나누어진다.

1. MTCNN을 활용한 얼굴위치 확인 [MTCNN에 대한 상세설명]

MTCNN을 통해 들어온 영상에서 얼굴의 위치를 검출한다. MTCNN은 그림과 같이 세 가지 네트워크를 통해 영상에 있는 여러 얼굴의 위치를 빠르게 파악할 수 있기때문에 본 프로젝트에 적합하여 이를 채택하였다.

2. FaceNet을 활용한 얼굴의 특징 추출 및 신원 확인 [FaceNet에 대한 상세설명]

FaceNet을 통해 앞서 검출된 얼굴에서 128개의 특징값을 추출한다. 이 값들을 다시 128차원으로 임베딩하면 각 얼굴(사람)간의 유클리드 거리를 계산하여 얼굴을 구분할 수 있게 된다.

직접 실험한 영상

추가 개선사항

1. 데이터 증가

인당 5장(정면, 웃음, 안경, 좌측아래, 우측아래)으로 데이터를 확보하여 다양한 각도에서 잘 인식할 수 있도록 한다.

2. Github[Code]를 참고하여 데이터를 flip하여 사용

3. Pruning을 하여 모델을 경량화 (실패)

모델자체는 경량화 되었으나 성능이 너무 낮아져 사용하지 않기로 하였다.