The Visionary Researcher

Research/Gait Recognition 3건이 검색되었습니다.

논문 : Click


"DTW-Based Kernel and Rank-Level Fusion for 3D Gait Recognition Using Kinect"

2015 The Visual Computer

Author : Faisal Ahmed

댓글 0

논문 : Click


"DTW-Based Gait Recognition from Recovered 3-D Joint Angles and Inter-ankle Distance"

2014 Computer Vision and Graphics

Author : Tomasz Krzeszowski et al.

(Model based approach)


<Key Point>

1. markerless 3D motion tracking algorithm을 이용해서 motion을 추정

(Vicon motion capture system에 의하여 성능 정검)

[Vicon社에서 모션 캡쳐 카메라 판매, 해당카메라를 이용한 database 여럿 존재] [1] [2]

2. 3D joint angle과 inter ankle distance이라는 metric을 이용하여 각 관절의 cost를 구한다.

3. 그 cost가 최대로 되도록 하는 DTW를 이용하여 identification을 수행한다.

(총 cost가 큰 것으로 하는지? NN?)

4. motion을 추정해서 identification을 하기 때문에 view invariant


<Introduction>

1. Biometric feature로써 gait의 장점

2. Gait recognition의 종류

2-1. Appearence : 전체적인 패턴(실루엣, 컨투어) 이용, 단 view에 많은 의존(특정한 view에서 성능이 좋다)

2-2. Model : Kinematic 특성에 의해 Gait를 특징짓은 parameter 추정, high complexity

3. 3D gait 연구의 진화(biomechanics의 지원), view에 저항적 

[3] Joint angle에서 DTW, 유클리디언 distance, nearest neighbor

[4] 3D motion parameter matching, tracking, restoring

[5] multi camera method, non frontal pose 극복

4. 연구가 활발하게 진행되고 있지만, 아직 발전되어야 될 것이 많다.

(한계점 : View point, camera setup, lightning, walking surface, different clothing 등)

5. 이러한 한계점 극복하기 위해서는 background subtraction 능력이 필요하다

6. 따라서 제안하는 연구는 markerless motion tracking algorithm(GT:vicon camera)을 이용하여 3D 관절의 각도,위치를 추정한다.

7. 그리고 3D 관절의 각도와 거리를 이용하여 각 관절 사이의 cost를 구하고 DTW를 이용하여 총 cost를 구한다.

8. 이 과정에서 두 개의 euler angle 사이에서 euclidean distance를 계산하는 metric을 제안하고, quaternion distance metric과 비교한다. (둘다 DTW사용해서 classification accuracy 이용)

9. 마지막으로 rotation distance와 inter-ankle distance를 합침으로써 accuracy가 증가하는 것을 제시한다.

6~9까지 제안하는 논문 내용


<Articulated Motion Tracking>

1. Motion capture system의 목적은 움직임에서 관절과 관절 사이를 분할하여 뼈대를 찾는 것이다.

2. Vicon社의 적외선 카메라와 몸에 직접 부착하는 marker(빛 방출)를 이용하여 3D 좌표를 구한다.(C3D format, xyz좌표계, 19분할 segment) -> Ground truth

3. markerless 3D motion tracking을 위하여 pose estimation을 한다.

4. 이때 3D motion을 추정하기 위하여 a modified particle swarm optimization(APSO) 알고리즘을 사용한다. [6]


<DTW on Joint Rotations and Geometric Relations>

DTW내용

1. 두개의 sequence(1*N, 1*M)를 비교하기 위해 temporal sequence를 비교하기 위해 DTW사용

2. DTW는 cost matrix(N*M)에서 동적 프로그래밍을 이용하여 nonlinear하게 warping하면서 최적의 path를 찾는 방법 [시간 O(NM)]

3. 한 사람이 다른사람보다 빠르다고 할 지라도 nonlinear warping을 하기 때문에 최적의 path를 찾을 수 있다.

Metric내용

1. DTW를 적용할때 주로 Quaternion-based pose distance [7]를 사용(따라서 이 방법과 제안한 metric 비교)

2. [7]의 단점은 원점에 대한 rotation만 고려한다.

3. 이를 대안하기 위하여, joint rotation에 대응하는 각각의 거리와 geometric 관계를 이용한다. (??)

4. Euler angle differences를 제안(joint rotation의 거리 측정)

5. local cost는 B관절(root에 직접연결) 근처의 Euler angle difference의 합으로 계산된다.

6. local cost와 높이, inter ankle distance, 2개의 weight를 이용하여 total cost(objective function)을 계산할 수 있다.

7. 이러한 total cost는 두 프레임(pose)간의 점수를 말하며 cost matrix의 하나의 원소에 해당된다.


<Experimental Results>

1. markerless motion tracking system 평가 : 22명, 각각 2번 걸음(straight, diagonal)

2. 300개의 particle과 프레임당 APSO를 20번 반복을 적용하여 결과를 얻을 수 있다.

3. 평가표는 평균 euclidean distance 이용

4. 다음으로 markerless / marker dataset에 대하여 각각의 metric을 이요하여 accuracy 비교

4.1 quaternion geodesic distance

4.2 angle distance metric(유클리드, 맨하탄) 

4.3 angle distance + inter ankle distance + height(유클리드, 맨하탄) : 가장 성능 좋다

5. rank 1, 2, 3까지 비교하였으며 10-fold cross validation과 test/validation set 나눠서 적용

6. confusion matrix또한 angle distance + inter ankle distance + height의 경우 깔끔

7. DTW그림도 비교하면서 angle distance + inter ankle distance + height의 성능 강조



<Reference>

[1] https://www.vicon.com/

[2] http://mocap.cs.cmu.edu/

[3] Tanawongsuwan, R., Bobick, A.: Gait recognition from time-normalized joint-angle trajectories in the walking plane. In: CVPR, vol. 2, pp. 726–731 (2001)

[4] Urtasun, R., Fua, P.: 3D tracking for gait characterization and recognition. In: Proc. of IEEE Int. Conf. on Automatic Face and Gesture Rec., pp. 17–22 (2004)

[5] Gu, J., Ding, X., Wang, S., Wu, Y.: Action and gait recognition from recovered 3-D human joints. IEEE Trans. Sys. Man Cyber. Part B 40(4), 1021–1033 (2010)

[6] Krzeszowski, T., Kwolek, B., Michalczuk, A., Swito´ ´ nski, A., Josi´nski, H.: View independent human gait recognition using markerless 3D human motion capture. In: Bolc, L., Tadeusiewicz, R., Chmielewski, L.J., Wojciechowski, K. (eds.) ICCVG 2012. LNCS, vol. 7594, pp. 491–500. Springer, Heidelberg (2012)

[7]  Switonski, A., Polanski, A., Wojciechowski, K.: Human identification based on the reduced kinematic data of the gait. Int. Sym. Sig. Pr. Anal., 650–655 (2011)

댓글 0

논문 : Click


"Classification of Gait Types Based on The Duty-Factor"

Author : Preben Fihl et al.

(Appearance based approach)


<Key point> 

1. Duty Factor라는 것을 이용해서 걸음걸이의 종류(Walk, Jog, Run)를 분류한다. [1]

(Duty Factor : the fraction of the duration of a stride for which each foot remains on the ground)

(발이 땅에 얼마나 오래동안 붙어있는지 비율을 이용)

(달리는 속도와 Camera setup에 independent, 달리는 속도로 걸음걸이 종류를 분류하는 것이 아님)

2. 실루엣은 Codebook Method에 의해서 추출되고, Shape Contexts에 의해서 표현된다.

3. 실루엣 매칭을 위해서 Hungarian method가 사용된다.


<Introduction 논리 전개>

1. Video Surveilance 분야의 성장과 중요성

2. 주어진 환경에서 Gait Recognition의 연구진행, 여러움 제기

3. 속도가 걸음걸이는 분류하는 기준이 아니다

(달리는 것은 단순히 걷는 것의 속도가 빠른 버전이 아니다)

4. 걸음걸이를 분류하기 위한 Descriptor가 필요하다(Duty factor의 필요성)

5. Duty factor의 정의

6. 실험 database 설명

7. Duty factor의 성능과 장점 명시

8. model based approach 설명(pose estimation 필요, model 추정)

9. 정확한 pose estimation 필요없다. (model free, appearance based)

10. database에서 비슷한 실루엣을 찾고 해당 정보를 이용한다.


<Silhouette Database>

1. 하나의 DB에서 각 걸음걸이 종류 1개씩 생성한다.

2. 애니메이션을 이용하여 생성

3. 총 90개의 실루엣

4. 3대의 카메라 앵글(30도씩 움직이며, 애니메이션으로)


<Silhouette Extraction>

1. Codebook background substraction 사용 [2] [3]


<Silhouette Description>

1. 다리부분만 사용

2. Scale과 translation에 invariant한 descriptor이용

3. Shape Contexts [4] 에 거리로 정규화 적용

4. 실루엣에서 n개의 점과, K개의 bin 존재, 따라서 실루엣당 n * (K+1) matrix 생성


<Silhouette Comparison>

1. 두 실루엣을 x^2 test statistics을 이용하여 매칭점수 계산

2. 두 실루엣에서 각 점간의 cost를 계산(n * n matrix)

3. cost는 n * (K+1) matrix 두개를 이용하여 계산

4. cost matrix에서 총 cost가 최소가 되도록 하는 hungarian matching method 이용


<Duty-Factor Calculation>

1. 발이 땅바닥에 얼마나 오래동안 붙어있는지 비율을 이용

2. 이를 통해서 걸음걸이 분류가 가능

3. Label이라고 생각하면 될듯


<Results>

1. 총 131 seqeunces, 카메라 방향, 움직이는 방향, 해상도 변함, 22명의 사람, 다양한 실루엣 높이 변화

2. n은 100, K는 60, 3종류 분류결과 81.7%


<Discussion>

1. Jog와 run의 모호성

2. 안좋은 성능의 background subtraction, 안좋은 성능의 DB로 인한 오류



Reference

[1] R. Alexander. Energetics and Optimization of Human Walking and Running: The 2000 Raymond Pearl Memorial Lecture. American Journal of Human Biology, 14, 2002.

[2] P. Fihl, R. Corlin, S. Park, T. Moeslund, and M. Trivedi. Tracking of Individuals in Very Long Video Sequences. In Int. Symposium on Visual Computing, Lake Tahoe, Nevada, USA, November 6-8 2006.

[3]  K. Kim, T. Chalidabhongse, D. Harwood, and L. Davis. Real-time Foreground-Background Segmentation using Codebook Model. Real-time Imaging, 11(3):167–256, 2005.

[4] S. Belongie, J. Malik, and J. Puzicha. Shape matching and object recognition using shape contexts. PAMI, 24(4), 2002.

댓글 0