The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Soft Sign Language Expression Method of 3D Avatar

3D 아바타의 자연스러운 수화 동작 표현 방법

  • 오영준 (한국과학기술원 인간친화 복지 로봇시스템 연구센터) ;
  • 장효영 (한국과학기술원 전자전산학과) ;
  • 정진우 (동국대학교 정보산업대학 컴퓨터공학과) ;
  • 박광현 (한국과학기술원 전자전산학과) ;
  • 김대진 ;
  • 변증남 (한국과학기술원 전자전산학과)
  • Published : 2007.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposes a 3D avatar which expresses sign language in a very using lips, facial expression, complexion, pupil motion and body motion as well as hand shape, Hand posture and hand motion to overcome the limitation of conventional sign language avatars from a deaf's viewpoint. To describe motion data of hand and other body components structurally and enhance the performance of databases, we introduce the concept of a hyper sign sentence. We show the superiority of the developed system by a usability test through a questionnaire survey.

본 논문에서는 실제 수화자의 관점에서 기존 수화 아바타의 한계와 문제점을 지적한다. 이를 해결하기 위하여 손 모양, 손 방향, 손 운동을 비롯하여 입술 움직임, 얼굴 표정, 안색, 운동자 움직임, 몸동작 등을 통해 수화를 보다 자연스럽게 표현할 수 있는 수화 아바타를 개발하였다. 또한, 데이터베이스의 성능을 높이기 위해 손의 움직임과 함께 다른 신체 요소들의 움직임을 구조적으로 같이 기술할 수 있는 하이퍼 수화 문장을 제안한다. 개발된 시스템의 우수성을 보이기 위해 실제 청각 장애인을 대상으로 설문조사를 수행하여 시스템의 사용성을 평가하였다.

Keywords

References

  1. 석동일, 한국수화의 언어학적 분석, 박사학위논문, 대구대학교 대학원, 1989년
  2. Japan Times, 1992년 9월 1일
  3. 변증남, 장원, 김종성, 박규태, 지능적 인식 및 제어에 관한 연구 II, 한국과학기술원 보고서, 1994년 4월
  4. Jong Sung Kim, Won Jang, and Zeungnam Bien, 'A Dynamic Gesture Recognition System for the Korean Sign Language (KSL),' IEEE Transactions on Systems, Man, and Cybernetics, Vol. 26, No. 2, pp. 354-359, April 1996 https://doi.org/10.1109/3477.485888
  5. 변증남, 장원, 김정배, 김대진, 조성식, 청각장애인 교육을 위한 수화 통역시스템의 개발, 한국과학기술원 보고서, 2000년 1월
  6. 김대진, 김정배, 장원, 변증남, 'TV 자막 신호를 이용한 한글 수화 발생 시스템의 개발,' 대한전자공학회 논문지, 제 39권, 제 5호, pp. 32-44, 2002년 9월
  7. 김정배, 한글 수화용 연속적 손동작 인식 시스템에 관한 연구, 박사학위 논문, 한국과학기술원, 2004년
  8. 오영준, 박광현, 장효영, '수화 동작 그래픽 편집기 개선에 관한 연구,' 정보과학회 HCI 2006 학술대회 논문집, pp. 976-981. 2005년 1월 31일 2월 3일
  9. Dae-Jin Kim, Jin Woo Jung, and Zeungnam Bien, 'A Development of Sign Language Avatar for Text to Sign Translator,' Proceedings of the 6th International Symposium on Advanced Intelligent Systems (ISIS 2005), pp. 1141-1145, September 28 October 1, 2005
  10. 오영준, 박광현, 장효영, 김대진, 정진우, 변증남, '하이퍼 수화문장을 사용한 수화 생성 시스템', 제25회 한국정보처리학회 춘계학술대회 논문집, pp. 621-624, 2006년 5월 13일-14일
  11. J. A. Bangham, S. J. Cox, R. Elliott, J. R. W. Glauert. I. Marshall, S. Rankov, and M. Wells, 'Virtual Signing: Capture, Animation, Storage and Transmission An Overview of the ViSiCAST Project,' IEEE Seminar on Speech and Language Processing for Disabled and Elderly People (Ref. No. 2000/025), pp. 6/1 6/7, April 4, 2000 https://doi.org/10.1049/ic:20000136
  12. ViSiCAST at UEA, http://www.visicast.sys.uea.ac.uk/index.html
  13. Hitachi, Ltd., 수화 Mimegand II, http://www.hitachi.co.jp/Prod/comp/app/shuwa/mimehand/
  14. Frey, William H., Crying: The Mystery of Tears, Minneapolis, Minn., Winston Press, 1985
  15. 손천식, '한국수화의 관용표현,' 한국수화연구회 제1회 공개 연구발표회 수화.농문화를 생각하는 세미나, Vol.1, pp. 31-41, 2000년
  16. M. Lincoln and S. Cox, 'A Comparison of Language Processing Techniques for a Constrained Speech Translation System,' Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing, Vol. 1, pp. 612-615, April 2003
  17. J. Hou and Y. Aoki, 'A Real Time Interactive Non-Verbal Communication System through Semantic Feature Extraction,' Proceedings of IEEE International Conference on Multimedia and Expo, pp. 425-428, August 26-29, 2002 https://doi.org/10.1109/ICME.2002.1035629
  18. B. de Carolis, C. Pelachaud, I. Poggi, M. Steedman, 'APML, a Mark-up Language for Believable Behavior Generation', in H. Prendinger, Ed, Life-like Characters, Tools, Affective Functions and Applications, Springer, 2004
  19. 간다 카즈유키, 나가시마 유지, 이시카와 아키라, 'sIGNDEX 제안 - 수화의 라벨링화의 개념,' 전자정보통신학회 교육공학연구회 신학기보, Vol. 96, No. 604, pp. 47-52, 1996년
  20. sIGNDEX표기법, 수화정보학연구회 (SIG-SILE), http://www.ns.kogakuin.ac.jp/~wwc1015/sig-sile/
  21. 김영순, '신체언어 커뮤니케이션의 기호학,' 커뮤니케이션 북스, 2001년 2월
  22. 최윤희, '비언어 커뮤니케이션,' 커뮤니케이션북스, 1999년 10월
  23. 홍기선,'비언어 커뮤니케이션 분류에 대한 연구,' 커뮤니케이션과학 13호, 1995
  24. 이경원, 장선희, 'CVE 디자인을 위한 3D 아바타의 동작 표현 연구', 한국콘텐츠학회논문지 제5권 제4호, 2005, pp. 122-132, 2005
  25. 추계자, '화용론적 관점에서 본 독일어 신체언어 기호', 독일어문학, 제 11집, pp.492, 2000
  26. E. Bevacqua, C. Pelachaud, Expressive Audio-Visual Speech, Journal of Visualization and Computer Animation, Vol.15, n. 3-4, p. 297-304, July 2004 https://doi.org/10.1002/cav.32
  27. 공광식, 김웅순, 김창헌, '비주얼 에이전트를 위한 한글 입술 움직임 모델,' 한국정보과학회 학술발표논문집 1998년도 봄(B), pp. 344-346 , 1998. 4
  28. 이호영, '국어음성학,' 태학사, 1996
  29. Kyu-Ho Park Kyoung-Nam Kim Nam-Keum Doh Tae-Yong Kim , 'Game Character Active Facial Color Engine based on the Theory of Emotion-Color Association,' IEEE Hybrid Information Technology, 2006. ICHIT'06, Vol.2, pp.751-757, Nov. 2006 https://doi.org/10.1109/ICHIT.2006.253693
  30. 윤혜림, '컬러리스트학,' 국제, 2004
  31. Stokoe W. ,'Sign language structure: An outline of the. visual communication system of the American deaf,' Linstock Press, Silver Spring, 1978
  32. I. Poggi, C. Pelachaud, 'Signals and meanings of gaze in animated faces,' In P. McKevitt (Ed.) Language, vision and music, Amsterdam: John Benjamins, 2000
  33. C. Pelachaud, M. Bilvi, 'Computational Model of Believable Conversational Agents,' in 'Communication in Multiagent Systems: background, current trends and future', Mare Philippe Huget (Ed), Springer Verlag, Lecture Notes in Computer Science, vol. 2650, pp. 300-317, 2003
  34. Adamo-Villani, N., Beni, G., White, J. '3D simulator of ocular motion and expression,' ICIT 2005 - International Conference on Information Technology, October 2005, Budapest, Transcations on Engineering, Computing and Technology, Vol..8, pp.122-127, 2005
  35. E. Hecht, 'Optics, 2nd Ed.', Addisobn Wesley, 1987
  36. Tversky, A., and Kahne man, D, 'Availability: A heuristic for judging frequency and probability,' Cognitive Psychology 4:207-232 , 1973 https://doi.org/10.1016/0010-0285(73)90033-9
  37. 스테레오피아 주식회사, '입체 영상 기술의 원리', http://www.stereopia.com/forum/forum.html
  38. 홍성호 을지대학병원 안과 교수, '안구건조증', http://www.emc.ac.kr
  39. Robert Plutchik, 역자 : 박권생, '정서심리학', 학지사, 2004년

Cited by

  1. Web-based Text-To-Sign Language Translating System vol.24, pp.3, 2014, https://doi.org/10.5391/JKIIS.2014.24.3.265