The Journal of the Acoustical Society of Korea (한국음향학회지)

The Acoustical Society of Korea (한국음향학회)
권호 표지
DOI QR코드

DOI QR Code

Acceleration signal-based haptic texture recognition according to characteristics of object surface material using conformer model

Conformer 모델을 이용한 물체 표면 재료의 특성에 따른 가속도 신호 기반 햅틱 질감 인식

  • 김형국 (광운대학교 전자융합공학과) ;
  • 정동기 (광운대학교 전자융합공학과) ;
  • 김진영 (전남대학교 ICT융합시스템공학과)
  • Received : 2023.04.13
  • Accepted : 2023.05.18
  • Published : 2023.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a method to improve texture recognition performance from haptic acceleration signals representing the texture characteristics of object surface materials by using a Conformer model that combines the advantages of a convolutional neural network and a transformer. In the proposed method, three-axis acceleration signals generated by impact sound and vibration are combined into one-dimensional acceleration data while a person contacts the surface of the object materials using a tool such as a stylus , and the logarithmic Mel-spectrogram is extracted from the haptic acceleration signal similar to the audio signal. Then, Conformer is applied to the extracted the logarithmic Mel-spectrogram to learn main local and global frequency features in recognizing the texture of various object materials. Experiments on the Lehrstuhl für Medientechnik (LMT) haptic texture dataset consisting of 60 materials to evaluate the performance of the proposed model showed that the proposed method can effectively recognize the texture of the object surface material better than the existing methods.

본 논문에서는 합성곱 신경망과 트랜스포머의 장점을 결합한 Conformer 모델을 이용하여 물체 표면의 질감특성을 나타내는 햅틱 가속도 신호로부터 질감 인식 성능을 향상시키는 방식을 제안한다. 제안한 방식에서는 사람이 스타일러스와 같은 도구를 이용하여 물체 표면과 접촉하는 동안 충격음과 진동에 의해 발생한 3축 가속도 신호를 1차원 가속도 데이터로 결합하고, 오디오 신호와 유사성을 갖는 햅틱 가속도 신호로부터 로그 멜-스펙트로그램을 추출한다. 그리고 추출된 로그 멜-스펙트로그램에 Conformer 모델을 적용하여 다양한 물체의 질감을 인식하는 데 있어 주요한 지역적 및 전역적인 주파수 특징을 학습한다. 제안된 모델의 성능 평가를 위해 60개의 재질로 구성된 Lehrstuhl für Medientechnik(LMT) 햅틱 질감 데이터세트를 실험한 결과 제안된 방식이 기존 방식들보다 물체 표면 재료의 질감을 효과적으로 잘 인식할 수 있음을 보였다.

Keywords

Acknowledgement

본 논문은 2023년도 광운대학교 우수연구자 지원사업에 의해 연구되었으며, 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2023R1A2C1006756).

References

  1. R. Chaudhari, B. Cizmeci, K. J. Kuchenbecker, S. Choi, and E. Steinbach, "Low bitrate source-filter model based compression of vibrotactile texture signals in haptic teleoperation," Proc. ACM Multimedia, 409-418 (2012).
  2. M. Strese, C. Schuwerk, and E. Steinbach, "Surface classification using acceleration signals recorded during human freehand movement," Proc. IEEE WHC, 214-219 (2015).
  3. M. Strese, C. Schuwerk, A. Iepure, and E. Steinbach, "Multimodal feature-based surface material classification," IEEE Trans. on Haptics, 10, 226-239 (2016). https://doi.org/10.1109/TOH.2016.2625787
  4. N. Landin, J. M. Romano, W. Mcmahan, and K. J. Kuchenbecker, "Dimensional reduction of high-frequency accelerations for haptic rendering," Proc. Eurohaptics, 79-86 (2010).
  5. A. Gulati, J. Qin, C.-C. Chiu, N. Parmar, Yu Zhang, J. Yu, W. Han, S. Wang, Z. Zhang, Y. Wu, and R. Pang, "Conformer: convolution-augmented transformer for speech recognition," Proc. Interspeech, 5036-5040 (2020).
  6. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is all you need," Proc. NIPS, 1-11 (2017).
  7. Y. Lu, Z. Li, D. He, Z. Sun, B. Dong, T. Qin, L. Wang, and T.-Y. Liu, "Understanding and improving transformer from a multi-particle dynamic system point of view," arXiv preprint arXiv:1906.02762 (2019).
  8. P. Ramachandran, B. Zoph, and Q. V. Le, "Searching for activation functions," arXiv preprint arXiv:1710.05941 (2017).