본 논문은 남/여 성별에 기반해 음성을 평상, 기쁨, 슬픔, 화남의 4가지 감성 상태로 분류하는 감성인식 시스템을 구축하였다. 제안된 시스템은 입력 음성으로부터 1차적으로 남/여 성별을 분류하고, 분류된 성별을 기반으로 남/여 각기 최적의 특징벡터 열을 적용하여 감성인식을 수행함으로써 감성인식 성공률을 향상시켰다. 또한 음성인식에서 주로 사용되는 ZCPA(Zero Crossings with Peak Amplitudes)를 감성인식용 특징벡터로 사용하여 성능을 향상시켰으며, 남/여 각각의 특징 벡터 열을 최적화하기 위해 SFS(Sequential Forward Selection) 기법을 사용하였다. 감성 패턴 분류기로는 k-NN과 SVM을 비교하여 실험하였다. 실험결과 제안 시스템은 4가지 감성상태에 대해 약 85.3%의 높은 감성 인식 성공률을 달성할 수 있어 향후 감성을 인식하는 콜센터, 휴머노이드형 로봇이나 유비쿼터스(Ubiquitous) 환경 등 다양한 분야에서 감성인식 정보를 유용하게 사용될 수 있을 것으로 기대된다.