Abstract
Recently, the daily life safety detection functionalities such as fall accident detection and burn danger detection are widely disseminated along with the development of IoT and smart home. These safety detection functionalities are mostly performed by artificial intelligence. However, simple accuracy measurement of the safety detection in laboratory environment is often far from practical performance in daily life environment. To mitigate this problem, this paper introduces two techniques, i.e. living lab and confusion matrix. Living lab is more than simple simulation of daily life environment, and it enables users to directly participate technology development and product design. Various performance measures induced from confusion matrix significantly help to evaluate the performance of artificial intelligence system for proper application purposes.
최근 들어 IoT와 스마트홈의 발전에 따라 낙상 사고 감지, 화상 위험 감지와 같이 일상 생활에서의 안전 감지 기능이 많이 보급되기 시작했다. 이러한 안전 감지 기능은 대부분 인공지능에 의해 수행된다. 그러나 실험실 환경에서 안전 감지의 정확도만 평가하는 경우에는 실제로 일상 생활 환경에서 체감하게 되는 성능과 꽤 큰 차이를 보이는 경우가 많다. 본 논문에서는 이러한 문제점을 보완하기 위해 사용하는 두 가지 기법인 리빙랩과 혼동 매트리스를 소개한다. 리빙랩은 단순히 일상 생활환경의 모사를 넘어서 사용자가 직접 기술 개발 및 제품 설계에 참여할 수 있는 통로가 된다. 또한 혼동 매트리스에서 도출되는 다양한 성능 척도는 사용 목적에 적합하게 인공지능 시스템의 성능을 평가하는데 큰 도움을 준다.
