• 한국멀티미디어학회논문지
• /
• 제21권11호
• /
• pp.1305-1316
• /
• 2018

Graphical user interface(GUI) has a very important role to interact with software users. However, designing and coding of GUI are tedious and pain taking processes. In many studies, the researchers are trying to convert GUI elements or widgets to code or describe formally their structures by help of domain knowledge of stochastic methods. In this paper, we propose the GUI elements detection approach based on object detection strategy using deep neural networks(DNN). Object detection with DNN is the approach that integrates localization and classification techniques. From the experimental result, if we selected the appropriate object detection model, the results can be used for automatic code generation from the sketch or capture images. The successful GUI elements detection can describe the objects as hierarchical structures of elements and transform their information to appropriate code by object description translator that will be studied at future.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권7호
• /
• pp.319-326
• /
• 2016

어플리케이션의 구매 결정 소요시간이 짧은 동시에 구매 취소 역시 간편한 모바일 앱의 속성을 고려했을 때, 사용 편리성은 모바일 앱이 제공해야 할 다양한 품질 요소들 중 상위의 우선순위를 가지는 요소라 할 수 있다. 이러한 배경에서 모바일 앱 개발자들은 앱의 상품성을 저하시키는 사용성 저해 요소를 여러 가지 측면에서 최소화시키는데 많은 노력을 기울이고 있다. 모바일 앱의 사용 편리성을 저해하는 대부분의 요소는 GUI 설계시에 발생되는 잠재적인 오류들로부터 기인한다. 우리는 앞선 연구에서 사용자 행위 로그를 이용한 모바일 앱의 사용성 분석 기법을 제안한 바 있다. 본 논문에서는 앞선 연구 결과를 토대로 사용자 행위로그를 유한 상태 모델로 표현하고, 여러 명의 사용자로부터 추출된 사용자 행위모델을 병합하여 설계자의 의도가 반영된 설계 행위모델과 비교해 나감으로써, 체계적으로 모바일 앱의 GUI 모델상에 잠재된 사용성 저해 요소 검출해 내는 기법을 제안하고 있다. 또한 기존 개발자들이 사용성 오류 검출을 위해 행해왔던 반복적인 테스트 작업의 부담을 줄이기 위해, 본 논문에서는 제안 된 기법의 자동화가 가능하도록 하는 사용성 오류검출 자동화 도구를 함께 제안하고 있다. 제안된 기법과 도구의 효용성은 실제 오픈 소스 앱 개발자들에 의해 제기된 GUI 이슈 리포트와 제안된 기법에 의해 검출된 이상징후들 간의 비교를 통해 논의하고 있다.

• 한국인터넷방송통신학회논문지
• /
• 제20권3호
• /
• pp.89-95
• /
• 2020

최근 딥러닝을 사용하여 스케치이미지에 있는 GUI(Graphical User Interface) 요소를 인식하여 어플리케이션 구현에 필요한 코드를 자동 생성하는 연구 등이 있다. UI/UX 디자이너는 모바일 응용 프로그램 개발 시 스토리보드를 개발자와의 의사소통을 돕는 도구로 사용하나 모호한 위젯에 대해서는 UI/UX 디자이너의 의도와 다르게 구현되는 경우가 종종 발생한다. 본 논문에서는 DNN(Deep Neural Network) 기반의 GUI 요소 식별의 정확성을 높이기 위해 심볼마커를 사용하는 자동 GUI 요소 인식 기법을 제안한다. 심볼마커의 성능평가를 위해 심볼마커의 유무에 따라 실험을 진행하여 정확도를 평가하였고, 정확도 개선을 위해 원형과 괄호형으로 나누어 심볼마커 모양에 따른 결과를 분석하였다. 심볼마커를 사용한다면 개발자에게 정확한 의사 전달이 가능해져 피드백이 줄면서 시간과 비용이 감소하고 스케치이미지의 UI 요소 오탐률을 줄이고 정확성이 향상될 것으로 기대한다.