Implementation of the Environment for Mobile HMI Communication Settings Based on QR Code

Abstract

As products that consumers want become more diverse, the types of automation equipment are becoming more diverse and advanced to produce competitive products. In general, equipment is manufactured with built-in interface devices (HMI) for users so that operators can efficiently monitor and operate equipment quickly. Because HMI devices are connected to various industrial controllers, elements such as communication protocols of various controllers must be understood and set up in the design stage. Non-experts not only have difficulty choosing compatible items among various protocols, but also have limitations in integrating and operating on one device because screens and settings are statically assigned. This paper proposes a model that can scan information such as equipment ID and communication protocol with QR code using a mobile device, access industrial controller, and remotely operate the displayed equipment screen. The proposed model is expected to increase efficiency in inspection and management of automated equipment as it can easily set, monitor, and operate the communication environment of various automated equipment using one mobile device.

소비자들이 원하는 제품이 다양해지면서, 경쟁력 있는 제품을 생산하기 위해 자동화 장비의 종류가 다양해지고, 고도화 되어 가고 있다. 일반적으로 장비들은 운영자가 효율적으로 장비를 감시하고, 신속하게 조작할 수 있도록 사용자용 인터페이스 장치(HMI)를 내장하여 제작하고 있다. HMI 장치는 다양한 산업용 컨트롤러와 연결되기 때문에, 디자인하는 단계에서 다양한 컨트롤러의 통신 프로토콜 등의 요소를 이해하고 설정해야 한다. 비전문가들은 다양한 프로토콜 중 호환 가능한 항목을 선택하는데 어려움이 존재할 뿐만 아니라, 화면과 설정이 정적으로 할당되므로 하나의 기기에서 통합 운용하는데 한계가 존재한다. 본 논문에서는 모바일 장치를 사용하여, QR코드로 장비의 ID, 통신 프로토콜 등의 정보를 스캔하고, 산업용 컨트롤러에 접속하여 원격으로 표시된 장비 화면을 조작할 수 있는 모델을 제안한다. 제안 모델은 하나의 모바일 장치를 활용하여 다양한 자동화 장비의 통신 환경을 쉽게 설정하고, 감시 및 조작할 수 있어 자동화 장비의 점검 및 관리에 효율이 증대될 것으로 기대된다.

I. Introduction

제조업 분야에서는 제품을 생산할 때, 생산 단가를 낮추어 경쟁력을 확보하고, 불량률을 감소시켜 제품의 품질을 향상하는 것이 하나의 핵심이다. 산업이 점점 고도화됨에 따라 사람이 아닌 산업용 컨트롤러를 내장한 자동화 장비를 활용하여, 다양한 종류의 제품을 생산하는 방법이 폭넓게 사용되고 있다[1]. 자동화 장비들은 일반적으로, 운영자가 장비를 효율적으로 감시하고, 제어할 수 있도록 돕는 그래픽 장치인 HMI (Human-Machine-Interface)를 부착하여 제작되고 있다[2]. HMI 장치는 일반적으로 자동화 장비에 고정된 위치에 부착되며, 장비의 상태를 실시간으로 감시하고, 조작할 수 있도록 화면을 구성한다[3]. HMI는 자동화 설비의 산업용 컨트롤러와 통신이 이루어지며, 이때 사용되는 통신 방법은 제조사 별로 각자 고유의 통신 프로토콜을 활용하여 자동화 시스템을 구성하고 있다. 현장에서 어느 정도 프로토콜을 통합적으로 운영할 수 있도록 시스템을 구축하고 있지만, 이기종 간의 통신 프로토콜을 하나로 통일화하는데에는 어려움이 있고, 많은 비용 지출과 통신에 대한 효율이 저하된다[4]. HMI 장치의 표시 화면을 디자인하고 설계하는 사람들은 작화 소프트웨어를 통해서 컨트롤러와의 통신 프로토콜, IP 주소 등에 대한 구조를 이해하고 이를 바탕으로 설정해야 한다[5]. 산업용 컨트롤러를 사용하지 않고, 디자인을 전문으로 하는 비전문가들은 여러 가지 프로토콜 중 호환 가능한 통신 방법을 선정하여 설정하는데, 어려움이 존재한다. 해당 설정이 잘못되면, 컨트롤러와의 통신이 정상적으로 이루어지지 않아, 장비를 제어할 수가 없다[6].

본 논문에서는 다양한 자동화 장비의 컨트롤러 통신 설정에 대한 정보를 QR코드에 기재하여 관리하고, 하나의 모바일 장치를 통해 QR코드를 인식한다. 모바일 장치는 감시 및 조작 화면을 표시하며, 조작을 통해 원격으로 장비를 제어하는 모델을 제안한다. 제안 논문의 구성은 다음과 같다. 2장에서 모바일 장치에 HMI를 구성하고 사용하기 위한 방법에 대해 논의한다. 3장에서 QR코드를 기반으로 산업용 컨트롤러와 HMI를 연결하기 위한 시스템 구성에 대해 제안한다. 4장은 제안 모델을 바탕으로 구성된 시스템에 대한 성능을 분석한다. 마지막으로, 5장에서 QR코드 기반의 제안 시스템의 성능 분석 결과를 기반으로 결론을 도출 한다.

II. Preliminaries

1. Related works

1.1 HMI(Human-Machine-Interface)

HMI는 인간과 기계가 상호작용을 할 수 있도록 지원하는 표시 장치로 화면을 조작하여 쉽게 장비를 제어할 수 있고, 장비의 상태를 확인할 수 있다. HMI는 선을 포함한 도형, 이미지 등을 사용하여, 사용자의 요구에 맞추어 화면을 디자인한다. 일반적으로 PLC와 같은 산업용 컨트롤러와 같이 사용된다[7].

1.2 PLC(Programmable Logic Controller)

PLC는 공장 자동화에서 활용하는 제어 컨트롤러 중 하나로, 정해진 공정 프로세스에 맞추어 입력 요소와 출력제어 요소를 순차적으로 ON/OFF 하여 제어시스템을 구성한다[8]. 일반적으로 효율적인 제어와 감시를 위해 HMI와 통신을 연결하여 하나의 제어 시스템으로 구성한다[9]. PLC와 HMI는 미리 할당된 I/O영역에 대한 정보를 송/수신하며 통신이 이루어진다. 컨트롤러는 종류별로 서로 다른 통신 프로토콜을 가지고 있으며, 이러한 이기종 간의 통신을 하나로 통합하여 제어하기 위해 노력해 왔다.

1.3 Communication Protocol

프로토콜은 통신 시스템에서 송수신 장치간에 데이터를 송신하고 수신하는 과정에서 약속된 규칙을 의미한다. 이 규칙들은 단방향 또는 양방향에 대한 송신과 수신이 존재하며, 표준화된 규칙들이 존재한다. TCP/IP, CAN 등 개방형 표준 프로토콜도 있지만, 프로토콜의 구조를 공개하지 않는 것들도 존재한다[10]. 최근 몇 년 동안, 산업용 이더넷 통신이 인기를 얻고 점점 더 보편화되어가고 있으며, 빠른 속도와 많은 연결이 가능한 EtherCAT, Ethernet I/P와 같은 프로토콜을 채용하고 있다. 각각의 프로토콜은 자체적인 장단점을 지니고 있다[11].

1.4 QR(Quick Response) Code

QR(Quick Response)코드는 한 줄로만 자료를 기록할 수 있는 바코드와 다르게, 매트릭스 형태로 정보를 기록할 수 있으며, 파인더를 인식하여 QR코드를 검출하는 2차원 방식이다[12]. QR코드는 스마트폰과 같은 모바일 장치의 카메라로 촬영하면, 스캔된 이미지를 분석하여 코드로 변환하고, 이를 바탕으로 소비자들에게 많은 정보를 제공한다[13]. QR코드는 데이터 수용 범위에 따라 1부터 40까지의 버전이 존재하며, 버전의 증가에 따라 QR코드의 크기도 증가하게 된다. 스캔 시, 4가지 모드(숫자, 영숫자 등) 중 설정된 모드에 따라 스캔하는 방법이 다르다[14]. QR코드의 에러 정정 레벨은 L(7%), M(15%), Q(25%), H(30%) 레벨로 4가지가 존재하며, 코드 인식률에 따른 에러를 보정하는 기능이 제공된다[15]. 에러 정정 레벨은 QR코드의 훼손과 먼지가 많이 날려 인식이 어려운 환경 등에 대한 외부 환경을 고려하여 선정하게 된다.

III. The Proposed Scheme

3.1 Mobile HMI System Configuration

다음의 Fig. 1. 산업 현장에서 사용하는 장비의 관리를 위해 부착되어있는 QR코드를 모바일 장치(핸드폰, 태블릿 PC)를 활용하여 인식하고, 다양한 제조 장비들의 상태를 감시 및 조작할 수 있는 화면을 표시하기 위한 시스템 구성도를 나타낸 것이다.

Fig. 1. System Configuration Diagram

첫 번째, HMI Designer는 장비를 사용자가 효율적으로 관리하고 조작, 감시할 수 있도록, 요구조건에 맞추어 화면을 디자인하기 위한 소프트웨어이다. 디자인 화면의 구성요소로 크게 장비의 화면번호, 산업용 컨트롤러에 접속되어 입력과 출력을 제어하는 기능을 가진 표시 오브젝트, 사용자 설정에 대한 파라미터 항목으로 구분된다. 화면번호는 장비에 미리 부착된 QR코드와 연동할 수 있도록 설정되며, 다양한 종류의 장비 화면을 구분한다. 오브젝트는 화면 구성에 필요한 필수 요소로, 터치 조작 버튼과 같은 입력 요소와 표시용 램프 등과 같은 출력 요소로 구분된다. 이러한, 입력과 출력 요소의 조합을 기반으로 장비의 구성을 디자인하고, 표시 화면을 구현한다. 사용자 설정은 화면 출력 크기 등에 대한 설정으로 이루어진다. 이렇게 디자인이 완료된 화면의 데이터를 종합하여 하나의 데이터 테이블로 단순화하여 저장한다. 데이터는 JSON 포맷 형식으로 변환하고, 모바일 장치에서 업로드를 진행한다. 두 번째, Factory Automation 장비는 산업 현장에서 사용하는 다양한 장비들을 의미하며, QR코드를 각각의 장비에 부착하고 관리한다. QR코드는 장비가 가지고 있는 고유의 관리용 식별번호와 장비에 내장된 산업용 컨트롤러의 접속에 필요한 IP 주소, 접속하고자 하는 통신 드라이버의 종류 등의 정보를 기재하여 생성한다. 각각의 제조 장비들은 개별적으로 입력과 출력을 ON/OFF 제어하기 위한 독립된 산업용 컨트롤러를 내장하고 있으며, 미리 작성된 프로그램 논리에 맞추어 순차적으로 공정을 제어하는 구조로 이루어져 있다. 프로그램 내용의 일부는 운영자가 장비의 일부 요소를 수동 또는 자동으로 동작할 수 있도록 조작, 감시하기 위한 입력과 출력을 할당하고, 조작에 따라 장비가 통제될 수 있도록 작성한다. 세 번째, Mobile Device는 운영자가 미리 디자인된 장비의 화면을 애플리케이션을 통해 표시하고, 조작하는 기능을 제공한다. 애플리케이션은 모바일 장치의 내부 메모리에 미리 저장된 데이터 테이블을 기반으로, QR 촬영을 통해 추출된 장비의 번호와 일치하는 화면 정보를 사용자에게 표시하는 알고리즘이 내장하게 된다. 모바일 장치를 통해 표시된 화면의 감시정보 및 조작 신호는 장비에 내장된 산업용 컨트롤러와 송신 및 수신하며, 미리 할당된 입력과 출력 포트의 주소 값을 변경 또는 감시할 수 있다.

3.2 Control Process

다음의 Fig. 2. 는 모바일 장치를 통한 HMI의 기능 구현을 위해 운영자가 필요로 하는 화면 정보에 맞추어 디자인하고, 표시된 화면을 조작 및 감시하기 위한 과정을 나타낸 시스템 프로세스이다.

Fig. 2. System Process

첫 번째, HMI Design Tool을 활용하여, 자동화 장비의 운용에 필요한 화면을 오브젝트를 활용하여 디자인하고, 태그를 산업용 컨트롤러의 입력과 출력 포트와 일치시킨다. 구성된 화면과 설정을 기반으로 데이터를 종합하여, 데이터 테이블을 생성한다. 두 번째, Mobile Device에서 HMI 실행을 위한 애플리케이션을 실행하고, 생성된 데이터 테이블을 내장 메모리에 저장한다. 애플리케이션을 활용하여 장비에 부착된 QR코드를 스캔하면, 장비의 식별번호와 통신 설정 등의 데이터가 추출되며, 미리 저장된 데이터 테이블의 내용의 식별번호와 일치하는 화면 정보를 모바일 장치에 표시한다. 조작 화면은 추출 데이터를 기반으로 산업용 컨트롤러에 접속한다. 세 번째, 사용자는 모바일 장치에 표시된 HMI 화면을 조작하면, 해당 정보가 자동화 장비에 내장된 컨트롤러의 메모리 주소를 변경하고, 장비의 출력 포트를 제어하게 된다.

3.3 QR Code Data Structure

다음의 Fig. 3. 은 QR코드를 생성하고 인식할 때, 기록되는 정보에 대한 데이터 구조를 나타낸 것이다.

Fig. 3. QR Code Sample Data

첫 번째, ID는 장비의 구분을 위해 갖는 고유의 식별번호를 나타내며, HMI Designer를 통해 미리 작성된 화면과 비교하여, 모바일 장치에 표시하기 위한 데이터이다. 두 번째, IP 주소는 컨트롤러에 미리 설정된 주소를 의미하며, 모바일 장치가 데이터를 송신하고 수신하기 위한 필수 파라미터이다. IP가 충돌되지 않도록 장비 별로 각각 다르게 주소가 할당되기 때문에, 확인이 필요한 필수 항목 중 하나이다. 세 번째, 통신 드라이버 종류는 장비에 실제 내장된 산업용 컨트롤러의 기종과 통신 연결에 필요한 프로토콜의 종류가 기재된다. 이를 통해, 화면을 디자인하는 작업자가 장비에 사용된 컨트롤러와 프로토콜에 대해 인지하지 못하더라도, QR코드 인식을 통해 접속이 가능하며, 이를 통해 장비를 조작할 수 있다. 네 번째, QR코드는 기록되는 데이터의 크기는 40~60 Byte에 해당하고, 현장의 특성상 오류정정 코드는 Q등급이 적절했다. 혼합 데이터 bit 수는 320~480bit로, 496bit까지 데이터를 저장할 수 있는 QR코드 Version 5 (37x37)로 선정하였다.

IV. System Evaluation

제안 모델의 성능을 검증하기 위해, 다음의 Fig. 4.와 같이 USB를 공급->검사->조립->저장하는 순서의 4가지 공정으로 구성된 자동화 장비를 실험 모델로 선정하였다.

Fig. 4. Factory Automation Equipment

본 장비는 교육용으로 제작된 장비로, 4가지의 서로 다른 프로토콜을 가진 PLC가 내장되어 있으며, HMI와 연결되어 있다. 장비 별 입력과 출력 포트의 갯수는 Table. 1.의 표와 같다.

Table 1. Total I/O LIST

다음의 Fig. 5. 는 실험 모델의 HMI 화면을 기반으로 모바일 장치에서 원격으로 감시 및 조작할 수 있도록 디자인된 화면을 나타낸 것이다.

Fig. 5. Mobile HMI Screen

정확한 성능을 검사하기 위해 선정된 장비에 고정 되어 있는 HMI의 디자인 화면과 유사하게 디자인되었으며, 표시된 화면을 조작할 경우, 실제 장비의 구성요소인 액츄에이터가 화면을 구동되도록 설정하였다.

상용화되어있는 HMI는 항상 산업용 컨트롤러와 연결되어 화면이 표시되며, 고정된 위치에서 조작하여야 하는 불편함이 존재한다. 또한, 전문가들이 직접 디자인하고, 제조사에서 지원하는 통신 프로토콜의 종류에 맞추어 설정하여야 한다. 반면, 제안 시스템은 디자인 영역과 전문지식이 필요한 통신영역을 분리하고, 모바일 장치를 적용하여, 공간의 제약에서 벗어나고 설비의 요소들을 다각도에서 보며 원격으로 조작할 수 있도록 구성하였다.

다음의 Table. 2는 각각 장비에 제안 시스템을 활용해 QR코드를 촬영하여, 접속 및 화면 로딩의 지연 시간과 접속 후 화면을 조작했을 때의 반응속도를 측정한 결과이다.

Table 2. Proposed Model Test Result

QR코드의 인식 속도가 카메라의 인식 성능에 영향을 받는 결과이므로 본 연구에서 측정 대상에서는 제외하였으며, 접속 및 화면 로딩의 지연 시간은 QR 인식 후 QR코드가 애플리케이션에 넘어온 직후부터 이를 바탕으로 PLC에 접속하여 응답되는 시간과 이를 바탕으로 화면을 구성하기까지의 시간을 측정하였다. 화면을 조작했을 때에 반응 속도는 HMI의 화면 오브젝트를 조작하여 내부 함수 펑션이 실행되었을 때의 시간부터 PLC에서 함수를 실행하고 결과를 송신하여, 모바일 장치가 수신 받는 시간에 대한 편차를 기준으로 측정하여 이를 로그 데이터로 추출하였으며, 추출한 결괏값은 아래와 같다.

QR코드 인식을 통해 모두 정상적으로 접속에 성공하여 화면 조작에 따른 장비 운용이 가능했으며 실험 결과, 모바일 장치를 활용하여 평균적으로 화면 로딩속도 880ms, 표시 화면 조작에 따른 접점의 반응 속도는 88.75ms의 평균 속도로 확인되었다. 그 외 QR코드 인식 속도는 카메라 인식 성능 등 변수가 존재하며, 초시계를 활용하여 대략적인 시간을 측정한 결과 2~3초의 결과 값을 얻었다.

성능 검증 결과, 정적으로 할당되어 항상 접속되어 있는 HMI와 달리 제안 시스템은 QR코드를 인식하고 화면을 표시하는데, 지연 시간이 발생했다. 반면, 화면 로딩 후 조작에 따른 반응 속도는 평균 1000ms 이하로 사용에 불편을 느끼지 못하였다.

V. Conclusions

제조 현장에서, 운영자가 산업용 장비의 상태 정보를 감시하거나 수동으로 조작하고자 할 때, HMI 장치를 사용하고 있다. HMI 장치는 다양한 산업용 컨트롤러와 접속하여, 조작이 이루어지기 때문에 표시 화면을 디자인하고 설정할 때, 화면 작화와 별개로 접속하고자 하는 컨트롤러의 IP 주소, 통신 프로토콜 등에 대해 이해하고, 각각의 정보를 개별적으로 설정해야 하는 어려움이 존재하게 된다. 산업용 장비마다 제조사가 다르고, 프로토콜의 종류도 다양하므로, 하나의 HMI 장치에서 다양한 장비의 화면을 표시하고 조작하는데, 한계가 존재한다. 본 논문에서는 이러한 부분을 개선하기 위해 화면에 대한 디자인 데이터와 통신 프로토콜 등에 대한 데이터를 QR코드를 활용하여 구분한다. 다만, 일반적으로 사용되는 HMI와 달리 처음 화면을 표시하기 위해 QR코드를 인식하고, 화면을 표시하는 과정에서 약간의 시간 지연이 존재했다. 하나의 단일 장비를 지속해서 모니터링해야 하는 상황이거나 응급상황이 발생하여 긴급한 조작이 필요한 상황처럼 상용화된 HMI를 사용하는 환경에서는 적용에 어려움이 존재한다.

반면, 산업용 컨트롤러와 접속이 완료된 후 접점 반응 속도를 고려했을 때, 실제 장비에 적용하여 장비를 운용하여도 문제가 없을 것으로 판단된다. 하나의 모바일 장치로 여러 종류의 다양한 장비들에 별도의 설정없이 QR코드를 활용하여 접속하고, 장비의 유지보수를 위한 점검 상황 및 자유롭게 움직이면서 원격으로 장비를 조작할 수 있는 상황에 적합하다. 장비의 종류가 다양해져가고 있는 산업 현장에서, 하나의 모바일 장치를 활용하여 통합 관리가 가능하므로, 다양한 산업 분야에 적용 가능할 것으로 판단된다. 특히, 여러 종류의 장비를 유연하게 점검하고 관리할 수 있어 유지보수에 대한 효율성이 높아질 것으로 기대된다.