Ⅰ. 서론
AR(Augmented Reality) 기술은 카메라를 통해 촬영되는 실제 환경에 사용자와 상호작용이 가능한 가상의 객체(예: 물체, 텍스트, 비디오) 이미지를 합성하여 공간과 상황에 대한 가상 정보를 실시간으로 디스플레이를 통해 제공하는 기술이며[1-3], 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 증강현실이다[4-5].
산업현장 숙련근로자 부족으로 중소 제조기업 및 건설사업 대부분은 전문 운영인력 부족 현상으로 현장 인력에 대한 기술교육 및 업무관리·감독에 대한 중요성 및 관련 서비스 수요가 증가하고 있다.
제조업 기준 중소기업 비중은 97.9%, 종사자 비중은 71.4%로 전체 비중의 대부분을 차지하고 있지만, 대기업에 비하여 중소기업은 교육 훈련 및 장비 숙련도는 열악하다. 중소 제조업체의 대부분은 국내 인력부족으로 외국 인력을 고용하고 있으며 외국인 근로자 활용에 대한 애로사항 중 36.8%는 의사소통의 어려움으로 인한 낮은 생산성으로 조사되고, 산업단지 근로자 연령분포는 20대 15.2%, 30대 32.5%, 40대 이상은 52.3%로 조사되어 청년층의 유입이 저조하다[6].
코로나19 시대 비대면 서비스 확대되고 국내외 장비·시설 점검 및 기술지원을 위한 정비사의 출장이 코로나19로 인해 현장 방문이 불가능하거나 코로나 검사 및 격리에 따른 출장비용이 증가하여 대안으로 AR 솔루션이 주목받고 있다[7].
또한 산업현장 숙련근로자 부족으로 중소 제조기업 및 건설사업 대부분은 전문 운영인력 부족 현상으로 현장 인력에 대한 기술교육 및 업무관리·감독에 대한 중요성 및 관련 서비스 수요가 증가하고 있다.
따라서 AR 협업 서비스 플랫폼을 장비·시설 점검 및 경정비 산업현장에 도입하고 현장 기술자와 고급 기술자 간 원격 기술협업 환경을 제공하여 작업의 신속성, 효율성 및 고급 기술자 활용성 증대와 장비·시설 연속 생산성을 개선하여 장비·시설 활용성 극대화 및 산업경쟁력 강화하여 현장 기술자와 고급 기술자 간 원활한 소통을 위한 AR 통화 기능과 기술교육을 위한 AR 콘텐츠 제작 및 AR 영상 스트리밍 기능을 포함한 소프트웨어 개발 및 서비스 플랫폼을 설계 및 구현해야 한다.
본 논문은 2장에서 관련 연구에 대해 소개하고, 3장에서는 AR 협업 서비스 플랫폼의 구성도를 설명하고, 4장에서는 AR 협업 서비스 플랫폼의 설계 및 구현을 설명하고, 5장에서 결론을 제시한다.
Ⅱ. 관련 연구
국내의 버넥트 리모트는 실시간 원격 협업 서비스를 통해 산업현장에 필요한 정보와 이슈를 실시간으로 공유하여 언제 어디서든 업무 대응이 가능하다. 빠르고 간편하게 협업이 가능하며 기존의 익숙한 업무 환경을 그대로 유지하여 업무의 정확성과 효율성을 높일 수 있다.
버넥트는 전기발전 및 플랜트 산업에 특화된 AR솔루션을 제공하고 있으며, 최근 석유화학/정유/통신 분야 등 AR 사업영역을 확대하고 있다[8].
버넥트 리모트는 AR 기반 다자간 원격 협업 솔루션으로 AR 통화를 통해 원격 기술지원 환경을 제공하여 다자간 원격 협업으로 현장 1명, 원격 1명, 모니터링 4명으로 총 6명 접속 가능하다. 버넥트 리모트의 실시간 원격 협업 서비스 <그림 1>과 같다.
<그림 1> 버넥트 리모트의 실시간 원격 협업 서비스[9]
버넥트 리모트는 현장 작업자가 이동이 가능한 스마트폰 및 글라스 기기를 사용하는 것과는 달리 고급기술자(지시자)는 사무실에서 PC 기기를 사용함으로 고급 기술자 업무 활용도 및 작업 공간 자유도 제약이 많다.
미국의 PTC Vuforia Chalk는 2015년 퀄컴으로부터 AR 솔루션 전문회사인 Vuforia를 인수하여 AR시장으로 진입하여 사업을 확대하였다. Vuforia 제품군 중 Chalk는 모바일 기기를 통해 1:1 원격 협업 솔루션으로 AR 통화를 통해 원격 기술지원 환경을 제공한다[10].
고급 기술자는 모바일 또는 PC 기기를 사용하여 협업 기능을 사용할 수 있으며 별도의 회원가입 없이 가전제품 기술지원을 위한 서비스를 지원하고, 실시간 영상통화와 AR 드로잉 기능만 지원하는 한계가 있다.
미국의 Upskill Skylight Live는 2010년도에 설립된 Upskill은 미국 버지니아 본사를 둔 AR 전문 스타트업으로 Upskill 제품군 중 Skylight Live는 모바일 기기를 통해 1:1 원격 협업 솔루션으로 AR 통화를 통해 원격 기술지원 환경을 제공한다[11].
고급 기술자는 모바일 또는 PC 기기를 사용하여 협업 기능을 사용할 수 있으며 현장 기술자는 글래스를 사용하여 안내받고, 현장 기술자는 AR 가상 정보 삽입 기능을 사용할 수 없는 단점이 있다.
스웨덴의 XMReality Remote Guidance 스웨덴의 대표적인 AR 솔루션 전문회사로 Remote Guidance는 고급 기술자가 현장 기술자 또는 일반 고객으로부터 받은 요청 및 AR통화를 통해 기술지원 서비스를 제공한다[12].
현장 기술자 또는 일반 고객은 웹브라우저를 통해 기술지원을 받을 수 있으며 고급 기술자는 손 캡처 기기와 AR 기능을 통해 서비스를 지원하고, 현장 기술자 또는 고객은 AR 기능을 사용할 수 없는 단점이 있다.
XMReality Remote Guidance의 실시간 원격 지원서비스 <그림 2>와 같다.
<그림 2> XMReality Remote Guidance의 실시간 원격 협업 서비스[13]
Ⅲ. AR 협업 서비스 플랫폼의 구성도
본 논문에서는 스마트폰 및 태블릿 기기에 설치하여 사용할 수 있는 AR 통화 기능과 AR 콘텐츠 제작기능을 포함하는 AR NET 앱, AR 영상 스트리밍 및 AR 콘텐츠를 공유할 수 있는 AR 데이터센터 구축하여 현장 기술자와 고급 기술자 간 원활한 소통을 위한 AR 통화 기능과 기술교육을 위한 AR 콘텐츠 제작 및 AR 영상 스트리밍 기능을 포함한 소프트웨어 개발 및 서비스 시스템 구현한다[14].
AR 협업 서비스 플랫폼의 구성도는 <그림 3>과 같다.
<그림 3> AR 협업 서비스 플랫폼의 구성도
<그림 3>을 살펴보면 AR 기술 협업 시스템의 서비스 주요기능은 다음과 같다.
(1) 실시간 원격 협업·지도를 위한 5G 통신 및 AR 통화 기능.
(2) 기술지원 가이드 및 기술 공유를 위한 AR 녹화 공유 기능.
(3) 문제 발생에 대한 기술지원 요청 및 해결방안 도출을 위한 협업 기능.
(4) 기술교육 및 현장 상황을 전달하기 위한 AR 스트리밍 방송 기능.
AR 기술 협업 시스템의 서비스 핵심기술은 다음과 같다.
(1) 원격 지시 및 기술 지도를 위한 AR 이미지, 그리기, 텍스트 삽입 기술.
(2) 현장 상황 전파 및 기술교육을 위한 5G 기반 실시간 비디오 스트리밍 기술.
(3) 장비 제어 및 점검 방법 설명을 위한 가상 3D 객체 삽입 및 제어 기술.
(4) 원활한 소통을 위한 실시간 채팅 기술.
(5) 기술교육 및 문제해결을 위한 AR 콘텐츠 저장 및 공유 기술.
AR 기술 협업 시스템의 서비스 주요기능과 서비스 핵심기술을 적용하여 AR 협업 서비스 플랫폼을 장비·시설 점검 및 경정비 작업현장에 도입하고 현장 기술자와 고급 기술자 간 원격 기술협업 환경을 제공하여 작업의 신속성, 효율성 및 고급 기술자 활용성 증대와 장비·시설 연속생산성을 개선하여 장비·시설 활용성 극대화 및 산업경쟁력 강화할 수 있는 AR 협업 서비스 플랫폼을 설계 및 구현한다.
Ⅳ. AR 협업 서비스 플랫폼의 설계 및 구현
AR 협업 서비스 플랫폼의 설계는 <그림 4>와 같다.
<그림 4> AR 협업 서비스 플랫폼의 설계도
<그림 4>를 살펴보면 주요기술과 주요기능은 <표 1>과 같다.
<표 1> AR 협업 서비스 플랫폼 주요기술과 기능
<표 1>의 기술개발 내용은 <표 2>와 같다.
<표 2> AR 협업 서비스 플랫폼의 개발내용
<표 1>과 <표 2>에서 AR NET 앱의 앱 기능 및 디자인 개발은 <그림 5>와 같다.
<그림 5> AR NET 앱의 앱 기능 및 디자인
<그림 5>를 살펴보면 AR 기술협업/기술교육 2가지 서비스를 목표로 AR통화/협업룸/AR녹화/AR방송으로 시나리오 설계하고, AR NET 시나리오에 기반하여 AR도구/AR통화/RTMP방송/데이터관리 부분으로 나누어 단위 기능 개발 구현하고 각 세부기능에 대해 API를 설계하여 각 기능이 유기적으로 동작할 수 있는 구조로 구현한다.
UX/UI 시나리오 기반 기능 개발은 <그림 6>과 같다.
<그림 6> AR NET 앱의 UX/UI 기능
<그림 6>을 살펴보면 현장 작업 환경의 긴급성을 고려하여 기능을 4가지 시나리오로 구분하고 쉬운 AR 기능 사용을 위한 단순한/직관적/친화적인 디자인 설계하고 구현한다.
AR 공간인식/객체 제어 기능은 Unity의 AR Foundation SDK의 라이브러리를 사용하여 환경 표면인식, 이미지 증강, 인터렉션 등 세부기능 구현한다.
구현한 AR 세부기능 내용은 다음과 같다.
(1) AR 객체 삽입/삭제 : 특징점/표면 인식을 통한 위치 고정.
(2) AR 그리기/도형/화살표 : 터치 드로잉을 통한 객체 생성.
(3) AR 텍스트 : 이미지화 및 특징점/표면 인식을 통한 위치 고정.
(4) AR 객체 투명도 조절 : AR 객체 탐색 및 거리에 따른 색상/투명도 제어.
(5) AR 모드 변경 : 표면 인식 모드, 깊이 인식 모드.
3D 이미지 렌더링 및 제어 기능R 공간인식/객체 제어 기능은 <그림 7>과 같다.
<그림 7> AR 공간인식/객체 제어 기능
<그림 7>을 살펴보면 장비 설명 및 협업을 위해 증강이 필요한 3D 파일은 디자인해서 AR NET 클라우드 시스템의 3D 파일 저장소를 통해 저장/등록되고 그룹 관리되고, 3D 객체 증강을 위해 AR NET 앱 사용자는 속해있는 그룹에 따라 3D 파일 저장소에 등록되어있는 3D 객체를 썸네일을 통해 탐색할 수 있으며 필요한 3D 객체를 다운하여 증강할 수 있게 구현한다.
모바일 AR 통화 및 채널 채팅 기능은 <그림 8>과 같다.
<그림 8> 모바일 AR 통화 및 채널 채팅 기능
<그림 8>을 살펴보면 WebRTC(Web Rel-Time Communication)은 웹 환경에서 종단 간 실시간 P2P 통신을 위한 프로토콜로 오픈 소스 프로젝트에서 시작되어 국제 인터넷 표준화 기구에서 프로토콜 표준화 작업이 진행되고, WebRTC 라이브러리는 웹 환경을 포함한 Android/IOS 모바일 환경에서도 지원하고 있으며 음성, 영상, 텍스트, 파일 데이터 등 종단간 실시간 전송이 가능하도록 구현한다.
AR 협업 서비스 플랫폼의 기본 개발 환경 구성은 안드로이드 AR 라이브러리(ARCore XR Plugin 4.1.0)와 AR 객체 분산처리(AR Subsystems 4.1.0), AR 개발 라이브러리 API(AR Foundation – 4.1.0)로 그래픽 엔진(Unity - 버전 –2020.2) 툴의 개발환경을 구성하여 AR 기능을 구현한다.
AR 협업 서비스 플랫폼의 시험 내용은 <표 4>와 같다.
<표 4> AR 협업 서비스 플랫폼 시험 내용
AR 협업 서비스 플랫폼의 AR 이미지 증강 고 텍스트 증강 기능, AR 표면 인식 기능, 3D 객체 증강 및 제어 시험 <그림 9>와 같다.
<그림 9> AR 협업 서비스 플랫폼의 시험
AR 협업 서비스 플랫폼을 산업 분야 AR 서비스 시스템 비교하면 <표 5>와 같다.
<표 5> AR 협업 서비스 플랫폼 비교 주요기술과 기능
<표 5>를 살펴보면 버넥트 리모트 고급 기술자 업무 활용도 및 작업 공간 자유도 제약이 되고, PTC Vuforia Chalk는 실시간 영상통화와 AR 드로잉 기능만 지원되고, Upskill Skylight Live 현장 기술자는 AR 가상 정보 삽입 기능을 사용할 수 없고, XMReality Remote Guidance는 현장 기술자 또는 고객은 AR 기능을 사용할 수 없다.
설계한 AR 협업 서비스 플랫폼을 실제로 UI로 구현한 결과는 <그림 10> 같다.
<그림 10> AR 협업 서비스 플랫폼의 UI
<그림 10>을 살펴보면 협업 룸을 통하여 현장 기술자와 고급 기술자 간 원격 기술협업 환경을 제공하고, 현장 기술자와 고급 기술자 간 원활한 소통을 위한 AR 통화 기능과 기술교육을 위한 AR 콘텐츠 제작 및 AR 영상 스트리밍 기능을 포함한 소프트웨어개발 및 서비스 플랫폼을 구축하였다.
협업 룸을 통하여 현장 기술자(요청자)와 고급 기술자(담당자) 간 기술 협업 내용 결과는 <그림 11> 같다.
<그림 11> AR 협업 서비스 플랫폼의 협업 내용
<그림 11>을 살펴보면 내용은 현장 기술자의 기술요청 내용이고, 솔루션 설명은 고급 기술자의 기술요청 내용에 대한 처리 결과 내용이다.
협업 룸을 통하여 현장 기술자와 고급 기술자 간 기술 협업 과정은 <그림 12> 같다.
<그림 12> AR 협업 서비스 플랫폼의 협업 과정
<그림 12>를 살펴보면 현장 기술자가 기술 요청한 장비를 “3D 가져오기” 메뉴로 고급 기술자의 사무실로 증강된 3D 객체를 가져오기 하여 포트 확인 및 교체요망 한다.
구현한 AR 협업 서비스 플랫폼을 산업 분야 AR 서비스 시스템과 정량적으로 비교하면 <표 6>과 같다. 개발시스템은 안드로이드 단말기의 로그로 측정한다.
<표 6> AR 협업 서비스 플랫폼을 산업 분야 AR 서비스 시스템과 정량적 비교[15]
<표 6>을 살펴보면 AR 가상 정보 삽입 종류는 AR 그리기(드로잉), 도형표시, 텍스트, 화살표 등 AR 정보 삽입 가능한 AR 도구 개수 평가이고, 3D 객체 삽입 및 제어는 3D 객체 삽입, 3D 객체 회전, 3D 객체이동 등 3D 객체 삽입 및 제어 기능 평가이고, AR 모드 지원 종류는 AR 표면 인식 모드, AR 거리 인식모드 등 AR 가상 정보를 증강하기 위해 적용 가능한 기술 평가이고, AR 통화 알람 수신 소요 속도는 AR 통화 기능을 이용하여 발신자가 수신자 호출 시점부터 수신자 모바일에서 푸시 메시지 표시 시점까지 소요시간이고, AR 통화 수신소요 속도는 AR 통화 기능을 이용하여 발신자가 수신자 호출 시점부터 수신자 모바일 앱에서 수신 표시 시점까지 소요시간이고, AR 통화 연결 소요 속도는 AR 통화 기능을 이용하여 수신자가 발신자 호출을 승낙한 시점부터 AR 화면이 출력되는 시점까지의 소요시간이고, 채팅 메시지 전달 속도는 AR 통화 중 발신자가 채팅 입력 시점부터 수신자의 채팅창을 통해 메시지 출력까지의 소요시간이고, 실시간 AR 드로잉 전송속도는 AR 통화 중 발신자가 AR 그리기를 사용하여 표시 후 수신자의 AR 화면에 출력까지의 소요 시간이다. 단 - 는 AR 통화를 위한 호 설립 및 교환 처리 또는 디바이스 등의 차이점으로 인해 측정할 수 없는 측정치 대신 표기한다.
AR 협업 서비스 플랫폼은 산업 분야 AR 서비스 시스템과 정량적으로 비교하면 개발 시스템이 우수하다.
따라서 AR NET 앱의 기능을 구현하여 산업용 비대면 기술협업을 위한 AR 협업 서비스 플랫폼을 구현하였다.
Ⅴ. 결론
산업현장 숙련근로자 부족으로 중소 제조기업 및 건설사업 대부분은 전문 운영인력 부족 현상으로 현장 인력에 대한 기술교육 및 업무관리·감독에 대한 중요성 및 관련 서비스 수요가 증가하고 있다.
코로나19 시대 비대면 서비스 확대되고 국내외 장비·시설 점검 및 기술지원을 위한 정비사의 출장이 코로나19로 인해 현장 방문이 불가능하거나 코로나 검사 및 격리에 따른 출장비용이 증가하여 대안으로 AR 솔루션이 주목받고 있다.
본 논문에서는 AR 협업 서비스 플랫폼을 장비·시설 점검 및 경정비 작업현장에 도입하고 현장 기술자와 고급 기술자 간 원격 기술협업 환경을 제공하여 작업의 신속성, 효율성 및 고급 기술자 활용성 증대와 장비·시설 연속 생산성을 개선하여 장비·시설 활용성 극대화 및 산업경쟁력 강화할 수 있는 AR 협업 서비스 플랫폼을 설계 및 구현하였다.
AR 협업 서비스 플랫폼을 구현한 결과
첫째, 새로운 AR 협업 서비스
① 범용성 : AR NET을 통한 현장 기술자/고급 기술자 협업 환경 지원(Android/IOS).
② 원 시스템 : AR 통화, AR 콘텐츠 제작, AR 방송, 솔루션 관리 등 기본 제공.
둘째, 차별화된 AR통화 기능
① AR도구 다양성 : AR 도형/화살표/텍스트 삽입을 통한 직관적인 표시.
② 현장 환경 적응성 : AR 모드/투명도 설정을 통한 작업 환경 맞춤 지원.
③ 솔루션 공유 : 연락처 그룹 관리, 솔루션 관리 및 AR 이미지/동영상 공유.
④ 실시간 교육 : 채널 개설/웹링크 공유를 통한 실시간 AR 교육 방송.
셋째, 독창적인 3D 객체 삽입 기술
① 3D 객체 삽입 : AR 통화 중 3D 객체 삽입 및 다양한 3D 파일 포맷 지원.
② 3D 객체 제어 : 3D 객체 사이즈/방향/위치 변경 제어.
③ 3D 객체 포인터 : 3D 객체 표시용 포인터를 통한 세밀한 업무지시 가능하다.
따라서 AR 협업 서비스 플랫폼은
첫째, 산업 분야는 스마트 공장 내 가상세계와 물리적 세계를 결합하여 데이터 분석 및 시스템 모니터링을 위한 수단으로 AR 기술을 도입하여 기술협업, 기술교육, 상태 모니터링, 매뉴얼 열람 등 활용 가능성을 확인하고 있으며, 이를 통해 작업자의 숙련도 증대, 생산성 향상, 안정성 확보 등 업무 환경 개선 기대할 수 있다.
둘째, 의료 분야는 스트레스 관리, 인지력 향상, 심리치료 등 정신건강 분야에 AR 기술을 도입하여 의료비 증가, 전문인력 부족 문제 해결할 수 있다.
셋째, 오락/교육 분야는 장소/위치를 기반으로 하는 피규어 수집, 레이싱, 대전게임 등 AR 기술 응용분야에서 게임 시장이 먼저 선도하였으며, 교육 분야에서 흥미 유도, 추리 능력 강화, 논리력 향상 등 교육 효과 증대에 기대할 수 있다.
References
- 권상희, "가상현실 미디어 체험이 가치사슬구조 형성에 미치는 영향 연구 VR-AR 수단-목적 사슬이론 적용 중심으로," 한국인터넷정보학회, 인터넷정보학회논문지, 제19권, 제1호, 2018, pp.49-66. https://doi.org/10.7472/JKSII.2018.19.1.49
- 류정혜, "AR관광 어플리케이션 사용의도에 영향을 미치는 요인에 관한 연구," 디지털산업정보학회, 디지털산업정보학회 논문지, 제14권, 제4호, 2018, pp.135-148.
- 이혜주.최종훈, "AR 카메라를 이용한 환경 반응형 스마트폰 런처 UI 구현 ," 한국기초조형학회, 기초조형학연구, 제20권, 제4호, 2019, pp.419-430.
- 오문석.원종욱, "홀로그래피와 증강현실을 활용한 융합형 문화콘텐츠 제작시스템 제안," 디지털산업정보학회, 디지털산업정보학회 논문지, 제8권, 제4호, 2012, pp.177-184.
- 허기수.이동우.정현태.박준석, "프로젝션 기반 증강현실 기술동향," 한국전자통신연구소, 전자통신동향분석, 제26권, 제5호, 2017, pp.26-32.
- 일자리위원회, "일자리창출과 제조업혁신을 위한 - 산업단지 대개조 계획(안) -," 일자리위원회.관계부처 합동, 11, 2019.
- 권상희, "비대면 수업 환경에서 한국어 교사의 직무 스트레스 요인 연구 - 코로나19로 인한 비대면수업 상황을 중심으로 -," 한성대학교 한성어문학회, 한성어문학, 제44권, 제0호, 2021, pp.119-153.
- https://www.virnect.com/products/remote?gclid=Cj0KCQjw18WKBhCUARIsAFiW7JwIlRX25_XxO1iKE-7LbrE00Kz2J1_Fq4rXV6iv_9ltoe78BKheO3kaAow3EALw_wcB=
- 박근영, "산업용 AR 기술 및 서비스 사례," XR 산업센터, 2021.
- https://www.ptc.com/
- https://upskill.io/skylight/
- https://xmreality.com/
- 김항규, "해외 산업용 AR 솔루션 업체의 성장 배경과 시사점," 소프트웨어 정책연구소(SPRi), 제19권, 제1호, 2019.
- 이상윤.유영모.구자영, "사용자 단말 태깅 기반 승하선 관리시스템의 설계 및 구현," 디지털산업정보학회, 디지털산업정보학회 논문지, 제16권, 제3호, 2020, pp.1-11.
- https://www.youtube.com/c/virnect/videos