Design and Implementation of Image Segmentation Tx/Rx Technology Based On BLE(Bluetooth Low Energy) Multiple Access Technology for Image Block Devices

이미지 블록 디바이스를 위한 BLE 다중 접속기술 기반 이미지 분할 송수신 기술의 설계 및 구현

Abstract

The Bluetooth Low Energy profile has the advantage of continuing wireless communication with very little power consumption compared to the existing Bluetooth, so it is widely applied to smart devices. Most of them are applied to Point-to-Point (1:1) communication between Central (Master) and Peripheral (Slave), but can be applied to Point-to-Multiple (1:N) wireless communication through the use of multiple threads and timers. Therefore, in this paper, a precise timer was designed in the BLE profile to devise an image segmentation transmission/reception structure based on multiple access, and a smart image block device applied to it was designed and verified.

1. 서론

4차산업 혁명 시대의 ICT융합을 통해 모든 산업 분야에 다양한 변화가 일어나고 있다.최근 어린이들의 스마트 기기 접근성이 높아지면서 완구 산업에도 ICT기술을 융합하려는 움직임이 거세지고 있으며, 전통적인 완구에 IoT, 인공지능, 빅데이터 등 ICT 기술을 접목하는 새로운 형태의 스마트 완구가 빠르게 확산되고 있는 중이다[1].블루투스, 적외선 센서, 카메라를 통한 인식 기술 등과 같은 다양한 기술이 접목된 신개념 장난감인 스마트 완구는 사용자에게 새로운 놀이 방식을 제공할 뿐만 아니라 교육적 용도로도 사용될 수 있다. IT기술과 장난감이 만나 디지털 단말의 활용성과 기존의 전통적인 장난감의 이점이 합쳐진 교육용 스마트 완구 시장은 앞으로도 더욱 증가할 전망이다.

한편 치매 예방에 대한 중요성과 사회적 관심이 높아지면서 다양한 치매 예방 프로그램이 마련되고 있으나 활용할 수 있는 교구나 완구 시장은 아직 충분치 않은 실정이다[2].노인의 인구가 늘어나고 초고령사회로 진입하고 있는 시점에서 노인용 교구의 대다수는 수입품으로, 국내의 실버산업은 외국보다 크게 뒤처져 있다.따라서 노화를 방지하고 뇌에 활력을 주어 두뇌를 단련하는 교구 개발은 노인의 뇌를 활성화하여 치매를 예방하는 효과를 기대할 수 있을 뿐 아니라 실버타운, 치매안심센터 등의 고령자 시설의 B2G수요, 고령화 사회로 진입하면서 큰 폭으로 성장하고 있는 실버 시장에도 대응할 수 있는 상품으로 시장의 수요와 니즈를 충족하는 효과가 우수한 제품으로 생각된다.이에 연령대에 구분없이 적용 및 사용 가능한 완구인 퍼즐블록을 기반으로 Bluetooth LowEnergy(이하 BLE)의 다중접속 기술을 응용한 제품을 기획, 개발하여 공급하고자 한다.

현재 공급되는 스마트 및 인지개선용 완구는 대다수 단순한 정도의 기구동작과 전자제어으로 구성되며 콘텐츠와 응용된 형태의 제품은 걸음마 단계에 그치고 있다.이에 TFT-LCD, 컨트롤러, 블루투스, 배터리 제어 등이 포함된 이미지 블록 디바이스와 BLE다중접속을 활용한 스마트폰 어플리케이션이연동되는 스마트 영상 퍼즐블록과 콘텐츠를 구현하고 시니어를 대상 효과를 평가하여 인지개선용 완구의 가능성을 확인하였다.

본 논문에서는 이미지 블록 디바이스와 스마트폰어플리케이션 간 일대 일(1:1), 일대 다수(1:N)간 스루풋(Throughput)을 구한다음 거리에 따른 실제 전송 스루풋을 컨트롤러 제조사에서 제공하는 프로파일인 NordicUartService(NUS)와 이미지 전송 지연(Latency)를 최적화 하는 형태로 구성한 Custom UartService(CUS)를 비교하여 다중접속 간 이미지 분할 전송을 비교하였다.특히 CUS를 별도 개발한 이유는 NUS는 데이터 전송 프로파일로 BLE에서 제공하는 1Mbps Data rate로 일대 다수 간 전송 시시리얼 전송에 따른 전송 지연이 다수 발생하기 때문이다[3-9]. 그리고 실제 사용자 환경을 검토하기 위해 거리에 따른 전송 속도 변화도 확인하였다. 실험결과, NUS대비 CUS를 적용했을 때 BLE이미지 프로파일 기준으로 최대 65%의 전송속도 개선을 확인할 수 있었다.마지막으로 이미지 블록 디바이스와샘플 콘텐츠를 활용하여 인지장애 환자를 대상으로 약식의 임상시험을 수행하였으며 통계적으로 유의미한 결과를 확인할 수 있었다.

2. 스마트 이미지 퍼즐블록 설계

2.1 스마트 퍼즐 블록을 위한 이미지 블록 디바이스

이미지 블록 디바이스는 Fig.1과 같이 1.54inch TFT-LCD, 드라이버 보드, BLE 5.0(with MCU). 220mAh리튬폴리머 배터리, 충전 및 방전 보호회로와 충전 커넥터 등으로 구성된다.이미지 블록 디바이스는 베이스플레이트 내에서도 동작하지만 탈거되어 개별로 동작가능하기에 사용자 중심의 설계와 기능, 성능보장이 중요하다.따라서 충격, 방진 및 방수에 대한 안전규격을 설정하고 이를 위한 설계 방법을 적용하였다.

Fig. 1. Image Block Device Product Breakdown Structure.

Fig.2와 같이 이미지 블록 디바이스용 디스플레이의 경우 240×240pixel의 TFT Active matrix를 사용하여 220ppi(pixelperinch)의 구해상도를 구현하며 컬러의 경우 262K의 Fullcolor를 적용하여 스마트폰의 콘텐츠와 연동을 통해 시각적 효과를 극대화 하였다.드라이버 보드의 경우 720Sourceline과 320Gatelinedrivingcircuits를 포함하는 ST7789V Driver IC를 적용하여 240line×240column을 구현하였으며 드라이버 인터페이스는 I8080Parallel8bit 또는 4wire SPI를 Firmware에서 적용하여 Com- mend제어가 편리한 방향으로 설계, 구현하였다.

Fig. 2. Image Block device inner design and LCD Panel dots.

스마트 영상 퍼즐블록은 원본 이미지, 다수의 분할 이미지의 수신 및 분배, 전송을 위한 프로세서 유닛을 내장하기에 이미지 블록 디바이스 전용 하드웨어 펌웨어 설계가 요구된다.이에 다음의 기능을 정의하며 그 세부 기능을 Firmware를 통해 구현하고 Segger Embedded studio를 활용하여 컨트롤러에 업로드 하였다[10-17].

LCD Resolution은 240X240(16Bit)이며, 1Frame 에 해당하는 데이터 크기는240*240*2=115200Byte (112.5KB)이다. BLE 경우 Throughput 이 1Mbps (120KB)라서 1:1페어링 시에 한번에 모두 전송되어야 하나 UART통신, nRF52832하드웨어 Queuesize 가 존재하므로 한번에 처리는 불가능하다. 따라서 ApplicationQueue를 Packet사이즈에 최적화 하여 8Kbyte로 구성하고 선입선출로 한번이 아닌 수십 차례로 나누어 전송한다.이와 관련하여 블루투스 Frame Structure는 Header부터 BodyTail까지 사이즈가수십Kbyte에 달해 Queue에 넣지 못하므로, Fig. 3과같은 하드웨어와 통신가능한 수준의 Light Frame을 고안하여 구현하였다.

LightFrameHeader는 3bit로 Data는 2, 400byte 로 한정하고 Payload 내부에 Data Segmentation Index를 넣어서 48개의 프레임을 보내면 240줄을 표현하는 형태로 구현하였다.즉, 한번에 5줄씩×48회 =240줄 로 이미지를 표현하게 되어 1개의 이미지 112Kbyte를 전송하기 위해 48번의 Queue stack Processing이 필요하게 되었다.nRF52832(RAM 256KB)의 CodeData및 Stack, Heap을 고려할 때, RAM에 1Frame의 데이터를 저장할 공간이 없으므로, 이는 Queue를 이용한 비동기 방식을 이용으로 Thread방식이 아닌, Timer를 이용하여 저장과 동일한 효과를 이루도록 설계하였다.

Fig. 3. Light Frame Header Structure.

최초설계된 NUS송신구조는 Fig.4와 같다. Input 부분에서는 입력된 데이터를 RecvQueue에 InQueue 하는 작업만을 하며, 이때, 즉시 Timer를 생성하고, 이러한 작업을 반복 처리한다.깨워진 TimerHan- dler에서 마지막 Frame유무를 판단하여, 원하는 기능을 처리하며 모든 Frame에 대해 LCD에 곧장 뿌리는 구조이다.데이터 단위는 프로토콜에서 정의한 일련의 데이터로, 원하는 기능을 위해, 명령과 함께 송부되어 입력되면 이를 Parsing하여, 각 명령에 맞게 처리하도록 되어 있다.

Fig. 4. NUS Queue Process using Timer.

2.2 충전 및 슬라이딩을 위한 베이스 스테이션

스마트 영상 퍼즐블록의 베이스플레이트는 Fig. 5와 같이 슬라이딩 퍼즐 운영을 위한 구조체와 이미지 블록 디바이스의 충전 및 퍼즐 완료에 따른 정상 유무 확인을 위한 마그네틱 충전부 그리고 완성 이미지를 시현해주는 디스플레이부로 구분된다. 베이스스테이션과 이미지 블록 디바이스간 전원충전을 위한 마그네틱 포고(pogo) 커넥터 구조 개념은 Fig. 6과 같다.

Fig. 5. Block device and Base station Structure.

Fig. 6. Magnetic Charge part concept.

2.3 BLE 1:10 다중접속 및 이미지 분할 송신 설계

스마트 영상 퍼즐블록은 기존 아날로그 슬라이딩 블록 퍼즐에 컨트롤러와 근거리 통신 다중접속 제어기술을 바탕으로 개발된 신개념 완구제품으로 Fig.7에 핵심개념인 원본 이미지를 9개의 조각 이미지로 분리, 송수신하며 어플리케이션 레벨에서 타이밍과 지연을 잘 나타내고 있다.

Fig. 7. Image Puzzle and Multi Access Concept.

Fig.8은 BLE 다중 접속을 위해 스마트폰을 Cen- tral로 각각의 이미지 블록 디바이스를 Peripheral로 구성하는 절차를 나타내고 있다[18].Peripheral인 다수 개의 이미지 블록 디바이스가 Advertising In- terval기간 내 접속을 위한 Data를 보내고 스마트폰 Central에서 Response하게되는데 이때 이미지 블록 디바이스 마다 부여된 ID를 인식하여 블록 디바이스의 9번(마지막 9번째 자리의 블록), 10번(베이스 플레이트에 삽입된 원 이미지 확인용 블록)을 구분하게 된다.

Fig. 8. Concept of Puzzle Block and Application operation on Multi Access.

2.4 이미지 수신 및 디스플레이 시연

Firmware의 경우 NUS를 활용하여 프로파일 서비스를 설계하였다.이때 개별 모듈 Throughput(120 Kbyte)한계를 고려하여 ApplicationQueueStack size를 8Kbyte로 설계하였다.이에 Queuesize를 해결하기 위해 BLECorechip교체 또는 CustomSer- vice개발을 검토하였으나 양산 용의성, 호환성 등을 고려하여 최종 CustomService를 통한 Throughput 개선 방향으로 개발을 진행하게 되었다.

전체적인 BLE구조는 Fig.9와 같으며, Physical Layer와 ProtocolStack은 제조사의 BSP에서 제공받아[19-20]사용하였다.

Fig. 9. Protocol Service Structure support by Chip Manufacturer.

3. 스마트 이미지 퍼즐블록 구현

3.1 이미지 블록 디바이스 하드웨어

스마트 이미지 퍼즐 블록을 위한 이미지 블록 디바이스에는 TFT-LCDDriverIC보드, RF/MCU 보드, 배터리 충/방전 보드의 PCB가 포함되며 3.7V 220mAh리튬폴리머 배터리나 외부 5V전압에 대응하여 동작하도록 개발되었다.

우선 LCDDriver IC보드는 Gate320개, Source 720개의 Sitronix社의 ST7789V를 선택하여 Table 1과 같이 최대 4-line(CSX, WRX, DCX, SDA)Serial datainterface에서 262K(6-6-6bitRGB)구현이 가능하도록 하였다. 이에 대응하는 TFT-LCD는 Shenz- henFridaLCD社의 1.54inch, 240(H)×RGB×240(V) Resolution, SPI interface가 적용된 제품을 선택하였다.

Table 1. 4-line(CSX, WRX, DCX, SDA) Serial data interface.

RF/MCUController는 Nordic社의 nRF52832패키지를 활용하였으며 Fig.10과 같이 LCDDriverIC 와 SPI interface를 구성하였다. 또한 Fig.11과 같이 추후 양산간 Data송수신을 위한 UART 통신 핀을 예비로 추가하였다.

Fig. 10. Device MCU pin map.

Fig. 11. nRF52832 Block diagram.

ST7789V의 4-line serial Interface Write/Read Protocol은 참고문헌 [21]에서 제시하는 SCXFalling Clock signal의 Rising pulse에 맞추어 Data가 In/ output 되도록 구성하고 LCD interface를 고려한 DriverIC보드의 회로도는 Fig.12과 같이 설계하였다.

또한 이미지 블록 디바이스는 BLE를 통해 데이터를 전송받아 블록의 베이스스테이션으로부터 분리 (탈거)되어 동작 가능하여야 한다.이에 Fig.13과 같이 8205FET를 활용하여 간단한 충전 방전 PCB를 개발하였다.

Fig. 12. ST7789V Driver IC Schematics.

Fig. 13. Charge board Schematics made of LED and FET.

Fig.14는 최종 개발된 RF/MCU보드, LCDDriver IC 보드, 충방전 보드이다. 개발의 용의성을 위해 nRF52832는 패키지를 그대로 활용하였으며 구조안정을 위해 보드간 20핀 커넥터를 활용하여 직접 결합하였다.

Fig. 14. RF/MCU, LCD Driver IC, Charge board, Assembled parts (From the left).

3.2 스마트 이미지 퍼즐블록 베이스스테이션 하드웨어와 기구

스마트 이미지 퍼즐 블록을 위한 베이스 스테이션은 슬라이딩 퍼즐을 위한 기구이자 이미지 블록 디바이스를 충전하기 위한 구조이다.슬라이딩과 충전을 모두 가능하도록 하기위해 Fig.15와 같이 마그네틱 포고(Pogo) 핀을 적용하였으며 베이스스테이션에 직접 결합된 이미지 블록 디바이스(10번 모듈)의 구조가 고안되었다.

Fig. 15. Magnetic pogo pin and module with base station structure.

스마트 이미지 퍼즐블록은 10개의 이미지 블록 디바이스가 슬라이딩, 충전, 탈거운용 가능하도록 Fig. 16과 같이 설계, 제작되었다.

Fig. 16. Developed Smart Image Block Puzzle.

3.3 스마트 이미지 퍼즐블록 연동 어플리케이션

10개의 이미지 블록 디바이스에 이미지를 전송하기 위한 어플리케이션을 Fig. 17과 같이 Android Studio를 통해 구현하였으며, 디바이스와 어플리케이션의 연동과 이미지 분할, 송신, 제어기능 등의 동작 절차 검토를 위한 어플리케이션 Flow Chart를 Fig. 18과 같이 작성하였다.

Fig. 17. Implemented Application page.

Fig. 18. Application Flow Chart.

어플리케이션의 경우 스마트폰 내 저장된 모든 이미지, 카메라로 바로 촬영한 이미지의 해상도(Reso- lution)에 관계없도록 이미지를 표준화하기 위해 Fig. 19와 같이 Decoding, Scaleoptimize, Split, Resizing, Transform을 수행하는 알고리즘을 고안하여 최종적으로 모든 스마트폰 내 이미지(라이브 촬영, 캡쳐 포함)을 실시간으로 연동하여 스마트 퍼즐블록으로 송신, 제어 가능하도록 구현하였다.

Fig. 19. Image Frame select function.

또한 Fig.20과 같이 Autoscale을 활용하여 선택된 화면의 프레임이 전체화면화 될 수 있는 기능을 추가하고 퍼즐 성공시 사전에 저장된 영상(또는 HTML 을 활용한 온라인의 영상)을 자동실행시키는 기능을 Fig. 21과 같이 구현하였다.

Fig. 20. Select image Auto Scale function.

Fig. 21. Auto movie play function when block device puzzle is successful.

4. 스마트 이미지 퍼즐블록 성능평가

4.1 이미지 블록 전송 속도 기준 Throughput

본 연구개발에 적용된 Nordic社의 nRF52832Controller, RF Combo는 최대 2Mbps(240Kbyte)까지 Throughput을 지원하며 기본 이미지 전송 서비스인 NUS에서는 1Mbps를 CustomService에서 2Mbps 를 지원하고 있다.따라서 최초 NUS로 개발된 Fir- mware와 CustomService를 비교하며 기능을 최적화 하였다.무선환경의 변화를 최소화하기 위해 해당 주파수의 무반향을 지원하는 챔버 내에서 시험하였으며 다중블록과 어플리케이션 간 거리는 동일한 수준으로 유지하며 Fig. 22와 같이 평가하였다.

Fig. 22. Test and Evaluation scene using application and device hardware.

4.2 Nordic Uart Service 기반 이미지 블록 디바이스 동작 평가

우선 NUS기반 Firmware의 통신속도 확인 이전에 Controller의 데이터 Parsing과 LCD 시연속도를 고려하여 확인한 결과 2400byte/250ms(9.6Kbyte/s) 48번의 총 Packet전송 시간은 평균 12s로 측정되었다.

BLE를 활용하여 모바일과 이미지 퍼즐블록을 1:1 로 페어링하여 시험한 결과 LCD시연에 소요되는 시간이 무선망을 사용하지 않을 때와 유사한 정도로 확인되었으며 1:3, 1:5, 1:7, 1:9의 다중접속에서 LCD 시연 속도가 저하되는 현상을 확인할 수 있었다. NUS기반 다중접속 전송 측정시간은 Table2와 같다. 이는 ApplicationQueuesize가 8Kbyte인데 비해 1번의 이미지 Packet이 2.4Kbyte에 따른 처리속도 지연과 1Mbps(120Kbyte)의 Throughput한계 때문으로 판단된다.

Table 2. Block device display time result for each NUS-based multiple access, 10 times average.

4.3 Custom Uart Service 기반 이미지 블록 디바이스 동작 평가

다음으로 UART대신 CustomService로 구현하여 데이터 Parsing및 LCD시연속도를 확인한 결과 2400byte/125ms(19.2Kbyte/s)로 48번의 총 Packet 전송 시간은 평균 6.5s로 측정되었다.

BLE를 활용하여 모바일과 이미지 퍼즐블록을 1:1 로 페어링하여 시험한 결과 LCD시연에 소요되는 시간은 2Mbps로 Throughput이 개선되어 NUS 대비 약 50%가량 개선(1:1페어링 기준)되는 것을 확인하였다. 1:1페어링부터 1:10까지의 다중접속 시 LCD 시연속도는 Table 3과 같다.

Table 3. Block device display time result for each Custom Service multiple access, 10 times average.

4.4 NUS와 Custom Service 비교

NUS와 CustomService의 데이터 Parsing및 LCD 시연속도를 비교한 결과 Table4와 같이 1:1 페어링에서 6, 020ms이나 1:5페어링에서 20, 300ms, 1:10 페어링에서는 43, 093ms로 지연 폭이 확대됨을 확인할 수 있었다. 이는 다중접속 수량이 증가할수록 Throughput열화로 인한 속도 저하가 누적된 결과로 판단된다.전송속도 대비 Applicationqueuesize 는 8Kbyte로 충분히 Timer가 입출력을 제어할 수 있다 판단되어 시연속도 저하에 영향을 주지 않는 것으로 확인하였다.

Table 4. Comparison of data parsing and LCD demonstration speed of NUS and Custom Service.

5. 인지장애 시니어 대상 적용 및 평가

5.1 평가 기준 수립 및 도구 선정

본 연구개발을 통해 확보된 이미지 블록 디바이스를 초기(경증)인지장애 시니어를 대상으로 일정 기간 동안 활용하게 하여 이에 따른 시지각 인지력의 변화 정도를 확인하였다.시험과 평가는 대구보건대학교 시니어웰니스센터의 자문과 대구시 소재 다 올 주간 보호센터의 협조로 진행되었다.대상자는 치매 또는 경도 인지장애로 진단받은 시니어로 한정하고 참여 동의를 얻어 진행하였으며 청력 및 시력장애 보유자나 신경적, 정신적, 질병에 대한 병력이 있는 자와 전정감각이 예민하거나 질환이 있는자는 제외하였다.

이미지 블록 디바이스 사용 전후의 인지능력 변화를 확인하기 위해 평가도구는 MMSE-K, MOCA- K, LOTCA-G, MVPT3를 활용하였으며 중재 적용 이후 치료 효과 분석은 윈도우용 SPSSVersion22.0 을 사용하여 통계처리 하였다.또한 중재전후 기능변화를 비교하기 위해 대응표본 t-검정을 실시하였다.

5.2 중재활동 및 특성 변화 평가

인지장애 시니어를 대상으로 주 3회, 1회 30분, 총 4주간 중재활동을 진행하였으며 테스트 대상자는 총 12명으로 남성이 4명(33%)여성이 8명(67%)이었다. 연령은 70대(66%)가 가장 많았고 60대(16%), 80대 (16%)로 나타났다.대상자의 중재 전·후 시지각 기능과 인지기능을 비교한 결과 Table 5와 같이 통계학적으로 유의한 결과를 확인하였다(P<.05).

Table 5. Changes in visual perception and cognitive function before and after Activity (^*p<0.5)

6. 결론

본 논문에서는 이미지 블록 디바이스와 스마트폰어플리케이션 간 일대 일(1:1), 일대 다수(1:N) 간 Throughput을 구한다음 거리에 따른 실제 전송 Throughput을 컨트롤러 제조사에서 제공하는 기본서비스인 NUS와 이미지 전송 지연을 최적화 하는 형태로 구성한 CUS를 비교하여 다중접속 간 이미지 분할 전송을 평가하였다. 칩 제조사에서 제공하는 UART통신을 사용할때는 1Mbps의 Throughput 제약이 존재하였으나 Custom Service를 구현하여 2MbpsThroughput을 확보하였으며 다중접속 상황에서 NUS대비 최대 65%의 속도개선을 확인하였다.

하지만 2Mbps의 Throughput은 충분한 정도의 전송속도라 볼 수 없으며 특히 1:10정도의 다중접속을 위해서는 3Mbps이상의 Throughput이 요구되며 이에 적합한 상위 칩셋을 적용하고 현재와 같은 Data ParsingTimer활용의 한계는 충분한 내부 Flash 메모리가 지원된다면 동기화 기반으로 설계가 가능하며 처리속도 또만 상당부분 개선될 것으로 판단된다. 이에 향후 개발방향을 CustomService를 최적화하여 다중접속시 지연속도를 현재보다 30%이상 개선하는 것을 목표로 추가 연구를 진행하고자 한다.

또한 개발된 이미지 블록 디바이스와 샘플 콘텐츠를 활용하여 약식으로 진행된 시니어 대상 중재 및 평가 활동의 결과로 통계학적으로 유의한 결과를 확인하였으나 임상테스트 기간이 짧고 대상자 시니어의 수가 적어 일반화되기 어려운 한계점에도 불구하고 ICT제품과 콘텐츠를 응용한 제품을 활용하는 새로운 재활기법의 활용 가능성을 확인할 수 있었다.

Fig. 23. Assessment and activity using image block devices.