Proposal for Research Model of High-Function Patrol Robot using Integrated Sensor System

통합 센서 시스템을 이용한 고기능 순찰 로봇의 연구모델 제안

Abstract

In this dissertation, a we designed and implemented a patrol robot that integrates a thermal imaging camera, speed dome camera, PTZ camera, radar, lidar sensor, and smartphone. This robot has the ability to monitor and respond efficiently even in complex environments, and is especially designed to demonstrate high performance even at night or in low visibility conditions. An orbital movement system was selected for the robot's mobility, and a smartphone-based control system was developed for real-time data processing and decision-making. The combination of various sensors allows the robot to comprehensively perceive the environment and quickly detect hazards. Thermal imaging cameras are used for night surveillance, speed domes and PTZ cameras are used for wide-area monitoring, and radar and LIDAR are used for obstacle detection and avoidance. The smartphone-based control system provides a user-friendly interface. The proposed robot system can be used in various fields such as security, surveillance, and disaster response. Future research should include improving the robot's autonomous patrol algorithm, developing a multi-robot collaboration system, and long-term testing in a real environment. This study is expected to contribute to the development of the field of intelligent surveillance robots.

본 논문에서는 열화상 카메라, 스피드돔 카메라, PTZ 카메라, 레이더, 라이다 센서와 스마트폰을 통합한 순찰 로봇을 설계하고 구현하였다. 이 로봇은 복잡한 환경에서도 효율적으로 감시하고 대응할 수 있는 능력을 갖추고 있으며, 특히 야간이나 가시성이 낮은 조건에서도 높은 성능을 발휘할 수 있도록 설계되었다. 로봇의 이동성을 위해 궤도 이동체계를 선택하였고, 실시간 데이터 처리와 의사결정을 위해 스마트폰 기반의 제어 시스템을 개발하였다. 다양한 센서의 조합은 로봇이 환경을 포괄적으로 인식하고 위험 요소를 신속하게 감지할 수 있게 해준다. 열화상 카메라는 야간 감시에, 스피드돔과 PTZ 카메라는 광범위한 영역 모니터링에, 레이더와 라이다는 장애물 탐지와 회피에 활용된다. 스마트폰 기반 제어 시스템은 사용자 친화적인 인터페이스를 제공한다. 제안된 로봇 시스템은 보안, 감시, 재난 대응 등 다양한 분야에서 활용 가능하다. 향후 연구에서는 로봇의 자율 순찰 알고리즘 개선, 다중 로봇 협업 시스템 개발, 실제 환경에서의 장기 테스트 등이 수행되어야 할 것이다. 본 연구는 지능형 감시 로봇 분야의 발전에 기여할 것으로 기대된다.

Ⅰ. 서론

1. 순찰 로봇의 중요성

순찰 로봇은 공공 안전과 보안을 강화하는 중요한 기술로, 범죄 예방, 위험 감지 및 신속한 대응에 크게 기여한다. 기존의 인간 중심 순찰에 비해 지속적이고 효율적인 감시를 가능하게 하며, 특히 접근이 어려운 지역이나 위험한 환경에서의 작업을 안전하게 수행할 수 있다. 또한, 다양한 센서를 통합함으로써 더욱 정확하고 광범위한 데이터 수집이 가능해지며, 이는 시각적 및 데이터 기반의 감시를 강화하는 데 중요한 역할을 한다.

2. 순찰 로봇의 연구 배경

본 연구의 주요 목표는 다양한 센서 기술과 통신 시스템을 통합하여 고기능 순찰 로봇을 개발하는 것이다. 이를 통해 로봇은 다양한 환경에서의 실시간 데이터 수집 및 처리 능력을 갖추고, 이를 기반으로 효과적인 감시 및 응답 작업을 수행할 수 있다. 연구는 열화상 카메라, 라이다, 레이더와 같은 센서들의 조화로운 작동을 가능하게 하는 새로운 알고리즘과 소프트웨어 프레임워크 개발에 중점을 둘 것이다. 또한, 이러한 통합 시스템은 로봇이 보다 자율적으로 환경을 탐색하고 위험을 식별하는 데 기여할 것이다^[1][2].

Ⅱ. 이론적 고찰

1. 기존의 순찰 로봇 기술 분석

최근의 순찰 로봇 기술은 주로 감시 및 보안 분야에서의 응용을 중심으로 발전하고 있다. 이 로봇들은 일반적으로 비디오 카메라, 열 감지 센서, 모션 센서 등을 탑재하고 있으며, 자율 주행 기능을 갖춘 모델들도 점점 더 보편화되고 있다. 로봇의 기능에는 실시간 데이터 전송, 원격 제어, 자동 충전 시스템 등이 포함된다. 또한, 최신 로봇들은 인공지능 기술을 통해 객체 식별과 상황 분석 능력을 향상시키고 있다. 이러한 기술 진화는 순찰 로봇이 더 넓은 영역에서 더욱 효과적으로 활용될 수 있는 기반을 마련하고 있다^[2][3].

2. 각 센서의 기능과 순찰의 역할에 대한 리뷰

순찰 로봇에 사용되는 다양한 센서들은 각기 다른 기능이 있으며, 이들의 통합을 연구하면 보다 효과적이고, 특히 로봇의 성능을 극대화할 수 있다.

가. 열화상 카메라

열화상 카메라는 로봇이 야간이나 광량이 부족한 환경에서도 객체를 식별할 수 있게 한다. 이 센서는 온도 변화를 감지해 숨겨진 객체나 사람을 찾는 데 효과적이다.

나. 라이다 (LIDAR)

라이다는 레이저를 사용해 주변 환경의 정밀한 3D 맵을 생성한다. 이는 로봇이 장애물을 피하고 정확한 경로 계획을 수립하는 데 필수적이다.

다. 레이더

레이더 센서는 장거리에서도 객체를 감지할 수 있는 능력을 제공한다. 이는 로봇이 넓은 영역을 효과적으로 순찰하도록 돕는다.

라. PTZ (Pan-Tilt-Zoom) 카메라

PTZ 카메라는 원격으로 조작할 수 있어, 로봇이 특정 지역을 자세히 조사하거나 추적할 필요가 있을 때 유용하다.

이 센서들은 각각 독립적으로도 중요하지만, 통합될 때 순찰 로봇의 감시 능력은 현저히 향상된다. 이러한 통합 시스템은 로봇이 보다 정확하고 신속하게 반응하게 만들어, 보안과 감시의 효율성을 높일 수 있다.

Ⅲ. 시스템 설계

1. 하드웨어 구성

가. 열화상 카메라

로봇의 전면에 설치하여 야간이나 낮은 가시성 조건에서도 열을 감지하고 객체를 식별할 수 있도록 한다. 아래의 그림 1. 로봇시스템 구성도를 작성하였다.

그림 1. 로봇시스템 구성도

Fig. 1. PRobot System Configuration

나. 스피드돔 카메라

360도 회전 가능한 돔 형태로 설치하여 넓은 감시 영역을 커버한다. 고속 회전이 가능하여 다양한 방향의 감시를 신속하게 수행할 수 있다.

다. PTZ 카메라

중요 지점 감시 및 세부 추적을 위해 특정 대상을 자세히 관찰할 수 있도록 원격 조절 가능한 카메라를 포함한다.

라. 레이더 & 라이다

장애물 감지 및 정밀 거리 측정을 위해 레이더와 라이다를 결합하여 로봇의 이동 경로를 최적화하고 환경 인식 능력을 향상시킨다.

마. 궤도 이동 체계

다양한 지형에 적합한 이동성을 제공하며, 안정적인 이동을 보장하기 위해 궤도 형태의 이동 체계를 채택한다.

바. 스마트폰

로봇의 주요 제어 장치로 사용되며, 실시간 데이터 처리 및 외부와의 의사소통을 담당한다.

2. 소프트웨어 구성

가. 데이터 통합 및 관리 시스템

모든 센서 데이터는 중앙 처리 시스템에 의해 수집, 통합되며 실시간으로 분석한다. 이 시스템은 데이터를 기반으로 한 의사 결정을 지원한다. 구현의 예를 기반으로 하여 PostgreSQL 데이터베이스를 설정하여 들어오는 센서 데이터를 저장한다. 각 센서 유형마다 별도의 테이블(thermal_camera_data, lidar_data)이 필요하다.

Example SQL for creating tables in PostgreSQL

CREATE TABLE thermal_camera_data (

id serial PRIMARY KEY,

timestamp TIMESTAMP NOT NULL,

temperature_data JSON NOT NULL

);

CREATE TABLE lidar_data (

id serial PRIMARY KEY,

timestamp TIMESTAMP NOT NULL,

distance_measurements JSON NOT NULL

);

인공 지능 기반의 알고리즘을 통해 사람이나 차량과 같은 중요 객체를 식별하고 추적한다. 구현의 예를 기반으로하여 각 센서에서 데이터를 수집하고 JSON 형식으로 포맷하여 데이터베이스로 전송한다. Python에서는 psycopg2 라이브러리를 사용하여 PostgreSQL과 상호작용할 수 있다. 그리고 표1에서 제시 한것처럼 SQL명령을 수행하는 DBMS의 내용에서도 알 수 있듯이 TCL은 트랜잭션의 안정성을 보장하고, 여러 개의 H/W에서 생성되는 Data가 동시에 필요로 하는 데이터베이스를 사용할 때 발생할 수 있는 충돌을 관리하는 데 중요한 역할을 한다^[3][4].

표 1. SQL 명령과 DBMS

Table 1. SQL Commands and DBMS

import psycopg2

import json

def insert_sensor_data(table_name, data):

conn = psycopg2.connect("dbname=test

user=postgres")

cur = conn.cursor()

cur.execute(f"INSERT INTO {table_name}

(timestamp, data) VALUES (%s, %s)",

(data['timestamp'],

json.dumps(data['data'])))

conn.commit()

cur.close()

conn.close()

(1) 1단계 데이터베이스 설정

First, we'd need to set up a PostgreSQL database to store the incoming sensor data. Each sensor type would have its own table.

sql

-- Example SQL for creating tables in PostgreSQL

CREATE TABLE thermal_camera_data (

id serial PRIMARY KEY,

timestamp TIMESTAMP NOT NULL,

temperature_data JSON NOT NULL

);

CREATE TABLE lidar_data (

id serial PRIMARY KEY,

timestamp TIMESTAMP NOT NULL,

distance_measurements JSON NOT NULL

);

(2) 2단계 데이터 수집

You'd collect data from each sensor, format it as JSON, and send it to the database. In Python, you might use a library like psycopg2 to interact with PostgreSQL.

python

import psycopg2

import json

def insert_sensor_data(table_name, data):

conn = psycopg2.connect("dbname=test

user=postgres")

cur = conn.cursor()

cur.execute(f"INSERT INTO {table_name}

(timestamp, data) VALUES (%s, %s)",

(data['timestamp'],

json.dumps(data['data'])))

conn.commit()

cur.close()

conn.close()

(3) 3단계 데이터 통합 및 처리

Use Python to periodically fetch, process, and integrate data from the database.

python

def process_data():

conn = psycopg2.connect("dbname=test

user=postgres")

cur = conn.cursor()

cur.execute("SELECT * FROM

thermal_camera_data")

thermal_data = cur.fetchall()

# Process and integrate data here

# Example: Filter data, combine with other sensor data, etc.

cur.close()

conn.close()

(4) 4단계 실시간 데이터 스트리밍 및 분석

For real-time data handling, Apache Kafka can be used to manage data streams. Python's kafka-python library allows interaction with Kafka.

python

from kafka import KafkaProducer

import json

producer =

KafkaProducer(bootstrap_servers='localhost:9092')

def send_data_to_stream(data):

producer.send('sensor_topic',

json.dumps(data).encode('utf-8'))

나. 객체 추적 및 인식 알고리즘

순찰 로봇을 위한 기본적인 객체 추적 및 인식 시스템을 구현하는 방법을 단계별로 구현하면 다음과 같다..이를 위해 Python과 TensorFlow와 같은 인기 있는 머신 러닝 라이브러리를 사용하여 예제로 제시한다.

(1) 1단계: 환경 설정

Python 및 TensorFlow, NumPy 및 OpenCV와 같은 라이브러리를 설치한다.

(2) 2단계: 데이터 수집 및 전처리

python

import cv2

def preprocess_image(image_path):

image = cv2.imread(image_path)

image = cv2.resize(image, (224, 224)) # 모델이 기대하는 크기로 조정

image = image / 255.0 # 픽셀 값을 정규화

return image

(3) 3단계: 사전 훈련된 모델 로드

객체 감지를 위해 YOLO 또는 SSD와 같은 사전 훈련된 모델을 사용한다.

python

from tensorflow.keras.applications import

MobileNetV2

model = MobileNetV2(weights='imagenet') # 사전 훈련된 MobileNetV2 로드

(4) 4단계: 객체 감지

로봇 카메라의 입력 프레임에서 객체 감지를 구현한다.

python

def detect_objects(image, model):

processed_image = preprocess_image(image)

predictions =

model.predict(processed_image[None, ...])

return predictions

(5) 5단계: 객체 추적

검출 결과를 기반으로 중심 추적과 같은 간단한 추적 알고리즘을 활용한다.

python

def track_objects(detections):

# 검출된 좌표를 기반으로 객체 추적을 수행하는 임시 함수

pass

(6) 6단계: 로봇 시스템과 통합

모델의 검출 출력을 로봇의 내비게이션 및 의사 결정 시스템과 통합한다.

(7) 7단계: 최적화 및 테스트

다양한 환경에서 시스템을 테스트하고 성능과 정확도를 최적화한다.

본 논문에서 위의 구현 절차는 로봇이 실시간으로 객체를 감지하고 추적할 수 있는 능력을 제공하여 감시 및 보안 연구작업에 중요한 절차자료로 작성하였다. 향후 추가 연구는 더욱 복잡한 추적 알고리즘을 통합하고 감지 시스템을 더 정교하게 개선하여 정확도와 효율성을 향상시킬 수도 있다^[8][9].

다. 경로 계획 및 내비게이션 시스템

라이다와 레이더 데이터를 활용하여 로봇의 이동 경로를 동적으로 계획하고 최적화한다. 이는 로봇이 장애물을 효과적으로 회피하면서 목표 지점까지 이동할 수 있게 한다^[10].

(1) 1단계 환경 설정

먼저, ROS를 설치하고 Catkin 워크스페이스를 설정 후 그런 다음, 필요한 라이브러리 및 패키지를 설치한다.

(2) 2단계 자료수집

ROS를 사용하여 라이다 및 레이더 데이터를 수집하고, 아래와 같이 필요한 패키지를 설치하고 데이터를 수집한다.

bash

sudo apt-get install

ros-<distro>-laser-scan-processor

sudo apt-get install ros-<distro>-robot-localization

(3) 3단계 환경 모델링

데이터를 기반으로 주변 환경을 모델링하고 장애물 지도를 생성한다.

(4) 4단계 경로 계획

ROS 내장 패키지인 move_base를 사용하여 목표 지점까지의 최적 경로를 계획한다.

bash

sudo apt-get install ros-<distro>-move-base

(5) 5단계 이동 제어

경로 계획된 경로를 따라 이동하는 제어 시스템을 구현한다.

(6) 6단계 시뮬레이션 및 테스트

Gazebo나 RViz와 같은 시뮬레이터를 사용하여 시스템을 시뮬레이션하고 테스트한다.

이것은 본 논문에서 모델 제시를 위한 대략적인 개요이다. 실제로는 각 단계에서 상세한 설정 및 코드 작성이 필요로 할 수 있다. ROS 튜토리얼과 공식 문서를 참조하여 단계별로 진행 할 수 있다. 이를 통해 자율 주행을 위한 경로 계획 및 내비게이션 시스템을 구현할 수 있다.

라.

안전 및 보안 프로토콜은 크게 3단계로 구분하여 구현할 수 있다. 로봇 시스템의 안전을 보장하고 데이터 보안을 유지하는 데 필요한 보안 조치를 포함한다. 그리고 안전 및 보안 프로토콜을 구현하여 로봇 시스템의 안전을 보장하고 데이터 보안을 유지하는 데 도움이 될 수 있다. 본 논문에서 모델을 제안 하기 위해서 간단한 3단계 내용을 예로 제시해본다:

(1) 1단계 암호화 통신

로봇과 제어 센터 간의 통신을 암호화하여 데이터의 기밀성을 보호합니다. 예를 들어, TLS (Transport Layer Security) 프로토콜을 사용하여 통신 채널을 보호할 수 있다.

python

import ssl

import socket

# 로봇과의 연결 설정

robot_ip = '192.168.1.100'

robot_port = 5000

context =

ssl.create_default_context(ssl.Purpose.CLIENT_AUTH)

context.load_cert_chain(certfile="robot_cert.pem",

keyfile="robot_key.pem")

with socket.create_connection((robot_ip,

robot_port)) as sock:

with context.wrap_socket(sock,

server_hostname=robot_ip) as ssock:

ssock.sendall(b'Hello, Robot!')

response = ssock.recv(1024)

(2) 2단계 접근 제어

로봇 시스템에 대한 접근을 제어하여 불법적인 액세스를 방지한다. 즉, 강력한 인증 및 권한 부여 메커니즘을 구현할 수 있다.

python

Copy code

class RobotControl:

def __init__(self, username, password):

self.username = username

self.password = password

def authenticate(self, input_username,

input_password):

if input_username == self.username and

input_password == self.password:

return True

else:

return False

# 사용자 인증

username = input("Enter your username: ")

password = input("Enter your password: ")

robot_control = RobotControl("admin", "password")

if robot_control.authenticate(username, password):

print("Authentication successful. Access

granted.")

else:

print("Authentication failed. Access denied.")

(3) 3단계 데이터 보안

로봇이 수집한 데이터를 안전하게 저장하고 전송한다. 데이터베이스 암호화, 데이터 마스킹 및 암호화된 통신을 사용하여 데이터 보안을 강화할 수 있다.

python

import hashlib

def hash_data(data):

# 데이터를 해시하여 보안 강화

hashed_data =

hashlib.sha256(data.encode()).hexdigest()

return hashed_data

# 데이터 전송 시 데이터를 해시화

data_to_send = "sensitive_data"

hashed_data_to_send = hash_data(data_to_send)

print("Hashed data:", hashed_data_to_send)

이러한 보안 조치는 로봇 시스템의 안전성과 데이터 보안성을 향상하는 데 도움이 될 수 있다. 그러나 실제 시나리오에 따라 필요한 보안 수준과 구현 방법이 다를 수 있으므로 주의가 필요하다.

마. 사용자 인터페이스

스마트폰을 통해 사용자가 로봇을 원격으로 모니터링하고 제어할 수 있는 직관적인 인터페이스를 제공한다.

사용자 인터페이스를 구현하는 데는 다양한 방법이 있지만, 여기에는 간단한 웹 기반 사용자 인터페이스를 구축하는 예시를 제시한다. 이 예시에서는 Flask 웹 프레임워크를 사용하여 간단한 웹 애플리케이션을 만들어 사용자가 로봇을 원격으로 모니터링하고 제어할 수 있도록 한다.

python

from flask import Flask, render_template, request

app = Flask(__name__)

# 사용자 인터페이스 렌더링

@app.route("/")

def index():

return render_template("index.html")

# 사용자 제어 요청 처리

@app.route("/control", methods=["POST"])

def control_robot():

# 사용자가 입력한 제어 명령을 가져옴

command = request.form["command"]

# 여기에서 로봇에게 제어 명령을 전달하는 코드를 추가

return "Robot control command sent: " +

command

if __name__ == "__main__":

app.run(debug=True)

위의 코드에서 index.html은 사용자 인터페이스를 정의하는 HTML 템플릿 파일이며, 이 파일을 생성하여 원격으로 모니터링하고 제어할 수 있는 사용자 인터페이스를 구성한다.

html

<!-- index.html -->

<!DOCTYPE html>

<html lang="en">

<head>

<meta charset="UTF-8">

<meta name="viewport"

content="width=device-width, initial-scale=1.0">

<title>Robot Control Interface</title>

</head>

<body>

<h1>Robot Control Interface</h1>

<form action="/control" method="post">

<label for="command">Enter control

command:</label><br>

<input type="text" id="command"

name="command"><br>

<input type="submit" value="Submit">

</form>

</body>

</html>

이 코드는 간단한 사용자 인터페이스를 생성하여 사용자가 원격으로 제어 명령을 입력하고 제출할 수 있도록 한다. 사용자가 입력한 제어 명령은 Flask 애플리케이션에서 처리되어 로봇에게 전달된다. 이를 통해 사용자는 스마트폰을 통해 직관적으로 로봇을 제어할 수 있다.

Ⅳ. 설계 및 로봇 제작

1. 하드웨어 구성 및 설계

다음과 같이 하드웨어 구성은 순찰 로봇이 다양한 환경과 조건에서 효과적으로 작동하도록 지원하며, 각각의 구성 요소는 로봇의 기능을 최적화하고 향상시키는 데 중요한 역할을 하도록 설계한다[6][7].

아래 그림 2는 1차 논문 연구시에 작업했던 내용으로 현 논문에서 진보된 내용으로 그림3, 그림4, 그림5로 전개하여 제시한다.

그림 2. 순찰 로봇의 대상 인식 작동 원리

Fig. 2. How the object recognition works for patrol robots

그림 3. 궤도 전체 구성도

Fig. 3. Full Orbit Configuration Chart

그림 4. 바닥 동체(궤도) 내부 시스템

Fig. 4. Floor fuselage (orbit) internal system

그림 5. 순찰 로봇 완성 예상도

Fig. 5. Projected completion of patrol robots

가. 열화상 카메라

위치: 로봇의 전면

기능: 야간이나 낮은 가시성 조건에서도 열을 감지하여 객체 식별

사양: 고감도 열 센서, 넓은 감지 범위

나. 스피드돔 카메라

위치: 로봇의 상부 중앙

기능: 360도 회전으로 넓은 감시 영역 커버, 고속 회전 가능

사양: 고해상도 비디오, 빠른 응답 속도

다. PTZ 카메라

위치: 로봇의 전면 또는 측면

기능: 원격 조절로 특정 지점 감시 및 세부 추적

사양: 줌 인/아웃 가능, 고정밀 카메라

라. 레이더 & 라이다

위치: 로봇의 전면 및 측면

기능: 장애물 감지 및 거리 측정, 이동 경로 최적화

사양: 높은 정밀도의 거리 측정, 넓은 감지 각도

마. 궤도 이동 체계

위치: 로봇의 하부

기능: 다양한 지형에서의 안정적인 이동

사양: 높은 내구성의 궤도, 향상된 지면 접촉률

바. 스마트폰

위치: 로봇의 제어 패널 내부

기능: 로봇의 주요 제어 장치로서의 역할, 실시간 데이터 처리 및 의사소통

사양: 고성능 프로세서, 다중 통신 기능(4G/5G, Wi-Fi)

Ⅴ. 결론

통합 센서 시스템을 활용한 고기능 순찰 로봇의 설계 및 구현은 복잡한 환경에서 효율적으로 감시하고 대응할 수 있는 유용한 도구임을 입증하였다. 열화상 카메라, 스피드돔 카메라, PTZ 카메라, 레이더, 라이다 센서, 그리고 스마트폰과 같은 다양한 센서와 장치를 통합하는 것은 로봇의 성능을 향상시키는 데 중요하며, 특히 야간이나 낮은 가시성 조건에서도 높은 성능을 보여줄 수 있다. 특히궤도 이동 체계를 선택함으로써 로봇의 이동성이 향상되었고, 스마트폰 기반의 제어 시스템은 실시간 데이터 처리와 의사결정을 가능케 하였다. 이러한 연구 결과는 다양한 분야에서 순찰 및 감시 로봇의 개발 및 적용에 유용한 기초 자료로 활용될 수 있다. 따라서, 통합 센서 시스템을 이용한 고기능 순찰 로봇의 설계 및 구현은 현실적인 문제에 대한 해결책을 제시하고 로봇 기술의 발전에 기여할 수 있는 중요한 연구임을 결론 지을 수 있다.