A Study on Obstacle Avoidance and Autonomous Travelling of Mobile Robot in Manufacturing Precess for Smart Factory

스마트 팩토리를 위한 제조공정내에서 모바일 로봇의 장애물 회피 및 자율주행에 관한 연구

Abstract

In this study, we propose a new approach to impliment autonomous travelling of mobile robot based on obstacle avoidance and voice command. Obstacle Avoidance technology of mobile robpot. It has been used in wide range of different robotics areas to minimize the risk of collisions. Obstacle avoidance of mobile robots are mostly applied in transportation systems such as aircraft traffic control, autonomous cars etc. Collision avoidance is a important requirement in mobile robot systems where they all featured some kind of obstacle detection techniques in order to avoid colliding. In this paper it was illustrated the reliability of voice command and obstacle avoidance for autonomous travelling of mobile robot with two wheels as the purpose of application to the manufacturing process by simulation and experiments.

1. 서론

1.1 초음파 센서의 거리 측정원리

초음파란 보통 인간의 귀에 들리지 않는 약 2OkHz이상 주파수의 음파를 지칭한다. 초음파 센서는 초음파를 매질(공기, 물 등)에 반사하여 매질로 이루어진 공간내에 존재하는 물체로부터 반사되어 오는 파를 감지하여 거리를 측정하는 센서로 그 측정 거리는 식(1)과 같은 관계가 있다.(5)

\(\begin{align} S = K {\times} \frac{t}{2}\end{align}\)       (1)

여기서,

\(\begin{align}K=331.4 \times \sqrt{\frac{T}{273}}\end{align}\) 공기 중에서의 음속

S: 물체까지의 거리,

T: 주변 온도,

t: 반사파의 도달시간

초음파 센서의 빔 패턴은 센서 전방의 모든 방향으로 펴져 나간다. 그러나 일반 적으로 가장 효과적인 빔의 폭은 음파의 진행 축을 기준으로 음파의 크기의 반이 되는 점(약 6dB)들 사이의 각으로 볼 수 있다. 이때, 센서의 지향 각을 α라고 하면 지향 각은 다음과 같은 관계로 나타낼 수 있다.[1]

\(\begin{align}\alpha = \frac{1}{r} \times {f}\end{align}\)       (2)

여기서,

r = 트랜스듀서(송신 장치)의 직경,

f = 초음파 주파수

1.2 초음파거리감지

Fig.1과 같이 초음파 센서는 간단히 초음파 송수신 부, 드라이브회로, 거리 감지 회로의 세 부분으로 나룰 수 있다. 트랜스듀서를 통해 초음파를 발사하고 물체에 반사되어 돌아오는 초음파를 다시 트랜듀서를 통해 갑지한다.

Fig. 1 The process of distance detection of ultrasonic sensor

트랜스듀서를 통해 초음파를 발사하고 물체에 반사되어돌아오는초음파를다시트랜듀서를통해갑지한다.[2]

드라이브회로는 거리 감지 회로부터 초음파발사신호를 받아 트랜스듀서가 초음파펄스를 발사할 수 있도록 트랜듀서 양단에 고전압을 인가한다. 또 트랜스듀서가 발사한 초음파가 불체에 반사되어 되돌아올 때 그 파를 감지하여 증폭하고 증폭된 신호를 반사파의 감지 여부 판단하여 거리 감지 회로부에 전달한다. 이때 증폭 이득은 시간의 경과에 따라 커지게 하며, 세 개의 초음파 센서로 인하여 세 번 에 걸쳐 물체의 감지를 이루어지게 함으로써 약한 신호로 인한 감지 실패 등을 줄인다. 거리 감지 회로 부분에서는 초음파 송출 신호(init signal)를 드라이브 회로에 보내고 반사의 감지 신호(echo signal)를 받아 그 시간 지연을 이용하여 장애물과의 거리를 계산해낸다. 이렇게 해서 얻어진 거리 정보는 일차적으로 거리 감지 시스템에 그 값을 저장한다.[3]

초음파 센서의 신호 처리부는 장애물과의 거리를 측정하는 기능을 담당한다. 본 연구에서 사용한 거리측정용 센서로는 폴라로이드사의 6500 시리즈 초음파 센서를 사용하였다. 이는 송신과 수신이 하나의 트랜스듀서로 이루어지고 구동 주파수는6OkHz이며, 지향성은 15° 정도의 특성을 갖는다. 이 초음파 센서를 구동하기 위해서는 초음파 구동 및 장애물에 반사되어 오는 신호를 처리하기 위한 회로가 필요하다.

1.3 초음파 센서의 소프트웨어 구성

초음파 시스템의 프로그램은 Fig.2와 같이 초음파 구동을 위한 초음파 초기화, 거리측정을 위한 초기화, 모터구동을 위한 모터 초기화, 디스플레이를 위한 초기화를 한 후 초음파1, 초음파2, 초음파3의 순서로 구동하여 각초음파 센서의 데이터를 저장하고 저장된 데이터에 의해 각 위치에서의 전방의 물체를 감지하여 로봇 주행에 적합한 방향을 설정하기 위해 각거리 스탭에 맞는 위치를 재설정하고, 초음파 1, 2, 3의 물체 감지거리 스랩이 1이면 우측방향으로 정의된 각도만큼 회전하게 되고 1이상이면 모터에 의해 정의된 주행을 하게 된다.[4]

Fig. 2 The pprogram flowchart of ultrasonic sensor system

1.4 로봇 작업명령을 위한 음성인식제어

1.4.1 음성인식을 위한 구간 검출

실 음성 구간의 검출은 입력된 음성신호로부터 실제로 음성이 있는 구간을 찾는 과정이다. 음성(특히 단어)의 인식에 있어서 정확한 실 음성 구간의 검출은 인식률은 물론 인식속도에 있어서도 영향을 주게 되므로 정확한 실 음성 구간의 검출은 인식알고리즘과 더불어 음성인식의 매우 중요한 과정의 하나이다. 이상적인 실 음성구간 검출기는 주변 환경에 대해 강인하고 일관적이어야 한다. 또한 응용에 있어서 실제 음성구간의 실시간 검출 또한 매우 중요한 과제이다. 본 연구에서는 이러한 조건을 만족시키기 위해서 에너지와 영교차율 ZCR(Zero Crossing Rate) 을 동시에 이용하는 함수를 이용하여 실 음성 구간의 검출을 수행하였다. 여기서 영교차율이란 인접한 신호의 값이 주어진 영역을 통과하는 횟수를 말하며, 그 신호에 대한 주파수의 정보를 포함한다. 영교차율은 무성음 구간에서는 값이 크게 나타나고, 주파수가 낮은 유성음 구간에서는 작게 나타난다. 음성신호는 단 구간 에너지 E와 ZCR의 값을 각각 구하여 일정구간에서의 곱으로 실 음성 구간여부를 판단하며 그 함수는 식(4)와 식(5)와 같다. 여기서 N은 분석하려는 한 프레임의 길이이며 n은 현재 샘플의 인덱스이다.[5]

\(\begin{align}E(n)=\sum_{m=n-N+1}^{n}|x(m)|\end{align}\)       (4)

\(\begin{align}Z C R(n)=\sum_{m=n-N+1}^{n} \mid \operatorname{sgn}[x(m)]-\operatorname{sgn}[x(m-1] \mid\end{align}\)       (5)

1.4.2 음성 인식 알고리즘

1. 워핑함수의 제한

워핑 함수 F는 음성 패턴에서 시간축 변동의 모텔이다. 따라서 실제 시간축 변동의 특정을 갖는 워핑 함수 F는 근사시켜야 한다. 즉 패턴 X(i)의 시간 축에서 패턴 Y(j)의 시간 축으로 맵핑하여 나타나는 함수 F는 패턴 A(i)의 시간 축 상에 언어의 본질적 구조를 보존하여야 하며 반대의 경우도 그러하여야 한다. 근본적인 음성 패턴의 구조는 연속성, 단조성(또는 음성에서 상대적인 시간적 제약), 음성에서 음향 파라미터 천이 속노의 한계성 등이다. 이러한 조건들은 워핑 함수 F에 관한 다음의 제약으로 실현된다.

(1) 끝점 제한(Endpoint Constraints)

입력 음성 패턴의 시작점 T(1)은 기준 패턴의 시작점 R(1) 과 일치하고 입력 음성 패턴의 끝점 T(M)은 기준 패턴의 끝점 r(n)과 일치 한다. 식(19)와 식(20)에 나타내고 있다.[5]

beginning point : ϕ_x(1) = 1, ϕ_y(1) = 1       (19)

ending point : ϕ_x(1) = 1, ϕ_y(T) = T_y       (20)

(2) 단조 증가성(Monotonicity)

최적 경로는 항상 단조 증가해야 한다.

즉 j=w(n)일 때 n_k-1 ≤ n_k and j_k-1 ≤ J_k를 만족해야 한다. 식(21)과 식(22)에 나타내었다.

ϕ_y(k +1) ≥ ϕ_y(k)       (22)

(3) 국부 경로 제한(Local Path Constraints)

전역 경로 제한과는 달리 격자상의 한 노드에 도달하기 위한 경로에 제한을 둠으로써 시간 상 지나치게 수축되거나 팽창되는 것을 막는다. 식(23)과 식(24)에 나타내었다.

ϕ_x(k + 1) - ϕ_x(k) ≤ 1       (23)

ϕ_y(k + 1) - ϕ_y (k) ≤ 1       (24)

(4) 전역 경로 제한(Global Path Constraints)

서로 다른 길이를 갖는 입력 음성 패턴과 기준 패턴간의 전 구간에 걸친 허용 가능한 영역을 제한한다. 이때 통일 음성이 발음될 대 지속 시간의 차이가 1/2에서2배를 넘지 않는 가정에 의해 최적 경로 탐색 범위를 X, Y평면의 모든 노드에서일정 부분으로 제한함으로써 탐색시간을 줄인다.

(5) slope weighting

음성 인식의 정확성에 기여한다. 경로에 1이외의 기울기(가중치)를 주는 것을 말한다. 시간에 대해 비합리적으로 불연속적으로 변하는 것을 막고, 경로가 급작스럽게 변하는 것을 재분배한다.

local continuity and slope weighting은 발견적인 방법이지 분석적으로 증명된 것은 아니다. 그러나 실제 사용함에 있어서 일관성을 보이므로 사용 가능하다.

2. DTW(Dynamic time warping)정의

DTW는 기준이 되는 음성신호의 패턴과 입력된 음성 신호간의 유사도(distance)를 동적 프로그래밍(dynamic programming)을 이용해 구하는 방법으로 시간 축에서 차이를 보상하기 위한 방법이다. 예를 틀어 길이가 M인 입력 음성 패턴을 T=T(1),T(2). ..., T(M)길이가 N인 기준 패턴을 R=R(1),R(2),...,R (N)라고 하면 두 패턴 간의 유사도 D는 식(25)와 같이 누적거리로 표현된다.[5]

\(\begin{align}D=\sum_{N}^{n=1} d(r(n), T(W(N)))\end{align}\)       (25)

이때 D=(R(n),T(w(n))는 (25)이때 R의 n번째와 T의 w(n)번째의 국부적 유사도(Local Distance)이며, DTW는 두 패턴 간의 누적 거리 최적화하는 (m,n)평면의 최적 경로 m=w(n)를 찾는 방법이다. 이 방법을 이용해 최적 경로를 찾을 때는 음성 신호의 특성을 고려해 최적 경로 탐색에 다음과 같은 제약 조건을 가해 탐색 시간을 줄인다. 그러나 인식 성능에는 영향을 미치지 않는다.

Endpoint 에 의해 Tx, Ti,는 식(26)과 같다.

\(\begin{align}M_{\varphi} d(x, y)=D\left(T_{x}, T_{y}\right)=\frac{\min }{\phi_{x} \phi_{y}} \sum_{k=1}^{T} d\left(\phi_{x}(k), \phi_{y}(k)\right) m_{m}(k)\end{align}\)       (26)

(1,1)과 (i_x, i_y)를 연결하는 최소한의 누적거리는 식(27)과 같다.

\(\begin{align}D\left(i_{x}, i_{y}\right)=\frac{\min }{\phi_{x} \phi_{y}} T \sum_{k=1}^{T} d\left(\phi_{x}(k), \phi_{y}(k)\right) m(k)\end{align}\)       (27)

여기서, φ_x(T′) = i_x, φ_y(T′) = i_y

이 제한에 의한 국부 누적거리는 식(28)과 같다.

\(\begin{align}D\left(i_{x}, i_{y}\right)=\frac{\min }{\left(i_{x}, i_{y}\right)}\left[D\left(i_{x}, i_{y}\right)+\zeta\left(\left(i_{x}, i_{y}\right),\left(i_{x}, i_{y}\right)\right)\right]\end{align}\)       (28)

(i_x, i_y)와 (i'_x, i'_y)사이의 local distance인 ξ는식(29)와같다.

\(\begin{align}\zeta\left(\left(i_{x}, i_{y}\right),\left(i_{x}, i_{y}\right)\right)=\sum_{i=0}^{L} d\left(\phi_{x}\left(T^{\prime}-1\right), \phi_{y}\left(T^{\prime}-1\right)\right) m\left(T^{\prime}-1\right)\end{align}\)        (29)

즉, 시작점이 (1,1)이고끝점이 (Tx,Ty)일 때 Tx,Ty를 통한최적경로를 찾는 방법은 DTW를 이용하면 두 음성 신호간의 시간의 차이를 보상 할 수 있다. DTW의 경우기준모델 집합의 작성은 간단하다. 인식하고자하는 명령어들 을 발음하고 분석한 후 연속된 프레임들의 특징벡터들을 저장하고 있으면 된다. 인식 시에는 입력된 음성을 분석해 특징벡터를 추출한 후 이들 기준 모델 집합의 구성원과 개별적으로 DTW해 가장 적은 누적 거리를 주는 구성원을 찾으면 된다. DTW는 고립 단어 인식에 주로 사용되며 인식률이 높다는 장점을 가지고 있다.[6]

음성인식시스템구성

(1) 음성인식보드 설계

본 연구에서는 음성인식 독립시스템을 구현하기 위하여 TMS320C32 실수형 디지털신호처리기콜 사용하였다. TMS320C32의 경우 동시에 두 가지의 일을 수행 할 수 있는 몇 개의 명령을 가지고 있으며. 또한 반복적인 명령을 빠르게 처리할 수 있는 하드웨어적인 루프제어기나 고속으로 비트를 이동 할 수 있는 barrel shifter를 가지고 있다. 다양한 디지털 신호처리 및 고속 연산 제어 용용분야에서 쉽게 사용할 수 있도록 내부의 메모리뿐만 아니라, Direct memory access 제어기, 카운터, 직렬포트 통신 등 여러 가지 입출력 제어기능들이 내장되어 범용 마이크로 컨트롤로의 역할을 수행할 수도 있다.[7]

Fig3은 본 연구에서 사용한 음성인식 보드를 위한 하드웨어 구성 블록도를 보여 주고 있다. 그림 3에서와 같이 32바트 부동소수점 DSP인 TMS320C3l을 중심으로 하여 부트로더용 EPROM, 음성데이터 저장용128K워드의 SRAM, 음성 신호의 입력을 위한 A/D 컨버터, 거리측정에 의한 장애물 회피를 하고 있는 시스템과 음성인식을 위한 디지털 신호처리기, 병렬 인터페이스, 디스플레이를 위한 LCD로 구성되어있다. 또한, 마이크로폰으로 들어오는 신호의 DC 성분을 없애기 위하여 차단주파수가 24Hz인 RC회로를 이용한 고역 통과 필터를 앰프 회로 전단에 추가하였으며, 사용된 R파 C의 값은 각각 2kΩ가 20μF이다. 이때 C는 극성이 존재하는 전해질 콘덴서를 사용하였다.[9]

Fig. 3 The hardware structure of voice recognition system

(2) 음성인식 소프트웨어 구성

구현된 음성 인식 시스템의 인식 과정은 Fig.4와 같다. 먼저, 푸시 버튼을 눌러 시스템을 리셋 시킨 후, 마이크로폰으로 데이터베이스 중의 특정한 단어를 입력하면 음성 신호는 마이크로폰 출력을 높여주는 앰프와 DC 성분을 제거하는 고역 통과 필터를 거치게 된다. 앰프와 고역 통과 필터를 통과한 음성 신호는 A/D컨버터 AD678에 의해 12비트 1KHz 샘플링 된다.

Fig. 4 The flowchard of softward of voice recognition system

Fig. 5 The structure of control system for mobile robot

2. 성능 실험 및 결과 고찰

2.1 로봇의 장애물 회피 성능 실험

본 실험에서의 주된 내용은 초음파 환경 탐사 시스템을 위해 제작된 로봇을 구동시켜 주위 장애물 정보를 얻고 이를 이용하여 자율주행 하는 것이다. 주행은 그림 20에 나타나 있는 것처럼 전 우 좌측에 각각 1개의 초음파 센서를 탑재하여 각 방향에 패한 장애물의 위치와 크기정보를 얻어 주행 로봇의 방향을 재설정 할 수 있는 직접 제작한 로봇을 보여주고 있으며 로봇은 크게 3부분으로 나누어진다. 로봇의 이동을 담당하는 구동부 로봇의 주행을 전체적으로 총괄하는 CPU와 환경 정보를 취득하기위한 초음파로 구성되어있다.

주행 로봇의 구동부는 분해능이 1.8°인 스테핑 모터를 사용하였으며, 주연산부는 Intel사의 16비트의 8OC196KC 원칩 마이크로컨트롤러를 사용하였다. 주연산부는 초음파로부터 얻어지는 정보를 이용하여 장애물의 거리와 크기를 획득하여 장애물 회피를 위한 방향 재설정을 수행하였다. 초음파부는 Ⅱ, Ⅲ장에서 설명한 초음파 신호 시스템을 그대로 구성하여 주위의 장애물 정보를 얻는 역할을 하였다.

실험 환경은 연구실 통로를 이용하였으며 복도 환경은 지면이 평탄하여 로봇의 주행 중 미끌림이 거의 일어나지 않고, 로봇의 무게는 로봇의 구동부를 위해 스웹핑 모터의허용 중량보다 충분히 적기 때문에 모터가 헛도는 현상이 거의 발설하지 않는다. 또한, 스테핑 모터는 모터 자체의 특성으로 인해 각도 오차가 누적되지 않기 때문에 기동 및 정지 응답성이 양호하다.

2.2 음성인식 성능 실험

2.2.1 TEST용 보드 제작

Fig. 6 Block diagram of test board.

실시간 처리를 위해서는 무엇보다도 시리얼 포트로 들어온 Data를 실시간 읽어 들일 수 있어야 한다. 그러기 위해서는 DMA는 CPU의 동작과는 독립적으로 Data를 읽을 수 있는 작용을 하기 때문에 실시간 처리를 위해서는 DMA의 기능은 중요하다. CS4218 16-Bit Stereo Audio Codec은 Sampling frequencies가 4kHz에서 50kHz까지 가능하며 본 논문에서는 8kHz로 Sampling이 되도록 하였다. 메모리는 SRAM의 64K×16bit 두 개를 사용하여 32bit의 Data 크기를 구현하는데 사용하였다.

Fig. 7 Block diagram of global control

Fig. 8 The process of voice recognition.

음성인식 확인 실험을 위하여 학생 3명을 대상으로 5개의 대상단어를 각각 10번씩 발성하게 하고, 3번의 발성 음은 학습용에 사용하고 나머지 10번의 발성 음은 인식용으로 사용하여 실험 결과를 분석 평가하였다.

Fig. 9 Registration word and realization word about “Junbi”

Fig. 10 Registration word and realization word about “Apuro”

음성인식 실험은 음성인식을 위해 2회에 걸쳐 기준 음을 설정하였으며, 초기 기준 음과 입력음파의 DTW에 의한 유사도를 비교하여 입력음파의 최소 거리를 갖는 기준 음을 인식된 음성으로 결정하였다. 그림 23은 이러한 음성인식 시스템과 같은 구성으로 TMS320C32를 이용하여 하드웨어로 제작된 음성인식기에 대한 음성인식률을 확인하기 위하여 인식결과를 그래프로서 나타낸 것이다.

인식 대상 단어로는 표 9와 같이 로봇을 주행하기 위한 단어를 사용하였으며, 인식결과에 대한 출력을 스테핑 모터와 LCD을 통하여 확인하였다.

음성인식 단어 추출방법은 마이크로폰으로부터 들어온 음성은 잡음 길이를 제외한 순수 음성의 단어만을 추출하고 Block의 Zero 교차 횟수와 평균 Energy를 계산하여 기존 등록된 단어와 비교하여 인식단어를 축소시키며 현재 들어온 단어에 대한 특징점을 이진화하여 추출하여 70%이상 일치되었을 때 인식하게 된다. Fig 4.3은 “준비”에 대한 등록단어 및 인식단어의 파형이며, Fig 4.4는 “앞으로”에 대한 등록단어 및 인식단어의 파형으로 각각의 순수 음성의 파형 및 길이 등의 데이터 나타내고 있다.

2.3 통합 성능 실험

음성인석과 초음파에 의한 실험은 초음파 센서를 이용하여 자율 주행하는 도중초음파센서의 실험에서와 같이 ‘-’자형, ‘｢’자형, ‘+’자형의 환경에서 실험한 결과, 실험환경5의 ‘+’자형에서의 주행은 측정거리의 부정확한 정보 인식으로 인하여 주행이 제대로 이루어지지 않는 것을 볼 수 있었다. 그러므로 실험환경5에서와 같은 환경에서는 음성을 통하여 주행함으로써 초음파센서의 부정확한 정보의 미비점을 보완할 수 있었다. 그림 26에서와 같은 실험은 5.2의 음성인식 실험을 토대로 하여 실험한 결과를 나타내고 있다. 원 안의 ‘+’자형 교차로에서는 음성에 의한 주행을 통해 초음파 센서의 미비점을 보안하여 주행을 하고 ‘+’자형의 교차로가 끝나면 다시 초음파 센서로서 장애물 회피를 통한 로봇을 주행하도록 구현하였다. 그림 25와 표11는 음성인식과 초음파 주행을 위한 주행 로봇과 주행과정을 보여주고 있다.

Fig. 11 The travelling path of mobile robot.

Fig.12와 같이 각각 실험환경의 출발점에서 음성명령을 통하여 천진, 좌로, 우로, 후진, 정지를 통하여 각 환경에서 주행한 실험 결과는 오인식률 만큼의 오차를 보였다.

Fig. 12 Performance experiment scene of mobile robot control by voice recognition

Fig.13은 초음파와 음성에 의한 주행을 보여주고 있으며, 최초 전진에 의한 음성주행을 시작으로 로봇이 주행하여 초음파에 의한 주행과 다시 ‘우로’라는 음성을 통하여 교차로를 통과하게 된다.

Fig. 13 The result of voice recognition.

4. 결론

본 연구에서는 초음파 센서 시스템과 화자 독립 단독 음성인식 시스템을 결합하여 자율 주행하는 로봇에 관하여 연구하였다. 사용 프로세서로는 DSP 프로세서인 TI사의 TMS320C32로 전체 하드웨어를 구현하였으며, 세 개의 초음파 센서를 이용하여 로봇 전방의 장애물에 대한 정보를 획득하여 각각의 실험 환경에서의 자율 주행을 해 보았다. 실험한 결과 초음파에 의한 주행은 ‘+’자형 교차로를 주행하는 도중 초음파 센서에 의한 장애물 정보를 잘못 획득하여 주행에 부적절한 데이터를 획득하였다. 음성인식에 의한 주행을 위해 5단어에 대해 화자 독립인식을 할 수 있는 시스템을 구현하였다. 인식률을 높일 수 있는 방안으로는 프레임구간 설정, 잡음제거, 특정파라미터를 구현 시스템에 적절하게 설정하여야 한다. 특히, 추출하는 과정에서 LPC 분석 차수에 따라 인식 성능이 달라지며 분석 차수가 높으면 인식률이 높아지지만 메모리가 커지게 되고 연산 량이 많은 단점이 발견되었다. 본 연구에서 제안된 모바일 로봇의 자율주행기술은 초음파와 음성인식으로서 주행하였는데 초음파 센서열을 더욱 추가하고 초음파의 거리 감지 시스템을 더욱 근거리의 스탭 단위로나눈다면 더욱 복잡한 환경에서의 주행이 부드럽게 이루어질 것이라고 사료된다.