목표로 하는 성능 지수 함수를 여러 가지 제약 조건 하에서 최소 또는 최대 값을 찾는 문제에 관한 최적화 이론 (Optimization Theory)은 수확 및 공학 분야에서 가장 오래된 학문 영역 중 하나이다. 문제를 이루는 함수와 변수의 수학적 특성에 따라 그 문제를 푸는 많은 해석적 또는 수치적 해법에 관한 세부 이론들이 제시되어 왔다. 근래에는 빠른 계산 속도로 인해 과거에는 생각지 못했던 문제까지도 수치적인 접근을 통하여 그 해를 구할 수 있게 되었다. 본 기고에서는 몇몇 시스템 이론 분야에서 최적화 이론이 사용된 사례를 간략히 소개한다.

최적화 이론은 학제적 학문 분야로 경로 선택, 기계 구조 설계, Operational Research 등, 기존의 최적화 응용 분야뿐만 아니라 무선 센서 네트워크, 시스템 모델링 등 다양한 분야에 사용되고 있다. 이 글에서는 최근 응용 분야에 대한 사례들과 최적화 기법에 대하며 소개한다.

신경회로망 기술은 다양한 공학적 및 과학적 문제에 적용되어 왔으며 복잡한 동특성을 갖는 시스템의 모델링에 특히 효율적인 것으로 알려져 있다. 신경회로망 학습은 신경회로망의 가중치 및 바이러스로서 주어지는 파라미터 벡터의 요소를 주어진 목적함수를 최소화하는 최적의 값으로 추정하는 연산과정을 의미한다. 따라서 신경회로망 파라미터 학습은 전체시스템의 성능을 직접적으로 좌우하는 매우 중요한 단계라 할 수 있으며 일반적으로 파라미터의 수정규칙 알고리즘을 도출한다. 이러한 수정규칙은 주로 최적화 기법을 적용하며 경사함수(gradient function)를 포함한다. 최근에는 이러한 경사함수를 포함하지 않는 학습 알고리즘이 많이 개발되고 있으며 특히 칼만 필터링 이론을 접목한 미분 신경회로망의 학습 알고리즘이 최근에 발표되었다.