본 논문에서는 콘크리트 표면 품질이 좋은 영상뿐만 아니라, 기존의 영상처리 기법에서 다루지 않았던 표면 품질이 좋지 않은 영상에 대해서도 효율적으로 균열을 추출하고, 추출된 균열의 특징인 길이, 방향, 폭을 자동으로 계산한 후, ART2 기반 RBF 네트워크를 적용하여 균열의 방향성($-45^{\circ}$방향, $45^{\circ}$방향, 횡방향, 종방향)을 인식하는 기법을 제안한다. 본 논문에서 제안한 콘크리트 균열 추출 및 분석 알고리즘은 Roberts 연산자를 이용하여 균열을 강조하고, 강조된 균열을 Multiple 연산을 이용하여 균열과 배경간의 밝기 차이를 크게 한 후, 개선된 적응 이진화 기법을 이용하여 균열의 후보 영역을 추출한다. 추출된 균열 후보 영역을 형상 분석과 위치 및 방향 분석을 이용하여 3차례에 걸쳐 잡음을 제거하고, 잡음 제거 과정에서 잡음으로 분류된 균열을 복원하여 균열의 특징을 분석한다. 그리고 ART2 기반 RBF 네트워크를 균열의 방향성($-45^{\circ}$방향, $45^{\circ}$방향, 횡방향, 종방향)에 적용하여 인식한다. 제안된 ART2 기반 RBF 네트워크는 입력층과 중간층으로의 학습은 ART2을 적용하고 중간층과 출력층간의 학습은 Delta 학습 방법을 적용한다. 실제 콘크리트 표면 균열 영상을 대상으로 실험한 결과, 제안한 방법이 기존의 방법보다 균열의 검출 성능이 개선되었고 잡음으로 분류된 균열도 효율적으로 복원되었다. 또한 제안된 ART2 기반 RBF 네트워크가 균열의 방향성 인식에 효율적임을 확인할 수 있었다.