• 제목/요약/키워드: 데이터 처리량

검색결과 2,565건 처리시간 0.034초

선택적 자질 차원 축소를 이용한 최적의 지도적 LSA 방법 (Optimal supervised LSA method using selective feature dimension reduction)

  • 김정호;김명규;차명훈;인주호;채수환
    • 감성과학
    • /
    • 제13권1호
    • /
    • pp.47-60
    • /
    • 2010
  • 기존 웹 페이지 자동분류 연구는 일반적으로 학습 기반인 kNN(k-Nearest Neighbor), SVM(Support Vector Machine)과 통계 기반인 Bayesian classifier, NNA(Neural Network Algorithm)등 여러 종류의 분류작업에서 입증된 분류 기법을 사용하여 웹 페이지를 분류하였다. 하지만 인터넷 상의 방대한 양의 웹 페이지와 각 페이지로부터 나오는 많은 양의 자질들을 처리하기에는 공간적, 시간적 문제에 직면하게 된다. 그리고 분류 대상을 표현하기 위해 흔히 사용하는 단일(uni-gram) 자질 기반에서는 자질들 간의 관계 분석을 통해 자질에 정확한 의미를 부여하기 힘들다. 특히 본 논문의 분류 대상인 한글 웹 페이지의 자질인 한글 단어는 중의적인 의미를 가지는 경우가 많기 때문에 이러한 중의성이 분류 작업에 많은 영향을 미칠 수 있다. 잠재적 의미 분석 LSA(Latent Semantic Analysis) 분류기법은 선형 기법인 특이치 분해 SVD(Singular Value Decomposition)을 통해 행렬의 분해 및 차원 축소(dimension reduction)를 수행하여 대용량 데이터 집합의 분류를 효율적으로 수행하고, 또한 차원 축소를 통해 새로운 의미공간을 생성하여 자질들의 중의적 의미를 분석할 수 있으며 이 새로운 의미공간상에 분류 대상을 표현함으로써 분류 대상의 잠재적 의미를 분석할 수 있다. 하지만 LSA의 차원 축소는 전체 데이터의 표현 정도만을 고려할 뿐 분류하고자 하는 범주를 고려하지 않으며 또한 서로 다른 범주 간의 차별성을 고려하지 않기 때문에 축소된 차원 상에서 분류 시 서로 다른 범주 데이터간의 모호한 경계로 인해 안정된 분류 성능을 나타내지 못한다. 이에 본 논문은 새로운 의미공간(semantic space) 상에서 서로 다른 범주사이의 명확한 구분을 위한 특별한 차원 선택을 수행하여 최적의 차원 선택과 안정된 분류성능을 보이는 최적의 지도적 LSA을 소개한다. 제안한 지도적 LSA 방법은 기본 LSA 및 다른 지도적 LSA 방법들에 비해 저 차원 상에서 안정되고 더 높은 성능을 보였다. 또한 추가로 자질 생성 및 선택 시 불용어의 제거와 자질에 대한 가중치를 통계적인 학습을 통해 얻음으로써 더 높은 학습효과를 유도하였다.

  • PDF

머신러닝기반 범죄발생 위험지역 예측 (Predicting Crime Risky Area Using Machine Learning)

  • 허선영;김주영;문태헌
    • 한국지리정보학회지
    • /
    • 제21권4호
    • /
    • pp.64-80
    • /
    • 2018
  • 우리나라의 시민들은 범죄에 대한 일반적인 사항만을 알 수 있을 뿐, 자신이 범죄위험에 얼마나 노출되어 있는지를 파악하기 어렵다. 경찰의 입장에서도 범죄발생 지역을 예측할 수 있다면 경찰력이 부족한 상황에서 효율성 있게 범죄에 대처 가능할 것이지만 아직 우리나라에서는 예측시스템이 없고, 관련 연구도 매우 부족한 실정이다. 이에 본 연구에서는 범죄발생 위험지역 예측 자동화 시스템 개발의 첫 번째 단계로 빅데이터로 구축 가능한 범죄정보와 도시지역 자료를 바탕으로 머신러닝 방식을 통해 한국형 범죄발생 위험지역 예측 모형을 개발하고자 한다. 또한 시나리오를 가정하여 범죄발생 확률을 지도로 시각화함으로써 사용자의 이해도를 높이도록 하였다. 선행 연구 및 사례에서 범죄발생에 영향을 미치는 요인 중 빅데이터로 구축 가능한 범죄정보, 날씨정보(기온, 강수량, 풍속, 습도, 일조, 일사, 적설, 전운량), 지역정보(평균 건폐율, 평균 용적율, 평균 높이, 총 건축물수, 평균 공시지가, 평균 주거용도면적, 평균 지상층수)를 머신러닝에 활용할 수 있도록 데이터를 사전 처리하였다. 머신러닝 알고리즘으로서 지도학습 모형 중 다양한 분야에서 활용되며 정확도가 높다고 알려진 의사결정나무모형, 랜덤포레스트모형, Support Vector Machine(SVM)모형을 활용하여 범죄 예측 모형을 구축하고 비교 분석하였다. 그 결과 평균 제곱근 오차(Root Mean Square Error, RMSE)가 낮아 예측력이 높은 의사결정나무모형을 최적모형으로 선정하였다. 이를 바탕으로 가장 빈번하게 발생하는 절도와 폭력범죄를 대상으로 시나리오를 작성하여 범죄 발생 위험지역을 예측한 결과, 사례도시 J시는 위험지역이 3가지 패턴으로 발생하는 것으로 나타났으며, 각각 발생확률을 3 등급으로 구분하여 $250{\times}250m$ 단위의 지도형태로 시각화할 수 있었다. 본 연구는 향후 자동화 시스템으로 개발하여 시시각각으로 변하는 도시 상황에 따라 실시간으로 예측 결과를 시각화하여 제공함으로써 보다 범죄로부터 안전한 도시환경 조성에 기여하고자 한다.

딥러닝 기반 달 표면 모사 환경 실시간 객체 인식 및 매칭 시스템 개발 (Development of System for Real-Time Object Recognition and Matching using Deep Learning at Simulated Lunar Surface Environment)

  • 나종호;공준호;이수득;신휴성
    • 터널과지하공간
    • /
    • 제33권4호
    • /
    • pp.281-298
    • /
    • 2023
  • 달 현지 탐사를 위해 무인 이동체에 대한 연구가 지속적으로 이루어져 있으며 달 지상 관심 지역의 정확한 위치 및 맵핑을 위한 실시간 정보화 작업이 요구되고 있다. 딥러닝 영상 처리 분석 기술을 실제 로버에 적용하기 위해 소프트웨어의 통합과 최적화에 대한 연구가 필요하며 본 연구에서는 가상의 달 기지 건설현장의 영상을 실시간 분석하여 핵심 객체의 공간 정보를 자동으로 수치화하는 방안에 대한 기초 연구가 진행되었다. 본 연구를 통해 이미 구축된 영역 분할 기반 객체 인식 알고리즘을 경계 상자 기반 객체 인식알고리즘으로 변경하여 객체 인식 정확도 및 추론 속도를 개선하는 작업이 이루어졌으며, 대용량 데이터 기반 객체 매칭 학습을 위해 Batch Hard Triplet Mining 기법을 도입하고, 학습 및 추론에 대한 최적화 연구가 수행되었다. 또한 개선된 객체 인식 및 동일 객체 매칭 소프트웨어를 통합하고, 입력 이미지 내 동일 객체 자동 매칭을 시각화하는 소프트웨어를 개발하였으며, 위성 모사 촬영 영상 내 객체를 학습 데이터로, 이동체 촬영 영상 내 객체를 추론 데이터로 사용하여 동일 객체 매칭의 학습 및 추론이 이루어졌다. 본 연구의 결과는 이동체의 연속 촬영 영상을 기반 3차원 공간 정보를 구현 및 관심 공간 내 객체 위치 설정에 활용할 수 있을 것으로 사료되며, 향후 달 기지 건설 현장에서의 영상 기반 시공 모니터링 및 제어를 위한 자동 현장 및 주요 대상물 공간 정보 구축 시스템과의 연계에 기여할 것으로 기대된다.

ZigBee와 CAN 통신을 이용한 자동차 배기가스 검출 및 자기진단 시스템 (Car Exhaust Gas Detection and Self-Diagnosis System using ZigBee and CAN Communications)

  • 천종훈;김국세;박종안
    • 한국ITS학회 논문지
    • /
    • 제7권6호
    • /
    • pp.48-56
    • /
    • 2008
  • 본 논문은 대기오염의 주범인 자동차 배기 가스량을 체크하고 차량내의 고장 유 무 진단 시스템 개발이다. 시스템 엔진 정보 추출을 위해 차량 CAN 통신을 이용하고 정보 전송을 위해 ZigBee를 통해 데이터 전송을 한다. 차량 CAN을 위해 차량에서 자체 제공되는 OBD-II 프로토콜을 사용하여 차량의 각종 센서 정보 및 O2 센서 값을 통해 차량 상태 정보 및 배기 가스양을 계산한다. 주행 중인 자동차 엔진 및 내부 고장에 잘 알지 못하는 일반 사용자를 위해 운행 중 실시간 차량의 자가진단 시스템 구축을 목적으로 하고 고장진단 프로토콜 전송을 위한 무선통신 인터페이스로 저 전력 저비용 ZigBee 통신 인터페이스를 구축한다. 자동차 그리고 진단 시스템의 통신을 위해 ZigBee 시스템을 통하여 효율적 저비용 통신 인터페이스를 구성하여 차량내의 엔진 및 각종 센서 정보 네트워크를 지원한다. 차량에서 전송되어 온 각종 센서정보는 ZigBee 기반을 통해 ZigBee 메인 컨트를 시스템에 전송된다. 차량에 이상이 생겼을 때 트러블 코드를 저장하고 자동차가 정비소에 갔을 때 정확한 판단을 하여 신속하게 처리 할 수 있게 해 주며 자동차에 대해서 잘 알지 못하는 운전자에게 정확한 정보를 제공한다. 또한 멀티미디어 시스템 기능을 추가하고 주행 중 무선 인터넷이 가능하도록 시스템을 확장한다. 마지막으로 주행 중 차량 자가진단을 위해 저 전력 임베디드 리눅스 시스템을 구축하고 실 실험을 통하여 구현하고 검증한다.

  • PDF

전장감시 센서네트워크시스템을 위한 온톨로지 기반 상황인식 프레임워크 (Ontology-based Context-aware Framework for Battlefield Surveillance Sensor Network System)

  • 손호선;박성승;전서인;류근호
    • 전자공학회논문지CI
    • /
    • 제48권4호
    • /
    • pp.9-20
    • /
    • 2011
  • 미래 전쟁의 양상은 네트워크 중심전(network-centric warfare) 및 효과중심 작전(effects-based operations)으로 변화하고 있다. 전장에서 적을 먼저 발견하고 타격하기 위해서는 실시간 표적획득 및 첩보수집, 정확한 상황판단과 적시적인 지휘결심이 필요하다. 첨단 센서기술과 무선네트워크의 급속한 발전으로 인하여 전장감시의 운영개념에도 큰 변화가 요구된다. 특히, 자동화된 정보수집 자산이 부족한 지상군에게 있어서 전장감시 센서네트워크시스템의 도입은 필수 과제이다. 따라서 이 논문에서는 지상군 작전에서 적의 조기 발견과 전장가시화에 필요한 전장감시 센서네트워크시스템 구축을 위한 온톨로지 기반 상황인식 프레임워크를 제안한다. 제안한 온톨로지 기반 상황인식 프레임워크의 성능을 상황정보시스템의 평가방법을 적용하여 기존 시스템과 비교 분석한 결과 양호하게 평가되었으며, 장비협업도를 활용한 구조적 평가방법으로도 만족한 결과를 입증하였다. 온톨로지 기반 상황인식 프레임워크는 확장성과 재사용성의 측면에서 매우 장점이 많은 방식으로서, 향후 지상군 감시정찰체계에 폭 넓게 확대 적용할 수 있다. 또한, 온톨로지로 인한 데이터 량의 증가, 집중화로 인한 네트워크 대역폭 제한 및 처리시간 증가 문제들은 제대별 임무와 특성에 맞게 커스터마이징하거나, 차세대 통신 인프라의 구축으로 인하여 지능형 감시정찰 서비스를 촉진시키게 되므로 지상군의 정보능력 확충에 크게 기여할 것으로 기대된다.

철도 궤도의 이상상황 예방을 위한 영상처리와 딥러닝을 융합한 지능형 철도 레일 탐지 알고리즘 (Intelligent Railway Detection Algorithm Fusing Image Processing and Deep Learning for the Prevent of Unusual Events)

  • 정주호;김다현;김철수;오염덕;안준호
    • 인터넷정보학회논문지
    • /
    • 제21권4호
    • /
    • pp.109-116
    • /
    • 2020
  • 고속철도의 출현과 함께 철도는 국내외에서 자주 사용하는 교통수단 중 하나이다. 또한, 환경적인 측면에서도 다른 교통수단에 비해 이산화탄소 배출량도 적은 편이며 에너지 효율성은 높다. 철도에 관한 관심이 높아질 수록 철도의 안전과 관련된 문제는 중요한 관심사 중 하나이다. 그 중 시각적 이상현상은 철도 앞에 동물이나 사람 등 다양한 장애물이 갑자기 나타나 사고가 발생한다. 이러한 사고들을 예방하기 위해 철도 레일을 탐지하는 것은 기본적으로 탐지해야하는 영역 중 하나이다. 철도에 설치된 카메라를 통해 영상을 수집할 수 있으며 철도 레일 탐지 방법은 전통적인 방식과 딥러닝 알고리즘을 이용한 방식이 있다. 전통적인 방식은 레일 주변의 다양한 노이즈로 인해 정확한 탐지가 어려우며 딥러닝 알고리즘을 이용하면 정확도 높게 탐지할 수 있으며 두 알고리즘을 융합하여 정확한 철도 레일을 탐지한다. 제안하는 알고리즘은 수집한 데이터를 기반으로 철도 레일 탐지에 대한 정확도를 판단한다.

하천 만곡부를 고려한 GIS 기반 침수지역 레이어 구축 (The Construction of GIS-based Flood Risk Area Layer Considering River Bight)

  • 이근상;유병혁;박진혁;이을래
    • 한국지리정보학회지
    • /
    • 제12권1호
    • /
    • pp.1-11
    • /
    • 2009
  • 홍수시 댐 방류에 따른 하류하천의 침수지역을 신속하게 가시화하는 것은 댐관리 업무에 매우 중요하다. 하천구간별로 모의된 홍수위를 기반으로 침수지역을 효과적으로 표출하기 위해서는 하천의 만곡부에서 나타나는 중복영역을 제거해야 된다. 본 연구에서는 홍수분석모형 (COSFIM)과 FLDWAV 모델을 연계하여 하천 만곡부를 고려한 침수지역 가시화를 위해 배수강제 알고리듬을 적용하였다. 배수강제 알고리듬은 자동유역추출시 지형상의 함몰점을 제거함으로서 수문학적 처리연구 등에 장점을 주는 보간법의 일종이다. 본 연구에서는 남강댐 하류구간을 대상으로 하천만곡부를 고려한 침수지역 레이어 제작기법을 제시하였으며, 이러한 프로세스를 자동으로 수행하기 위해 Arcobject 컴포넌트 기반의 시스템을 개발하였다. 침수지역레이어 자동추출시스템은 시간측면에서 대용량 데이터를 기반으로 수행되는 홍수범람가시화 업무를 효과적으로 절감시킬 수 있었다. 또한 침수지역 레이어는 IKONOS 위성영상과의 연계를 통해 홍수 재해관련 업무에 실감정보를 제공할 수 있었다.

  • PDF

PowerPC를 이용한 저궤도 위성용 탑재소프트웨어 개발환경에 대한 연구 (A Study on the Development Environment for Flight Software using PowerPC)

  • 이재승;최종욱;김대영;이종인;김학정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.514-516
    • /
    • 2004
  • 위성의 개발을 위해서는 오랜 개발기간과 많은 예산, 축적된 기술이 요구된다. 또한 위성에는 다양한 분야의 기술이 사용되어지기 때문에 각 서브시스템마다 독자적인 개발환경을 구축할 필요가 있다. 특히 위성의 찌어. 임무수행 및 지상과의 통신 등을 담당하는 탑재소프트웨어는 위성의 용도 및 목적에 따라 개발환경이 크게 달라진다. 실시간 운영체제는 무엇을 사용하는지, 개발 및 검증을 위한 도구로 어떤 프로그램을 사용하는지, 내외부의 인터페이스는 어떠한 방식으로 수행할지, 새로운 기능의 CPU나 하드웨어에 대한 제어 등 위성의 탑재소프트웨어를 개발하기 위해서는 많은 검토 항목들이 고려되어야 한다. 새로운 위성을 개발할 경우 신기술의 적용과 새로운 시스템위성시스템의 검증 및 개발을 위한 개발검증장비가 요if되며, 위성시스템의 변경 때마다 개발검증장비를 새로이 구축하게 되면 많은 기간과 막대한 비용이 위성개발 시마다 소요된다. 위성선진국에서는 다양한 위성의 개발 시 비용절감 및 개발기간 단축을 위하여 범용위성용 개발검증장비를 개발하여 이용하고 있는 추세이다. 국내에서는 다목적실용위성 1호가 발사되어 성공적으로 임무를 수행하고 있으며 다목 실용위성 2호가 개발되어 현재 통합 및 조립시험이 진행 중이다. 그러나 새로운 위성시스템의 사전 검증 및 신기술의 적용을 위한 범용위성 시스템 테스트베드에 대한 기술은 미비한 실정이다. 이러한 범용위성용 개발검증장비의 기반기술을 확보하기 위하며 현재 위성전자전산시스템 개발검증장비에 대한 연구가 수행되고 있다. 본 논문에서는 현재 수행되고 있는 PowerPC를 이용한 위성 탑재소프트웨어 개발검증시스템의 설계 및 개발현황에 대하여 소개한다.이스는 실험정보가 저장된 데이터베이스, 분석결과가 저장된 데이터베이스, 그리고 유전자 정보 탐색을 위한 데이터베이스로 분류해 데이터를 효율적으로 관리할 수 있게 하였다. 본 시스템은 LiNUX를 운영체계로 하고 데이터베이스는 MYSQL로 하여 JSP, Perl. 통계처리 언어인 R로 구현되었다.프트웨어를 사용하지 않고도 국내의 순수 솔루션인 리눅스 기반의 LonWare 3.0 다중 바인딩 기능을 통해 저 비용으로 홈 네트워크 구성 관리 서버 시스템 개발에 대한 비용을 줄일 수 있다. 기대된다.e 함량이 대체로 높게 나타났다. 점미가 수가용성분에서 goucose대비 용출함량이 고르게 나타나는 경향을 보였고 흑미는 알칼리가용분에서 glucose가 상당량(0.68%) 포함되고 있음을 보여주었고 arabinose(0.68%), xylose(0.05%)도 다른 종류에 비해서 다량 함유한 것으로 나타났다. 흑미는 총식이섬유 함량이 높고 pectic substances, hemicellulose, uronic acid 함량이 높아서 콜레스테롤 저하 등의 효과가 기대되며 고섬유식품으로서 조리 특성 연구가 필요한 것으로 사료된다.리하였다. 얻어진 소견(所見)은 다음과 같았다. 1. 모년령(母年齡), 임신회수(姙娠回數), 임신기간(姙娠其間), 출산시체중등(出産時體重等)의 제요인(諸要因)은 주산기사망(周産基死亡)에 대(對)하여 통계적(統計的)으로 유의(有意)한 영향을 미치고 있어 $25{\sim}29$세(歲)의 연령군에서, 2번째 임신과 2번째의 출산에서 그리고 만삭의 임신 기간에, 출산시체중(出産時體重) $3.50{\sim}3.99kg$사이의 아이에

  • PDF

대용량 데이터베이스에서 다차원 인덱스를 사용한 효율적인 다단계 k-NN 검색 (Efficient Multi-Step k-NN Search Methods Using Multidimensional Indexes in Large Databases)

  • 이상훈;김범수;최미정;문양세
    • 정보과학회 논문지
    • /
    • 제42권2호
    • /
    • pp.242-254
    • /
    • 2015
  • 본 논문에서는 다차원 인덱스 기반 다단계 k-NN 검색의 성능 향상 문제를 다룬다. 기존 다단계 k-NN 검색에서는 고차원 객체의 저차원 변환으로 인한 정보 손실로 k-NN 질의 결과 매우 큰 허용치(검색 범위)가 결정되어 범위 질의 결과로 많은 후보가 검색된다. 또한, 많은 후보는 후처리 과정에서 매우 많은 I/O 및 CPU 오버헤드를 발생시킨다. 본 논문에서는 이와 같은 고찰에 기반하여 범위 질의의 허용치를 줄여 후보 개수를 줄이고 이를 통해 성능을 향상시키는 방법을 제안한다. 먼저, k-NN 질의 결과로 결정된 허용치를 고차원 및 저차원 객체간 거리 비율로 강제 축소하여 범위 질의에 사용하는 허용치 축소 (근사적) 해결책을 제안한다. 다음으로, k-NN 질의 계수 k 대신 c k 를 사용하여 얻은 보다 타이트(tight)한 허용치로 범위 질의를 수행하는 계수 제어 (정확한) 해결책을 제안한다. 실제 객체 데이터를 사용하여 실험한 결과, 제안한 두 가지 해결책은 기존 다단계 k-NN 검색에 비해 후보 개수와 검색 시간 모두를 크게 향상시킨 것으로 나타났다.

다시점 및 다중클러스터 환경에서 네트워크를 이용한 효율적인 실시간 영상 합성 기법 (An Efficient Real-Time Image Reconstruction Scheme using Network m Multiple View and Multiple Cluster Environments)

  • 유강수;임은천;심춘보
    • 한국정보통신학회논문지
    • /
    • 제13권11호
    • /
    • pp.2251-2259
    • /
    • 2009
  • 네트워크를 기반으로 하나의 클러스터가 4개의 카메라로 구성된 4개의 다중 클러스터로부터 2D 영상을 조합하여 3D 입체 영상을 생성하는 알고리즘 및 시스템을 제안한다. 제안하는 기법은 다중 클러스터 환경에서 동작하고 실시간 대용량의 데이터 처리로 인한 시스템의 부하를 분산시키기 위해 네트워크를 이용한 서버-클라이언트 구조를 가진다. 아울러 성능 향상을 고려해 JPEG 압축과 램 디스크 방식을 적용한다. 4채널 16개의 카메라로부터 입력되는 입력 영상에 대해서 이진화 영상을 구하고, Sobel 및 Prewitt 등의 에지 검출 알고리즘을 적용시킨 후 영상들 간의 시차를 구한 후에 3D 입체 영상을 생성한다. 성능 분석 결과, 클라이언트에서 서버로 전송하는 전송시간은 약 0.05초가 소요되며, 4채널 16개의 카메라로부터 2D 영상을 조합하여 3D 입체 영상을 생성하는 알고리즘에 소요되는 시간은 약 0.84초가 소요된다. 이를 통해 실시간으로 다시점 및 다중 클러스터 환경에서 3D 입체 영상을 생성하는 효율적인 시스템임을 확인할 수 있었다.