• 제목/요약/키워드: 데이터부족문제

검색결과 550건 처리시간 0.025초

데이터거래 활성화를 위한 데이터상품가치 평가모델 연구 (Data Product Value Evaluation Method for Data Exchange Platform)

  • 김수진;이정현;박천웅
    • 한국콘텐츠학회논문지
    • /
    • 제21권12호
    • /
    • pp.34-46
    • /
    • 2021
  • 국내 데이터 거래시장은 구매데이터의 불합리한 가격책정이 데이터 거래 시의 주요 애로사항으로 지속적으로 언급되고 있다. 이는 상품정보 및 사용경험 부족으로 인해 데이터상품의 가치를 제대로 평가할 수 없는데서 발생한 문제로, 데이터 거래소는 거래활성화를 위해 가격 외에 수요자가 데이터상품의 가치를 종합적으로 판단할 수 있는 정보 제공이 필요하다. 데이터 가치평가에 주로 적용되는 원가기반, 수익기반, 시장기반 평가방법은 공급자 관점에서의 가치평가결과인 가격정보만 수요자와 공유가능하기 때문에 거래 및 유통을 활성화하기 위한 데이터가치평가방법으로는 부족한 점이 있다. 본 논문은 데이터거래 이해관계자(거래소, 공급자, 수요자)가 공통된 시각으로 데이터상품의 가치를 판단하고 공유할 수 있는 측정가능한 가치평가방법을 개발하는 것을 목표로 한다. 이를 위해 해외 데이터거래소 및 관련 연구에서 중요하게 생각하고 있는 데이터상품의 가치동인을 파악하고, 가치동인별로 정량적 측정이 가능한 평가방식을 도출하였다. 또한, 거래용 데이터상품을 활용하여 평점표 형식의 평가기준을 개발하고, 상대적 가치비교가 가능하도록 계층화분석(AHP)을 통해 가치평가지수를 개발하였다. 실제 데이터상품에 평가기준을 적용할 결과, 개별 데이터상품의 특성에 따라 가치평가값이 차별화됨에 따라 가치비교도구로 활용가능함을 알 수 있었다.

3-분할 문제의 상자 채우기-교환 알고리즘 (Bin Packing-Exchange Algorithm for 3-Partition Problem)

  • 이상운
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권4호
    • /
    • pp.95-102
    • /
    • 2022
  • 본 논문은 NP-완전으로 다항시간 알고리즘이 알려져 있지 않은 3-분할 문제(TPP)에 대한 선형시간 알고리즘을 제안하였다. 본 논문은 기존에 알려진 다항시간 알고리즘인 최대-최소치와 제3의 숫자 합을 이용하는 MM법이 갖고 있는 해를 구하지 못하는 문제점을 개선한 역추적 법을 제안하였으며, 또한 역추적 법을 적용한 MM의 문제점도 개선하였다. 제안된 알고리즘은 내림차순 정렬된 S 집합을 3-분할하여 순방향, 역방향과 최대 여유량 순서인 최적합 배정 법으로 배정한 결과 10개 데이터 중 5개 데이터인 50.00%에 대해서는 최적 해를 찾을 수 있었다. 나머지 5개 데이터에 대해서도 최소 1회, 최대 7회의 잉여 상자와 부족 상자 간 숫자 교환으로 최적 해를 찾을 수 있는 성능을 보였다. 제안된 알고리즘은 n개 데이터를 3-분할한 m=n/3 보다도 적은 O(k)의 선형시간 수행 복잡도로 단순 배정과 교환 최적화를 수행하는 알고리즘으로 TPP가 NP-완전이 아닌 P-문제인 다항시간 알고리즘이 존재할 수 있음을 보였다.

클래스 불균형 데이터에 적합한 기계 학습 기반 침입 탐지 시스템 (Machine Learning Based Intrusion Detection Systems for Class Imbalanced Datasets)

  • 정윤경;박기남;김현주;김종현;현상원
    • 정보보호학회논문지
    • /
    • 제27권6호
    • /
    • pp.1385-1395
    • /
    • 2017
  • 본 논문에서는 정상과 이상 트래픽이 불균형적으로 발생하는 상황에서 기계 학습 기반의 효과적인 침입 탐지 시스템에 관한 연구 결과를 소개한다. 훈련 데이터의 패턴을 학습하여 정상/이상 패킷을 탐지하는 기계 학습 기반의 IDS에서는 훈련 데이터의 클래스 불균형 정도에 따라 탐지 성능이 현저히 차이가 날 수 있으나, IDS 개발 시 이러한 문제에 대한 고려는 부족한 실정이다. 클래스 불균형 데이터가 발생하는 환경에서도 우수한 탐지 성능을 제공하는 기계 학습 알고리즘을 선정하기 위하여, 본 논문에서는 Kyoto 2006+ 데이터셋을 이용하여 정상 대 침입 클래스 비율이 서로 다른 클래스 불균형 훈련 데이터를 구축하고 다양한 기계 학습 알고리즘의 인식 성능을 분석하였다. 실험 결과, 대부분의 지도 학습 알고리즘이 좋은 성능을 보인 가운데, Random Forest 알고리즘이 다양한 실험 환경에서 최고의 성능을 보였다.

대화를 중심으로 다양한 멀티모달 융합정보를 포함하는 동영상 기반 인공지능 학습용 데이터셋 구축 (Dialogue based multimodal dataset including various labels for machine learning research)

  • 신사임;장진예;김보은;박한무;정혜동
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.449-453
    • /
    • 2019
  • 미디어방송이 다양해지고, 웹에서 소비되는 콘텐츠들 또한 멀티미디어 중심으로 재편되는 경향에 힘입어 인공지능 연구에 멀티미디어 콘텐츠를 적극적으로 활용하고자 하는 시도들이 시작되고 있다. 본 논문은 다양한 형태의 멀티모달 정보를 하나의 동영상 콘텐츠에 연계하여 분석하여, 통합된 형태의 융합정보 데이터셋을 구축한 연구를 소개하고자 한다. 구축한 인공지능 학습용 데이터셋은 영상/음성/언어 정보가 함께 있는 멀티모달 콘텐츠에 상황/의도/감정 정보 추론에 필요한 다양한 의미정보를 부착하여 활용도가 높은 인공지능 영상 데이터셋을 구축하여 공개하였다. 본 연구의 결과물은 한국어 대화처리 연구에 부족한 공개 데이터 문제를 해소하는데 기여하였고, 한국어를 중심으로 다양한 상황 정보가 함께 구축된 데이터셋을 통하여 다양한 상황 분석 기반 대화 서비스 응용 기술 연구에 활용될 것으로 기대할 수 있다.

  • PDF

부산지역 공공데이터 활용도 향상을 위한 정책연구 (A Policy Study to Improve the Utilization of Public Data in Busan)

  • 배수현;김성신;정석찬
    • 한국빅데이터학회지
    • /
    • 제6권2호
    • /
    • pp.1-15
    • /
    • 2021
  • 코로나19(COVID-19)라는 전례 없는 감염병 팬데믹(Pandemic)으로 인해 인적·물적 이동이 위축되었고, 이로 인한 글로벌 경제구조의 변화는 국내외 경기침체와 함께 고용악화 등 다양한 경제·산업적 문제를 유발하였다. 이러한 위기 상황에서 정부는 '긴급재난지원금'에 이어, 경제 활력 제고를 위한 새로운 카드로 '한국판 뉴딜'을 발표하였다. 한국판 뉴딜의 핵심인 디지털 뉴딜의 첫 번째 사업이 데이터 댐으로, 데이터 경제의 '쌀'인 데이터의 수집에서 디지털 전환이 시작됨을 의미한다. 그간 정부와 지자체들은 공공데이터의 수집·공유를 위하여 다양한 공공데이터 포털을 구축하였으나, 초기 공공데이이터 포털을 구축할 때 비즈니스 모델에 대한 고려 없이 플랫폼 구축에만 집중함에 따라 사업화를 위한 활용도가 부족하다는 평가를 받고 있다. 더군다나 지역의 경우 데이터 비즈니스에 활용할 데이터의 양이 절대적으로 부족하므로 공공데이터의 품질 개선과 함께 지역의 공공기관이 보유한 데이터의 활용 체계를 강화하는 것이 시급하다. 이에 본 연구에서는 지역의 공공데이터 이용을 활성화하기 위하여 지역의 공공기관 데이터를 중심으로 한 다양한 데이터 수집, 데이터 품질 개선, 데이터 활용성 향상 등 개선 방안을 제시하고자 하였다.

생활 폐기물 다중 객체 검출과 분류를 위한 i-YOLOX 구조에 관한 연구 (A Study on the i-YOLOX Architecture for Multiple Object Detection and Classification of Household Waste)

  • 왕웨이광;정경권;이태원
    • 융합보안논문지
    • /
    • 제23권5호
    • /
    • pp.135-142
    • /
    • 2023
  • 생활 폐기물 쓰레기는 기후 변화, 자원 부족, 환경 오염을 불러오는 대표적인 문제로서, 이러한 문제를 해결하기 위해 지능적으로 쓰레기를 분류하는 방식을 연구하였고, 전통적인 분류 알고리즘부터 기계학습, 신경망에 이르기까지 많은 연구가 진행되고 있다. 그러나, 다양한 환경과 조건에서 쓰레기를 분류하기에는 여전히 데이터셋이 부족하고, 신경망 네트워크 구성 복잡도가 증가하며, 성능 측면에서도 실생활에 적용하기에 아직 미흡하다. 따라서 본 논문에서는 신속한 분류와 정확도 향상을 위해 i-YOLOX를 제안하고, 네트워크 매개변수, 검출속도, 정확도 등을 평가한다. 이를 위해 17개의 폐기물 범주를 포함하는 10,000개의 가정용 쓰레기 대상 샘플로 데이터 세트를 구성하고, YOLOX 구조에 Involution 채널 컨볼루션 연산자와 CBAM(Convolution Branch Attention Module)을 도입하여 i-YOLOX를 구성하고, 기존의 YOLO 구조와 성능을 비교한다. 실험 결과 복잡한 장면에서 쓰레기 객체 검출 속도와 정확도가 기존의 신경망에 비해 향상되어, 제안한 i-YOLOX 구조가 생활 폐기물 다중 객체 검출과 분류에 효과적임을 확인하였다.

영작문 자동채점 시스템 개발에서 학습데이터 부족 문제 해결을 위한 앙상블 기법 적용의 효과 (Effect of Application of Ensemble Method on Machine Learning with Insufficient Training Set in Developing Automated English Essay Scoring System)

  • 이경호;이공주
    • 정보과학회 논문지
    • /
    • 제42권9호
    • /
    • pp.1124-1132
    • /
    • 2015
  • 일반적으로, 교사 학습 알고리즘이 적절히 학습되기 위해서는 레이블의 편향이 없는 충분한 양의 학습데이터가 필요하다. 그러나 영작문 자동채점 시스템 개발을 위한 충분하고 편향되지 않은 학습데이터를 수집하는 것은 어려운 일이다. 또한 영어 작문 평가의 경우, 전체적인 답안 수준에 대한 다면적인 평가가 이루어진다. 적고 편향되기 쉬운 학습데이터와 이를 이용한 여러 평가영역에 대한 학습모델을 생성해야하기 때문에, 이를 위한 적절한 기계학습 알고리즘을 결정하기 어렵다. 본 논문에서는 이러한 문제를 앙상블학습을 통해 완화할 수 있음을 실험에 통해 보이고자 한다. 실제 중, 고등학교 학생들을 대상으로 시행된 단문형 영작문 채점 결과를 학습데이터 개수와 편향성을 조절하여 실험하였다. 학습데이터의 개수 변화와 편향성 변화의 실험 결과, 에이다부스트 알고리즘을 적용한 결과를 투표로 결합한 앙상블 기법이 다른 알고리즘들 보다 전반적으로 더 나은 성능을 나타냄을 실험을 통해 나타내었다.

이미지 기반 축산물 불량 탐지에서의 희소 클래스 처리 전략 (Sparse Class Processing Strategy in Image-based Livestock Defect Detection)

  • 이범호;조예성;이문용
    • 한국정보통신학회논문지
    • /
    • 제26권11호
    • /
    • pp.1720-1728
    • /
    • 2022
  • 인공지능 기술의 발전으로 산업 4.0시대가 열렸고 축산업에서도 ICT 기술이 접목된 스마트 농장의 구현이 큰 관심을 받고 있다. 그중에서도 컴퓨터 비전 기반 인공지능 기술을 접목한 축산물 및 축산 가공품의 품질 관리 기술은 스마트 축산의 핵심 기술에 해당한다. 그러나 인공지능 모형 훈련을 위한 축산물 이미지 데이터 수의 부족과 특정 범주(class)에 대한 데이터 불균형은 관련 연구 및 기술 개발에 큰 장해물이 되고 있다. 이러한 문제들을 해결하기 위해, 본 연구에서는 오버샘플링과 적대적 사례 생성기법의 활용을 제안한다. 제안되는 방법은 성공적인 불량 탐지 (Defect detection) 관점을 기반으로 하며, 이는 부족한 데이터 레이블을 효과적으로 활용하는데 필요한 방법이다. 최종적으로 실험을 통해 제안된 방법의 타당성을 확인하고 활용 전략을 검토한다.

센서를 활용한 도심지 측구 저류조 운영 시스템 모델 (Urban Gutter Reservoir Operating System Model Using Sensors)

  • 이운성;육연수
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.399-399
    • /
    • 2022
  • 최근 국지성 호우 등 홍수방어 시설의 설계빈도를 초과하는 강우 발생으로 홍수피해가 증가하고 있다. 그 중 도시지역의 내수침수 피해는 전체 피해액의 50%를 넘는다. 그러나 우수관거의 노후화 및 통수능 부족으로 우수의 즉각적인 배출이 이루어지지 않아 침수피해가 증가하고 있다. 침수피해의 주요 원인 중 저지대 지역 및 우수관거의 통수능력 부족이 침수피해의 가장 큰 원인을 차지한다. 따라서 도심지의 경우 내수침수로 인한 피해가 증가하고 있는 점을 감안하면 배수관거와 연계한 저류시스템 구축으로 침수 빈발 지역의 치수 능력 향상을 통하여 경제적 피해를 저감시킬 수 있다. 저류시스템은 현장 노면수 저류를 위한 측구 저류조와 저류조 운영 시스템을 의미하며, 저류조 운영 시스템 모델에 대한 연구를 수행하였다. 측구 저류조 운영 시스템 구축을 위해서 현장 센싱(Sensing)데이터와 연계할 수 있는 정보체계 및 운영 시스템 모델이 필요하다. 이에 센서를 활용한 도심지 측구 저류조 운영 시스템 모델을 제시한다. 먼저 센서의 구성은 측구 저류조 내의 협소한 공간과 전원공급, 방진·방수 문제를 해결할 수 있도록 구성되어야 하며, 무전원 근거리 이동통신기술(RFID)을 적용하여 측구 저류조 운영 시스템 수집서버와 통신하여 센싱 데이터를 저장한다. 데이터는 근거리 RFID 리더기가 측구 저류조로부터 센싱 정보를 수신하여 통신모듈에 수신한 저류조 개폐도어 열림과 닫힘 시그널(signal), RFID의 고유 ID 등을 전달 받아 운영 시스템 내의 RFID 이력 DB(Database)에 기록한다. 기록된 정보는 각각 RFID 일련번호, 기록 시간, 동적센서 시그널 값 등이 저장되어 각각의 측구 저류조의 상태를 확인할 수 있어야 한다. 저류량 산정을 위해서 GIS기반의 하수도 시설물 속성 데이터를 포함하는 운영 시스템을 구성해야 한다. 운영 시스템은 수집된 센서정보를 시계열 단위로 분석하고 위치정보 기준으로 측구 저류조 내의 총 저류량 산출에 필요한 기초정보를 제공하며 결과를 표출한다. 따라서 하수도 시설물의 속성정보를 포함하여 측구 저류조 및 센서의 속성정보 정의가 필요하며, 공간정보 파일(Shape File)을 적용하여 GIS 운영 시스템을 구축하여야 한다. 운영 시스템은 저류조 만관상태와 총 저류량을 산출하여 침수위험 알림을 제공할 수 있으며, 예상 강우에 따른 도심지 피해를 역으로 예측하여 강우사상 빈도에 따른 측구 저류조 체적을 결정할 수 있다.

  • PDF

단어 생성 이력을 이용한 시퀀스-투-시퀀스 요약의 어휘 반복 문제 해결 (Reduce Redundant Repetition Using Decoding History for Sequence-to-Sequence Summarization)

  • 류재현;노윤석;최수정;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.120-125
    • /
    • 2018
  • 문서 요약 문제는 최근 심층 신경망을 활용하여 활발히 연구되고 있는 문제 중 하나이다. 많은 기존 연구들이 주로 시퀀스-투-시퀀스 모델을 활용하여 요약을 수행하고 있으나, 아직 양질의 요약을 생성하기에는 많은 문제점이 있다. 시퀀스-투-시퀀스 모델을 활용한 요약에서 가장 빈번히 나타나는 문제 중 하나는 요약문의 생성과정에서 단어나 구, 문장이 불필요하게 반복적으로 생성되는 것이다. 이를 해결하기 위해 다양한 연구가 이루어지고 있으며, 이들 대부분은 요약문의 생성 과정에서 정확한 정보를 주기 위해 모델에 여러 모듈을 추가하였다. 하지만 기존 연구들은 생성 단어가 정답 단어로 나올 확률을 최대화 하도록 학습되기 때문에, 생성하지 말아야 하는 단어에 대한 학습이 부족하여 반복 생성 문제를 해결하는 것에는 한계가 있다. 따라서 본 논문에서는 기존 요약 모델의 복잡도를 높이지 않고, 단어 생성 이력을 직접적으로 이용하여 반복 생성을 제어하는 모델을 제안한다. 제안한 모델은 학습할 때 생성 단계에서 이전에 생성한 단어가 이후에 다시 생성될 확률을 최소화하여 실제 모델이 생성한 단어가 반복 생성될 확률을 직접적으로 제어한다. 한국어 데이터를 이용하여 제안한 방법을 통해 요약문을 생성한 결과, 비교모델보다 단어 반복이 크게 줄어들어 양질의 요약을 생성하는 것을 확인할 수 있었다.

  • PDF