• 제목/요약/키워드: 표 형태 데이터

검색결과 59건 처리시간 0.039초

도메인 변화에 강건한 사전학습 표 언어모형 (Domain-agnostic Pre-trained Language Model for Tabular Data)

  • 조상현;최제훈;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.346-349
    • /
    • 2021
  • 표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 f1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 f1 19.38, EM 4.22가 증가한 성능을 보였다.

  • PDF

표 기계독해 언어 모형의 의미 검증을 위한 테스트 데이터셋 (Test Dataset for validating the meaning of Table Machine Reading Language Model)

  • 유재민;조상현;권혁철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.164-167
    • /
    • 2022
  • 표 기계독해에서는 도메인에 따라 언어모형에 필요한 지식이나 표의 구조적인 형태가 변화하면서 텍스트 데이터에 비해서 더 큰 성능 하락을 보인다. 본 논문에서는 표 기계독해에서 이러한 도메인의 변화에 강건한 사전학습 표 언어 모형 구축을 위한 의미있는 표 데이터 선별을 통한 사전학습 데이터 구축 방법과 적대적인 학습 방법을 제안한다. 추출한 표 데이터에서 구조적인 정보가 없이 웹 문서의 장식을 위해 사용되는 표 데이터 검출을 위해 Heuristic을 통한 규칙을 정의하여 HEAD 데이터를 식별하고 표 데이터를 선별하는 방법을 적용했으며, 구조적인 정보를 가지는 일반적인 표 데이터와 엔티티에 대한 지식 정보를 가지는 인포박스 데이터간의 적대적 학습 방법을 적용했다. 기존의 정제되지 않는 데이터로 학습했을 때와 비교하여 데이터를 정제하였을 때, KorQuAD 표 데이터에서 F1 3.45, EM 4.14가 증가하였으며, Spec 표 질의응답 데이터에서 정제하지 않았을 때와 비교하여 F1 19.38, EM 4.22가 증가한 성능을 보였다.

  • PDF

TabQA : 표 양식의 데이터에 대한 질의응답 모델 (TabQA : Question Answering Model for Table Data)

  • 박소윤;임승영;김명지;이주열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.263-269
    • /
    • 2018
  • 본 논문에서는 실생활에서 쓰이는 다양한 구조를 갖는 문서에 대해서도 자연어 질의응답이 가능한 모델을 만들고자, 그 첫걸음으로 표에 대해 자연어 질의응답이 가능한 End-to-End 인공신경망 모델 TabQA를 제안한다. TabQA는 기존 연구들과는 달리 표의 형식에 구애받지 않고 여러 가지 형태의 표를 처리할 수 있으며, 다양한 정보의 인코딩으로 풍부해진 셀의 feature를 통해, 표의 row와 column 객체를 직관적이고도 효과적으로 추상화한다. 우리는 본 연구의 결과를 검증하기 위해 다채로운 어휘를 가지는 표 데이터에 대한 질의응답 쌍을 자체적으로 생성하였으며, 이에 대해 단일 모델 EM 스코어 96.0%에 이르는 결과를 얻었다. 이로써 우리는 추후 더 넓은 범위의 양식이 있는 데이터에 대해서도 자연어로 질의응답 할 수 있는 가능성을 확인하였다.

  • PDF

전자해도의 공급방안과 관련 법규의 검토 (Providing policy and related law of ENC in Korea)

  • 서수경;서상현;심우성
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1998년도 추계종합학술대회
    • /
    • pp.102-108
    • /
    • 1998
  • 다양한 경로를 통하여 입수할 수 있는 지리적인 정보는 지도 흑은 해도, 표, 그래프, 좌표난 다른 형태 등 다양한 형태로 표현되고 전자해도도 이러한 다양한 표현수단중 하나이다. 전자해도(ENC)는 지리적인 정보, 즉 지리적인 이름과 수심, 등심선 등의 수치와 해도, 표, 그래프 등 도형들의 집합물로서 이를 전자해도의 국제규격인 S-57 format으로 표현하고 ENC product specification에 따라 체계적인 형태로 저장된 데이터로 이는 저작권법이 규정하고 있는 데이터 베이스의 정의에 부합하는 저작물이라고 할 수 있다. 이러한 전자해도의 발행 목적은 바다에서 안전을 책임지는 것이고 환경 보호에 기여하는 것으로 이들 디지털 해도 시스템은 off-shore 산업 환경과 지질학상의 행정과 같이 해상에 대한 적용뿐만 아니라 상업적 해운업, 해군 작전, 어업선과 레져, 선박과 같은 곳에서 사용된다. 따라서 앞으로 계속하여 증가될 전자해도의 수요증대 및 활성화를 대비하여 다양한 수요자의 요구를 충족시킬 뿐 만 아니라 업무의 효율을 기할 수 있는 공식적인 디지털 항해 상품의 공급방안, 가격결정 및 관리 시스템이 구축되어야 하고, 전자해도 데이터의 다양한 응용과 관련하여 공급된 데이터의 사용 및 변형범위와 데이터의 오류로 인한 피해 발생 시 책임소재 등의 문제들이 검토되어야 한다.

  • PDF

선형 공정표를 생성하는 시스템 프로토타입 개발을 위한 기초 연구 (A Preliminary Research for Developing System Prototype Generating Linear Schedule)

  • 류한국
    • 한국건축시공학회지
    • /
    • 제11권1호
    • /
    • pp.1-8
    • /
    • 2011
  • 기존의 선형 공정계획은 마스터 스케쥴과 같이 작업분류체계의 대분류 레벨의 작업을 사선의 형태로 표현하는 데 국한하고 수작업으로 작성하였다. 즉, 네트워크 공정표의 정보를 활용하지 못하고 독립적으로 선형 공정표를 작성하여 보고용 또는 전체 공정계획 확인용으로 사용하고 있는 실정이다. 따라서 기존에 축적된 자료가 많은 네트워크 공정표를 기반으로 선형 공정표를 자동으로 생성할 수 있는 시스템 개발이 필요하다. 이에 본 연구는 선형 공정표 구현을 위한 데이터 프로세스 모델, 데이터 플로 다이어그램, 데이터모델을 구축하고 시스템 프로토 타입의 시스템 솔류션 구조, 클래스 다이어그램, 데이터 타입스키마를 개발하고자 한다. 즉, 네트워크 공정표를 선형 공정표로 변환하기 위한 시스템 프로토타입 개발의 선행 연구를 수행하는 것이 본 연구의 목적이다.

특정 범주에 대한 평가자간 카파 일치도의 퍼뮤테이션 p값 (Permutation p-values for specific-category kappa measure of agreement)

  • 엄용환
    • Journal of the Korean Data and Information Science Society
    • /
    • 제27권4호
    • /
    • pp.899-910
    • /
    • 2016
  • 근사검정은 종종 표본이 작은 순서척도의 범주를 갖는 분할표를 분석할 때 그 p값이 과대추정 되거나 과소추정 되기 때문에 적절하지 못한 것으로 여겨진다. 본 논문에서는 순서화된 범주를 갖는 $k{\times}k$ 분할표에서 특정 범주에 대한 가중 일치도에 대해 정확한 p값과 재표본 기법에 의해 p값을 구하는 퍼뮤테이션 방법을 제시한다. 이를 위해 두 명의 평가자가 특정의 범주에서 얼마나 일치된 평가를 하는 지를 측정하기 위해 $Kv{\dot{a}}lseth$가 제안한 특정 범주에 대한 가중 일치도 (weighted specific-category kappa)를 사용한다. 사례 데이터로서 $3{\times}3$ 분할표 형태의 실제 데이터와 가상데이터 그리고 $4{\times}4$ 분할표 형태의 가상데이터를 이용하며, 정확한 퍼뮤테이션 p값과 재표본 퍼뮤테이션 p값 그리고 근사검정의 p값을 계산하여 비교한다.

공공기술 사업화를 위한 CTGAN 기반 데이터 불균형 해소 (Resolving CTGAN-based data imbalance for commercialization of public technology)

  • 황철현
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.64-69
    • /
    • 2022
  • 공공기술 사업화는 정부가 주도하는 과학기술의 혁신과 R&D 성과를 민간에 이전하는 것으로 경제 성장을 주도하는 핵심 성과로 인식되고 있다. 따라서 기술 이전을 활성화시키기 위해 성공 요인을 식별하거나 사업화 가능성이 높은 공공기술과 수요기업을 매칭하는 다양한 기계학습의 방법들이 연구되고 있다. 하지만 공공기술 사업화 데이터는 표 형태로 구성되어 있고, 성공-실패 비율이 큰 차이를 보이는 불균형 상태이기 때문에 기계학습 성능이 높지 않는 문제점을 가지고 있다. 이 논문에서는 표 형태로 구성된 공공기술 데이터에서 불균형을 해소하기 위해 CTGAN을 활용하는 방법을 제시한다. 또한 제시된 방법의 효과를 검증하기 위해 실제 공공기술 사업화 데이터를 활용하여 통계적 접근방법인 SMOTE와 비교 실험을 수행하였다. 다수의 실험 사례에서 CTGAN은 공공기술 사업화 성공사례를 안정적으로 예측하는 것을 확인하였다.

계수형 데이터의 계량화를 통한 SMD Wave Soldering 공정의 최적화 사례

  • 조성하;권혁무
    • 한국경영과학회:학술대회논문집
    • /
    • 대한산업공학회/한국경영과학회 2004년도 춘계공동학술대회 논문집
    • /
    • pp.286-289
    • /
    • 2004
  • 본 연구는 U사의 SMD Wave Soldering 공정을 최적화하기 위해 납땜에 관련된 PCB의 여러 계수형 특성들을 종합하여 계량화한 후 분석한 사례이다. SMD Wave Soldering 공정은 PCB 불량의 80% 이상을 결정하는 중요 공정으로 SMD 작업 불량으로 인한 재작업 등 각종 문제점들을 내포하고 있다. 그러나 검사 결과 미납, 냉납, 과납, 쇼트 등의 발생 건수 형태의 계수형 데이터가 집계되어 이를 체계적으로 분석하여 공정을 개선하는데 어려움이 있어 불량 유형별로 보다 세분화된 평가표를 작성하여 먼저 데이터를 계량화한 후 이를 기초로 공정 개선을 실시하였다.

  • PDF

생명표를 이용한 회원유형별 인터넷 고객 수명 분석 (Internet customer life analysis by membership pattern using life table)

  • 박희창
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권1호
    • /
    • pp.109-115
    • /
    • 2009
  • 점차 복잡화되고, 다양화되고 있는 고객들의 수요를 만족시키기 위해 많은 인터넷 회사에서는 고객관계관리를 통하여 마케팅 활동을 벌이고 있다. 단기간 판매실적을 극대화하기 보다는 고객서비스와 장기간의 고객만족도를 더 많이 강화하기 위해서는 마케팅 계량지표로서 고객생애가치를 활용하는 것이 바람직하다. 이러한 고객생애가치는 인터넷 비즈니스 분야에서 경쟁적인 힘을 증진시킬 수 있는 고객가치를 발견할 수 있는 핵심이며, 많은 인터넷 기업들이 고객생애가치에 관심을 가지고 있다. 본 논문에서는 회원 유형별로 인터넷 사이트의 회원 수명을 분석하기 위해 생명표 기법을 활용함으로써 여러 형태의 인터넷 회사에 다양한 생명표를 이용할 수 있는 기회를 마련하고자 한다.

  • PDF

저전력 저비용 임베디드 환경에서의 PCB 검사 기법 : IC 미삽 검출 (PCB inspection technique in low power and low cost embedded environment: IC missing detection)

  • 조인표;이재규;이상엽
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.327-328
    • /
    • 2020
  • 본 논문에서는 저전력 저비용 임베디드 환경에서 PCB 검사 기법을 제안한다. 특히, IC 미삽에 대한 검출 알고리즘을 제안하고 실험한다. 고사양의 컴퓨팅 시스템에서는 CNN과 같은 딥러닝 뉴럴 네트워크를 사용하여 특별한 알고리즘을 고려하지 않아도 대규모의 데이터를 입력함으로써 모델을 완성하고 이를 통해 PCB 검사를 수행할 수 있다. 그러나 데이터의 양이 충분하지 않거나 충분한 전력과 비용을 투입하지 못하는 임베디드 환경에서는 각 부품에 따른 컴퓨터 비전 알고리즘이 필요하다. IC의 경우 타부품에 비하여 형태가 직사각으로 정형화 되있으며 색상도 균일한 특징을 가지고 있기에 미삽에 대한 검출이 가능하다. 베어보드(Bare Board)의 색상과 IC 부품의 색상이 확연히 다를 경우에는 RGB 픽셀을 카운트 하는 히스토그램 카운팅 알고리즘만으로 검출이 가능하다. 베어보드의 색삭과 IC의 색상이 유사할 경우에는 베어보드의 핀 혹은 홀의 형태를 감지하여 검출이 가능하다. 본 논문에서는 베어보드의 색상와 IC의 색상이 같을 경우에 다를 경우를 나누어 미삽 검사를 수행하고 그 정확도를 확인한다.

  • PDF