• 제목/요약/키워드: 데이터 검증

검색결과 7,150건 처리시간 0.033초

한국어 기계 번역에서의 품질 검증을 위한 치명적인 오류 범위 탐지 모델 (Critical Error Span Detection Model of Korean Machine Translation)

  • 정다현;이승윤;어수경;박찬준;이재욱;박기남;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.80-85
    • /
    • 2023
  • 기계 번역에서 품질 검증은 정답 문장 없이 기계 번역 시스템에서 생성된 번역의 품질을 자동으로 추정하는 것을 목표로 한다. 일반적으로 이 작업은 상용화된 기계 번역 시스템에서 후처리 모듈 역할을 하여 사용자에게 잠재적인 번역 오류를 경고한다. 품질 검증의 하위 작업인 치명적인 오류 탐지는 번역의 오류 중에서도 정치, 경제, 사회적으로 문제를 일으킬 수 있을 만큼 심각한 오류를 찾는 것을 목표로 한다. 본 논문은 치명적인 오류의 유무를 분류하는 것을 넘어 문장에서 치명적인 오류가 존재하는 부분을 제시하기 위한 새로운 데이터셋과 모델을 제안한다. 이 데이터셋은 거대 언어 모델을 활용하는 구축 방식을 채택하여 오류의 구체적인 범위를 표시한다. 또한, 우리는 우리의 데이터를 효과적으로 활용할 수 있는 다중 작업 학습 모델을 제시하여 오류 범위 탐지에서 뛰어난 성능을 입증한다. 추가적으로 언어 모델을 활용하여 번역 오류를 삽입하는 데이터 증강 방법을 통해 보다 향상된 성능을 제시한다. 우리의 연구는 기계 번역의 품질을 향상시키고 치명적인 오류를 줄이는 실질적인 해결책을 제공할 것이다.

  • PDF

WaveNet과 Work Forward Validation을 활용한 시계열 데이터 분석 (Time Series Data Analysis using WaveNet and Walk Forward Validation)

  • 윤협상
    • 한국시뮬레이션학회논문지
    • /
    • 제30권4호
    • /
    • pp.1-8
    • /
    • 2021
  • 복잡하고 비선형적인 특징을 갖는 시계열 데이터를 예측하기 위해 딥러닝 기법이 널리 사용되고 있다. 본 연구에서는 최근에 개발된 WaveNet을 개선하고 워크포워드 검증 기법을 적용하여 전력 소비량 데이터를 24시간 이전에 예측하고자 한다. 원래 WaveNet은 오디오 데이터 예측에 사용하고자 고안되었으며, 장기간의 데이터를 효과적으로 예측하기 위해 1차원 팽창인과 합성곱(1D dilated causal convolution)을 사용한다. 먼저, WaveNet이 부호화된 정수 값이 아니라 실수 값을 출력하여 전력 데이터를 예측하기 적합하도록 개선하였다. 다음으로 학습 과정에 적용된 하이퍼파라미터(입력 기간, 배치 크기, WaveNet 블록 개수, 팽창 비율, 학습률 변경)를 조정하여 적절한 성능을 나타내도록 하였다. 마지막으로 성능 평가를 통해 전통적인 홀드아웃 검증 기법보다 본 연구에서 사용한 워크포워드 검증 기법이 전력 소비량 데이터 예측에 우수함 성능을 나타냄을 확인하였다.

프리페치 요구를 지원하는 PCI 2.2 타겟 컨트롤러 설계 및 검증 (Design and Verification of PCI 2.2 Target Controller to support Prefetch Request)

  • 현유진;성광수
    • 정보처리학회논문지A
    • /
    • 제12A권6호
    • /
    • pp.523-530
    • /
    • 2005
  • PCI 2.2 마스터 디바이스가 타겟 디바이스로부터 데이터를 읽어 오고자 할 때 타겟 디바이스는 내부적으로 데이터를 준비해야 함으로 인해 PCI 버스가 데이터 전송 없이 점유되는 상황이 발생한다. 이를 위해 PCI 2.2 사양에서는 지연전송을 제안하여 전송 효율을 향상시켰지만 이 역시 타겟 디바이스가 얼마의 데이터를 미리 준비 해둘지를 알 수 없어 버스 사용 및 데이터 전송 효율을 떨어뜨리는 원인을 제공한다. 이에 앞선 연구에서는 이를 해결하기 위한 프리페치 요구를 이용하는 새로운 방법을 제안하였다. 본 논문에서는 이 방법을 지원하는 PCI 타겟 컨트롤러와 로컬 디바이스를 설계하였다. 설계된 PCI 타겟 컨트롤러는 간단한 로컬 인터페이스를 가질 뿐 아니라 PCI 2.2를 전혀 모르는 사용자도 쉽게 PCI 인터페이스를 지원할 수 있도록 설계되었다. 또한 설계된 하드웨어를 효과적으로 검증하기 위한 방법으로 기본 동작 검증, 설계 기반검증, 그리고 랜덤 테스트 검증을 제안하였다 이러한 검증을 위해 테스트 벤치와 테스트 벤치를 동작시키는 위한 명령어를 제안하였다. 그리고 랜덤 테스트를 위해 참조 모델, 랜덤 발생기, 비교 엔진으로 구성된 테스트 환경을 구축하였으며 이를 이용해 코너 케이스를 효과적으로 검증할 수 있다. 또한 제안된 테스트 환경을 통해 시뮬레이션 한 결과, 프리페치 요구를 이용한 제안된 방법이 지연 전송에 비해 데이터 전송 효율이 평균 $9\%$ 향상되었다.

$8{\times}8$ 마이크로폰 정방 배열을 이용한 음원 위치 추정에 관한 연구 (A Study for Estimation of Sound Source Location using $8{\times}8$ Microphone Array)

  • 송성근
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1998년도 학술발표대회 논문집 제5권
    • /
    • pp.68-71
    • /
    • 1998
  • 본 연구에서는 64(8$\times$8) 개의 마이크로폰 정방 배열에 의한 음장 가시화 시스템을 설계하고 , FFT 알고리즘과 원거리 음향 홀로그래피법 알고리즘을 이용한 음원 위치 추정에 관하여 기술한다. 본 연구에서 설계한 측정 시스템은 방사된 음들을 동시에 수음할수 있으며 실시간 데이터 처리가 가능하다. 또한 짧은 계측시간과 고분해능으로 실음장에서 안정하게 음원의 위치를 추정할 수 있다. 본 연구의 타당성을 검증하기 위해 시뮬레이션을 잉하여 마이크로폰 간격 및 측정면의 최적 조건을 구한 후 실음장 측정 실험에 적용하였다. 시뮬레이션 데이터와 실험 데이터를 비교.분석한 결과 타당성을 검증할 수 있었다.

  • PDF

효율적 위·변조 탐지 및 무결한 차량 운행 정보의 안정적 질의를 위한 블록체인 기반 분산 데이터 관리 방안 연구 (Blockchain-based Distributed Database System for Efficient Falsification Detection and Reliable Inquiry of Faultless Automobile Driving Information)

  • 문준오;민찬기;임종민;윤영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.133-136
    • /
    • 2019
  • 차량에서 생성되는 데이터의 가치가 상승함에 따라 데이터 소스와 데이터 내용에 대한 보안 위협 또한 증가하고 있다. 데이터 소스인 차량의 경우에는 운행의 안정성을 보장하고자 블록체인을 결합하려는 시도가 있어왔지만, 무결한 차량 운행 데이터 관리 시스템에 대한 이해 부족으로 데이터 위·변조 등 차량 데이터에 대한 사이버 공격에 적절히 대응하지 못하고 있다. 이에 본 논문은 수집된 차량 데이터의 무결성을 보장하고 수집된 데이터에 대한 질의가 가능한 블록체인 기반 데이터 베이스 시스템을 제안한다. 본 시스템을 통하여 분산 합의 기반 데이터 무결성 검증, 블록을 구성하는 해시트리의 복제 저장 없이 위·변조된 차량 데이터 검출, 일정 수준의 장애를 허용한 상태 하에서의 질의문 처리 등이 가능해진다. 본 시스템은 높은 공간 효율성과 확장성을 가지며, 수소전기차 공유 업체의 차량 운행 정보를 바탕으로 한 성능 평가 결과 평균적으로 데이터 블록 저장에 4.0 초, 각 블록 검증에 2.4 초, 질의 처리를 위한 합의 과정에 1.3 초가 소요됨을 확인하였다.

3차원 공간질의를 위한 효율적인 위상학적 데이터 모델의 검증 (Validation of Efficient Topological Data Model for 3D Spatial Queries)

  • 이석호;이지영
    • Spatial Information Research
    • /
    • 제19권1호
    • /
    • pp.93-105
    • /
    • 2011
  • 최근 들어 건축과 IT 기술이 발전함에 따라서 대규모의 복잡한 3차윈 공간이 증가하고 있고, 사람들 또한 이러한 공간에서 생활하는 시간이 늘어나고 있는 추세이다. 이에 따라 복잡한 3차원 공간 내에서 유사시를 대비한 또는 편의 정보를 제공하기 위한 서비스가 필요하게 되었고, 이러한 서비스를 제공하기 위해서는 복잡한 공간에서의 효율적인 위상학적 관계성 파악이 기본적으로 뒷받침이 되어야 한다. 공간의 관계성 파악은 위상학적 관계를 저장하고 표현하는 각각의 데이터 모델에 따라 그 방법과 효율성이 달라진다. 위상학적 관계성 저장과 표현에 있어서 가장 널리 사용되어 왔던 데이터 모델은 B-rep 기반의 데이터 모델이고, 2000년대 초반에 들어서는 네트워크 기반 위상학적 데이터 모델에 관한 연구가 많이 진행되었다. 본 연구에서는 데이터 저장 용량 및 공간질의에 대하여 두 데이터 모델의 효율성을 검증한다. 효율성은 데이터의 저장용량, 인접성 및 연결성 질의 응답속도를 기준으로 하여 수행한다. 효율성 검증의 결과로써 네트워크 기반 위상학적 데이터 모델이 3차원 공간질의에 있어서 B-rep 기반 데이터 모델 보다 효율성이 높음을 제시한다.

검증 규칙을 포함한 XML 문서 (XML Documents Including Validation Rules)

  • 남철기;양재군;배재학
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.709-711
    • /
    • 2001
  • 본 논문에서는 XML 문서에 문서검증을 위한 로직을 추가하였다 로직을 기술하기 위해 규칙 표현에 효과적인 Prolog를 이용하였고 검증 규칙을 XML 문서로 변환하여 원래의 XML 문서에 포함시켰다. XML 문서검증에 관한 연구가 기존에는 주로 문서 구조의 검증에 치중한 반면 본 논문은 XML 엘리먼트의 데이터 값 검증에 역점을 두었다. 또한 폼 값의 검증을 XML과 Prolog를 이용하여 검증함으로써 스크립트언어를 사용해 검증하는 일반적인 방법을 개선하였다.

  • PDF

구조적 서명 검증에서의 참조 서명의 데이터 크기 고정화 기법 (A Technique for Fixing Size of Reference Signature Data in Structural Signature Verificaiton)

  • 이이섭;김성훈
    • 한국정보통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.1345-1352
    • /
    • 2010
  • 구조적 접근방법에 의한 서명검증은 서명을 부분획 단위의 집합 구조로 표현하여 서명 데이터를 분석하기 때문에 서명의 국부적인 변화의 특성을 효율적으로 흡수하여 우수한 검증 효과를 나타낸다. 그러나 이 방법은 실용화할 때 데이터의 크기가 고정되지 않는 문제가 발생한다. 이 논문에서는 이 문제를 해결하기 위하여, 상대적으로 중요한 부분을 선택하여 데이터를 고정크기로 만듦으로서 데이터의 크기를 줄이는 방법을 제안한다. 실험 결과, 고정된 크기로 선택된 서브패턴에 대해서 국부적인 변화도와 복잡도에 의한 가중치를 적용한 결과, 더 좋은 검증율을 보였으며, 이 때 고정된 크기를 만들기 위한 최소 크기의 참조 모델의 서브패턴의 개수는 일정 갯수의 범위에서 적절히 고정될 수 있음을 보였다.

일반 필기 데이터와 단일 클래스 SVM을 이용한 온라인 서명 검증 기법 (Online Signature Verification Method using General Handwriting Data and 1-class SVM)

  • 최훈;허경용
    • 한국정보통신학회논문지
    • /
    • 제22권11호
    • /
    • pp.1435-1441
    • /
    • 2018
  • 온라인 서명 검증은 간단하면서도 효율적인 본인 확인 방법의 하나로 생체 인식에 따른 거부감이 적은 장점으로 본인 확인 용도로 사용되고 있다. 서명 검증을 분류 문제로 접근하기 위해서는 모조서명이 필요하지만, 대부분의 실용적인 응용에서 모조서명을 확보하기는 쉽지 않으며 진서명 역시 많은 양을 확보하기는 쉽지 않다. 이 논문에서는 모조서명의 확보가 어려운 문제를 해결하기 위해 단일 클래스 SVM을 사용하고, 진서명의 양이 제한되는 문제는 다른 사람의 서명 데이터를 일반 필기 데이터로 사용하여 해결하는 방법을 제시한다. 다른 사람의 서명 데이터는 검증하고자 하는 서명과 형태적인 유사점을 찾을 수 없지만, 서명에서의 일반적인 특징을 반영하고 있으므로 적은 수의 진서명만을 확보할 수 있는 경우에 사용하면 검증률을 높일 수 있으며 이는 실험 결과를 통해서 확인할 수 있다.

SWaT 테스트베드 데이터 셋 및 비정상행위 탐지 동향

  • 권성문;손태식
    • 정보보호학회지
    • /
    • 제29권2호
    • /
    • pp.29-35
    • /
    • 2019
  • CPS(Cyber Physical System)에 대한 사이버 공격이 다양해지고 고도화됨에 따라 시그니쳐에 기반한 악성행위 탐지는 한계가 있어 기계학습 기반의 정상행위 학습을 통한 비정상행위 탐지 기법이 많이 연구되고 있다. 그러나 CPS 보안 연구는 보안상의 이유로 CPS 데이터가 주로 외부에 공개되지 않으며 또한 실제 비정상행위를 가동 중인 CPS에 실험하는 것이 불가능하여 개발 기법의 검증이 어려운 문제가 있다. 이를 해결하기 위해 2015년 SUTD(Singapore University of Technology and Design)의 iTrust 연구소에서 SWaT(Secure Water Treatment) 테스트베드를 구성하고 36가지의 공격을 수행한 데이터셋을 공개하였다. 이후 국 내외에서 SWaT 테스트베드 데이터를 사용하여 다양한 보안 기법을 검증한 연구결과가 발표되고 있으며 CPS 보안에 기여하고 있다. 따라서 본 논문에서는 SWaT 테스트베드 데이터 및 SWaT 테스트베드 데이터에 기반한 비정상행위 탐지 연구를 분석한 내용을 설명하고, 이를 통해 CPS 비정상행위 탐지 설계의 주요 요소를 분석하여 제시하고자 한다.