• 제목/요약/키워드: 손실데이터 기법

검색결과 676건 처리시간 0.028초

신뢰성이 부족한 FAQ 데이터셋에서의 강건성 개선을 위한 모델의 예측 강도 기반 손실 조정 정규화 (Loss-adjusted Regularization based on Prediction for Improving Robustness in Less Reliable FAQ Datasets)

  • 박예원;양동일;김수필;이강욱
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.18-22
    • /
    • 2019
  • FAQ 분류는 자주 묻는 질문을 범주화하고 사용자 질의에 대해 가장 유사한 클래스를 추론하는 방식으로 진행된다. FAQ 데이터셋은 클래스가 다수 존재하기 때문에 클래스 간 포함 및 연관 관계가 존재하고 특정 데이터가 서로 다른 클래스에 동시에 속할 수 있다는 특징이 있다. 그러나 최근 FAQ 분류는 다중 클래스 분류 방법론을 적용하는 데 그쳤고 FAQ 데이터셋의 특징을 모델에 반영하는 연구는 미미했다. 현 분류 방법론은 이러한 FAQ 데이터셋의 특징을 고려하지 못하기 때문에 정답으로 해석될 수 있는 예측도 오답으로 여기는 경우가 발생한다. 본 논문에서는 신뢰성이 부족한 FAQ 데이터셋에서도 분류를 잘 하기 위해 손실 함수를 조정하는 정규화 기법을 소개한다. 이 정규화 기법은 클래스 간 포함 및 연관 관계를 반영할 수 있도록 오답을 예측한 경우에도 예측 강도에 비례하여 손실을 줄인다. 이는 오답을 높은 확률로 예측할수록 데이터의 신뢰성이 낮을 가능성이 크다고 판단하여 학습을 강하게 하지 않게 하기 위함이다. 실험을 위해서는 다중 클래스 분류에서 가장 좋은 성능을 보이고 있는 모형인 BERT를 이용했으며, 비교 실험을 위한 정규화 방법으로는 통상적으로 사용되는 라벨 스무딩을 채택했다. 실험 결과, 본 연구에서 제안한 방법은 기존 방법보다 성능이 개선되고 보다 안정적으로 학습이 된다는 것을 확인했으며, 데이터의 신뢰성이 부족한 상황에서 효과적으로 분류를 수행함을 알 수 있었다.

  • PDF

버퍼레벨을 이용한 적응형 멀티미디어 동기화 재생 기법 (An Adaptive multimedia Synchronization playback scheme using buffer level)

  • 성경상;황민구;이기성;이근왕;오해석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (하)
    • /
    • pp.619-622
    • /
    • 2001
  • 실시간 응용 프로그램은 미디어 데이터간에 만족되어야 할 동기화 제약조건(synchronization constraints)을 가지고 있다. 이러한 제약조건은 프리젠테이션 되어야 할 미디어 데이터간의 지연시간 및 서비스 품질을 나타낸다. 미디어 데이터간의 지연시간 및 서비스 품질을 효율적으로 표현하기 위해서는 이에 적합한 새로운 동기화 기법이 요구된다. 제안된 논문은 가변적 전송 지연 시간을 흡수하면서 미디어 데이터간의 동기화를 수행하는 동적 동기화이다. 즉, 최대 지연 지터 시간을 이용한 동기화 구간 조정과 지연시간의 변화에 따른 가변적 대기 시간을 융통성 있게 처리하여 미디어 데이터간의 동기화 요구를 만족시킬 수 있는 기법이다. 본 논문은 동기화 구간 조정을 처리하기 위해 지연 지터를 적용함으로써 트래픽 증가로 인한 미디어 데이터의 손실 시간 및 지연시간의 변화로 인한 데이터 손실을 감소시켰다. 그리고 스무딩 버퍼의 대기 시간을 가변으로 처리함으로써 지연시간의 변화로 인한 불연속을 감소시켰다. 제안된 논문은 고품질 서비스의 보장을 요구하는 시스템에 적합하며 재생율 증가와 손실율 감소 등 서비스 품질을 향상시켰다.

  • PDF

관심 영역에 기반한 의료 영상 압축 (Medical Image Compression based on Region of Interest)

  • 김희숙;임숙자
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2004년도 춘계학술발표대회논문집
    • /
    • pp.228-231
    • /
    • 2004
  • 의학 분야에서 의료 영상 데이터에 해당하는 컴퓨터 단층 찰영(CT. Computer Tomography), 자기 공명 영상법 (MRI : Magnetic Resonance Imaging)둥의 데이터 등이 정확하고 신속한 진단ㆍ관리를 위하여 의료 영상 데이터 중에서 관심의 대상이 되는 영역은 무손실 압축 기법을 수행하고, 그외의 지역은 움직임 보상 방식을 사용하여 압축하는 방식을 제안하고 실험하였다. 그 결과 기존의 손실 압축 기법에 비하여 더 낮은 비트율로 효율적인 압축을 수행하였다.

  • PDF

데이터 확장 기법에서 손실값을 대치하는 확률 추정 방법 (Probability Estimation Method for Imputing Missing Values in Data Expansion Technique)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제12권11호
    • /
    • pp.91-97
    • /
    • 2021
  • 본 논문은 불완전한 데이터를 처리하기 위해 본래 규칙개선 문제를 위해 고안되었던 데이터 확장 기법을 사용한다. 이 기법은 사건마다 중요도를 의미하는 가중치를 가질 수 있으며 각 변수를 확률값으로 나타낼 수 있는 특징이 있다. 본 논문에서의 핵심 문제가 손실값과 가장 근사한 확률을 구하여 손실값을 확률로 대치하는 것이므로, 3가지 다른 알고리즘으로 손실값에 대한 확률을 구한 후 이 데이터 구조의 형식으로 저장한다. 그리고 각각의 확률 구조에 대한 평가를 위해 SVM 분류 알고리즘으로 각각의 정보 영역을 분류하는 학습을 한 후, 본래의 정보와 비교하여 얼마나 서로 일치하느냐를 측정한다. 손실값의 대치 확률을 위한 3가지 알고리즘들은 같은 데이터 구조를 사용하고 있으나 접근 방법에서는 서로 다른 특징을 가지고 있어 적용 분야에 따라 다양한 용도로 이용될 수 있기를 기대한다.

최적화된 쿼드트리를 이용한 2차원 연기 데이터의 효율적인 슈퍼 해상도 기법 (Efficient Super-Resolution of 2D Smoke Data with Optimized Quadtree)

  • 최유연;김동희;김종현
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
    • /
    • pp.261-264
    • /
    • 2021
  • 본 논문에서는 SR(Super-Resolution)을 계산하는데 필요한 데이터를 효율적으로 분류하고 분할하여 빠르게 SR연산을 가능하게 하는 쿼드트리 기반 최적화 기법을 제안한다. 제안하는 방법은 입력 데이터로 사용하는 연기 데이터를 다운스케일링(Downscaling)하여 쿼드트리 연산 소요 시간을 감소시키며, 이때 연기의 밀도를 이진화함으로써, 다운스케일링 과정에서 밀도가 손실되는 문제를 피한다. 학습에 사용된 데이터는 COCO 2017 Dataset이며, 인공신경망은 VGG19 기반 네트워크를 사용한다. 컨볼루션 계층을 거칠 때 데이터의 손실을 막기 위해 잔차(Residual)방식과 유사하게 이전 계층의 출력 값을 더해주며 학습한다. 결과적으로 제안하는 방법은 이전 결과 기법에 비해 약15~18배 정도의 속도향상을 얻었다.

  • PDF

무선인식 시스템의 완전 명령 코드 기법을 이용한 데이터 충돌 및 손실 방지에 관한 연구 (A Study on Prevention of Collision and Data Loss of the RFID System Using a Full-Length Instruction Code Method)

  • 강민수;신석균;이재호;박면규;이기서
    • 한국통신학회논문지
    • /
    • 제29권7A호
    • /
    • pp.756-765
    • /
    • 2004
  • 단일 주파수를 사용하는 무선인식 시스템에서 일대 다수의 통신은 데이터 충돌로 인한 손실이 발생 할 수 있기 때문에 반드시 데이터 충돌을 방지해야만 한다. 기존의 데이터 충돌 방지 방법은 트리검색과 알로하기법을 사용하고 있으나, 인식영역을 통과하는 공간과 시간에 매우 의존적이어서 데이터 손실을 유발할 수 있는 단점이 있다. 그래서 완전 명령 코드 기법을 제안하였다. 완전 명령 코드 기법은 반이중 방식에 적합한 방법으로 태그가 인식 영역에 접근하는 시간을 고려하여 2개 이상의 태그가 리더로 데이터를 송신하지 않는 시간을 계산하여 충돌을 방지하였다. 본 논문에서는 13.56MHz대역의 무선인식 시스템을 제작하여 완전 명령 코드 기법을 적용하여 실험한 결과 완전 명령 코드 기법이 다른 기법에 비해 향상됨을 검증하였으며, O-표기법에 의한 시간 복잡성으로 분석하여 O(n)의 결과를 얻을 수 있었다.

무선랜에서 패킷 손실을 고려한 효율적인 x.264 코딩 기법 연구 (A Study of Effective x.264 Coding Method Considering Packet Loss in WLAN)

  • 김동현;서형윤;김종덕
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2012년도 하계학술대회
    • /
    • pp.459-461
    • /
    • 2012
  • 스마트폰과 같은 휴대용 멀티미디어 장치의 보급으로 사용자들은 고용량의 멀티미디어 데이터를 끊김없이 서비스 받길 원한다. 무선랜 기반 방송시스템은 한정적인 무선자원을 다수의 사용자들에게 원활하게 서비스하기 위해 유니캐스트 패킷이 아닌 방송 패킷을 이용한다. 하나의 패킷을 다수의 사용자들에게 한번에 전송할 수 있는 방송패킷은 효율적이지만, 손실복구가 어렵다는 단점을 가지고 있다. 이러한 단점을 극복하기 위해 일반적으로 FEC와 같은 방법으로 손실을 복구한다. 그러나 이러한 FEC와 같은 방법은 원본 데이터를 전송하기 위해 추가적인 데이터를 같이 전송해야한다. 이러한 전송은 대역폭의 증가를 가져온다. 그래서 본 연구진은 FEC와 같은 방법대신 전송의 특징을 고려한 x.264코딩 기법만으로 코딩된 동영상 데이터를 전송하여 동영상 품질수준에서 제안한 방법의 우수성을 검증하려한다.

  • PDF

클라우드 스토리지를 위한 효율적인 데이터 검증 시스템 (An Efficient Integrity Auditing System for Cloud Storage)

  • 손정갑;라쉬드 후세인;오희국
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.835-838
    • /
    • 2013
  • 클라우드 컴퓨팅을 사용하면 컴퓨팅 자원을 구축하는 비용을 절감할 수 있다는 장점이 있다. 문제는 클라이언트가 데이터 센터와 서비스제공자를 완전히 신뢰할 수 없다는 것이다. 예를 들어, 클라우드에 저장된 파일이 손실되었을 때 서비스 제공자는 서비스의 신뢰도가 떨어지는 것을 막기 위해 이를 숨길 수 있다. 이때, 데이터가 저장 후에 손실되었다는 것을 증명하지 못하면, 그 피해는 클라이언트에게 돌아오게 된다. 따라서, 클라이언트의 데이터를 보호하기 위하여 무결성을 검증할 수 있는 적절한 기법을 적용하여야 한다. 기존 연구로는 homomorphic tags 기반의 기법들이 많이 제안되었으나 이 기법은 많은 지수연산을 필요로 하므로 상용화할 수 있을 만큼의 효율성을 가지지 못한다. 특히, 클라이언트가 증거 생성을 위해 많은 연산을 부담해야 한다. 본 논문에서는 효율성에 중점을 둔, 특히 클라이언트의 효율성에 중점을 둔 무결성 검증 기법을 제안한다. 제안하는 기법은 Modular arithmetic을 기반으로 설계되었으며, 무결성 검증뿐만 아니라 데이터가 자주 업데이트 되는 환경을 지원한다. Simulation result는 제안하는 기법이 기존 기법에 매우 효율적임을 보여준다.

불완전한 데이터를 처리하기 위한 데이터 확장기법 (A data extension technique to handle incomplete data)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제12권2호
    • /
    • pp.7-13
    • /
    • 2021
  • 본 논문은 학습 데이터에 손실값을 포함하고 있는 불완전한 데이터를 위하여 확률을 나타낼 수 있는 형식으로 변환한 후 손실값을 보상하는 알고리즘을 소개한다. 기존에 이러한 데이터 변환을 사용한 방법에서는 손실 변수가 가질 수 있는 균등한 확률로 손실값을 할당하여 불완전한 데이터를 처리하는 것이었다. 이 방법으로 많은 문제에 적용하여 좋은 결과를 얻었으나, 손실 변수에 남아있는 모든 정보를 무시하고 새로운 값을 할당한다는 점에서 정보의 손실이 있다는 지적이 있었다. 이에 반해 새로운 제안 방법은 손실값을 포함하지 않는 완전한 정보만을 잘 알려진 분류 알고리즘(C4.5)에 입력하고 학습하는 중에 결정트리가 구축된다. 그리고 이 결정트리로 부터 손실값에 대한 확률을 구하여 이를 손실 변수의 추정값으로 할당한다. 즉, 불완전한 학습 데이터에서 손실되지 않은 많은 정보들을 사용하여 손실된 일부 정보를 복구하는 것이다.

IEEE 802.11b 환경에서 저전력 모드(PSM)를 지원하는 저전력 전송 기법 구현 (Implementation of Energy-Aware Transmission Mechanism Supporting PSM mode in IEEE 802.11b Environments)

  • 김태현;차호정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.313-315
    • /
    • 2004
  • 본 논문은 IEEE 802.l1b 유무선 환경 에 서 TCP를 이용한 데이터 전송 시 에이젼트를 이용하여 패킷 손실의 원인을 분석, 무선 링크에서 발생한 패킷 손실에 대해서는 혼잡 윈도우 크기를 유지하고, 유선 링크에서 발생한 패킷 손실에 대해서는 지역 재전송을 수행하는 저전력 전송 기법을 제안하고 실제 구현한다. 제안하는 저전력 전송기법 은 전송 후 WNIC를 저 전력 모드로 전환 시킴으로써 WNIC 전력 소비를 최소화 한다. 실험 결과 높은 무선 링크 에러율(1~2%)에서 기존 TCP-Reno 보다 약 18% 에너지 감소 효과를 나타냈다.

  • PDF