• 제목/요약/키워드: 압축 셋

검색결과 45건 처리시간 0.021초

언어 정보를 반영한 문장 점수 측정 기반의 문장 압축 (Sentence Compression based on Sentence Scoring Reflecting Linguistic Information)

  • 이준범;김소언;박성배
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.389-392
    • /
    • 2021
  • 문장 압축은 원본 문장의 중요한 의미를 보존하는 짧은 길이의 압축 문장을 생성하는 자연어처리 태스크이다. 문장 압축은 사용자가 텍스트로부터 필요한 정보를 빠르게 획득할 수 있도록 도울 수 있어 활발히 연구되고 있지만, 기존 연구들은 사람이 직접 정의한 압축 규칙이 필요하거나, 모델 학습을 위해 대량의 데이터셋이 필요하다는 문제점이 존재한다. 사전 학습된 언어 모델을 통한 perplexity 기반의 문장 점수 측정을 통해 문장을 압축하여 압축 규칙과 모델 학습을 위한 데이터셋이 필요하지 않은 연구 또한 존재하지만, 문장 점수 측정에 문장에 속한 단어들의 의미적 중요도를 반영하지 못하여 중요한 단어가 삭제되는 문제점이 존재한다. 본 논문은 언어 정보 중 품사 정보, 의존관계 정보, 개체명 정보의 중요도를 수치화하여 perplexity 기반의 문장 점수 측정에 반영하는 방법을 제안한다. 또한 제안한 문장 점수 측정 방법을 활용하였을 때 문장 점수 측정 기반 문장 압축 모델의 문장 압축 성능이 향상됨을 확인하였으며, 이를 통해 문장에 속한 단어의 언어 정보를 문장 점수 측정에 반영하는 것이 의미적으로 적절한 압축 문장을 생성하는 데 도움이 될 수 있음을 보였다.

가변 샘플 크기의 이산 코사인 변환을 활용한 시계열 데이터 압축 기법 (Compression Methods for Time Series Data using Discrete Cosine Transform with Varying Sample Size)

  • 문병선;최명환
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권5호
    • /
    • pp.201-208
    • /
    • 2016
  • 실시간으로 여러 시계열 데이터를 수집, 저장하는 데는 많은 저장 공간을 요구하게 된다. 이러한 공간 문제를 해결하는 방안으로, 이산 코사인 변환 압축에서 가변 샘플 크기를 사용하는 방안을 제안하였다. 시계열 데이터 셋은 값의 변화가 작을수록, 그리고 변화의 빈도가 낮을수록 압축률이 높아지는 특성을 가지고 있으며 이러한 특성을 잘 반영할 수 있는 척도로 변동 계수와 인접 요소 간 변동성 계수를 사용하여 가변 샘플 크기를 결정하는 데 사용하였다. 여러 실제 데이터 셋을 대상으로 시험한 결과, 두 방식 모두 양호한 압축률을 보이고 있다. 그러나 인접 요소간 변동성 계수 기반 압축 방식이 변동 계수 기반 방식 보다 샘플 크기 결정 방식이 훨씬 간단할 뿐만 아니라 보다 나은 압축률을 보임을 확인하였다.

디지털 홀로그래픽 현미경 데이터를 위한 위상 영상 압축 (Phase Image Compression for Digital Holographic Microscopy)

  • 김영민;반현민;최승미;오관정;임용준;김휘용
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 하계학술대회
    • /
    • pp.1187-1190
    • /
    • 2022
  • 최근 홀로그램(Hologram)을 광학현미경(light microscopy)에 적용하여 시료의 두께를 측정하는 방식의 연구가 활발하게 진행되고 있다. 빛의 간섭패턴(Interference pattern)을 사용하여 시료의 두께를 측정할 수 있는 이유는 시료의 두께에 따라 빛의 위상(phase)이 달라지기 때문이다. 빛의 간섭패턴을 저장하는 홀로그램에서 위상만을 분리한 후 위상을 unwrapping 하면 물체의 두께를 측정할 수 있다. JPEG은 기존의 연구방식인 시료를 통과한 홀로그램 이미지를 직접 압축하는 object 압축방식을 사용한다. 하지만 본 논문에서는 object 압축방식과 달리 홀로그램 이미지를 직접 압축하지 않고 홀로그램 이미지에서 시료의 위상(phase)만을 분리하여 위상 도메인에서 압축하는 방식을 취하였다. 이를 통해 object 압축방식에 비해 위상 도메인 압축방식에서 모든 데이터셋에 대하여 평균적으로 0.0003~0.0142 radian의 성능향상을 이룰 수 있었다.

  • PDF

비디오 화질 자동 측정 기술 개발을 위한 데이터 셋 구축 방법 (Data Set Design Method for developing Automatic Video Quality Measurement Technology)

  • 정세윤;이대열;정연수;김태화;조승현;김휘용
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 하계학술대회
    • /
    • pp.223-224
    • /
    • 2018
  • 기계학습 기반 비디오 화질 자동 측정 기술은 주관적 화질 평가를 대체하기 위한 기술로, 비디오를 입력 신호로 화질 평가 결과를 출력 신호로 하는 기계학습 모델을 통해서 개발하는 기술이다. 학습에 필요한 비디오 데이터 셋은 입력 신호인 비디오 시퀀스와 입력의 출력신호로 학습할 주관적 화질 평가 결과로 구성된다. 이때 데이터 셋의 일부는 기계학습 기반 비디오 화질 자동 측정 기술 개발 과정에서 학습에 사용하고, 남은 일부는 개발 기술의 성능 평가에 사용한다. 일반적으로 기계학습 기반 기술의 성능은 학습 데이터의 양과 질에 비례한다. 그러나, 기계학습 기반 비디오 화질 자동 측정 기술 개발에 필요한 데이터 셋은 주관적 화질 평가 결과를 포함해야 하므로, 데이터 양을 늘리는 것은 쉬운 문제가 아니다. 이에 본 논문에서는 압축 비디오에 대한 화질 자동 측정 기술 개발을 위해 필요한 데이터 셋을 양과 질적 측면에서 효율적으로 구축하는 방법을 제안한다. 양적 측면에서 효율성을 높이기 위해 부호화 복잡도와 평가 난이도 기반으로 시퀀스를 선정 방법을, 질적 측면에서 효율성을 높이기 위해 쌍 비교(Pairwise Comparison)기반의 주관적 화질 평가 방법을 제안한다.

  • PDF

언어 정보가 반영된 문장 점수를 활용하는 삭제 기반 문장 압축 (Deletion-Based Sentence Compression Using Sentence Scoring Reflecting Linguistic Information)

  • 이준범;김소언;박성배
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권3호
    • /
    • pp.125-132
    • /
    • 2022
  • 문장 압축은 원본 문장의 중요한 의미는 유지하면서 길이가 축소된 압축 문장을 생성하는 자연어처리 태스크이다. 문법적으로 적절한 문장 압축을 위해, 초기 연구들은 사람이 정의한 언어 규칙을 활용하였다. 또한 시퀀스-투-시퀀스 모델이 기계 번역과 같은 다양한 자연어처리 태스크에서 좋은 성능을 보이면서, 이를 문장 압축에 활용하고자 하는 연구들도 존재했다. 하지만 언어 규칙을 활용하는 연구의 경우 모든 언어 규칙을 정의하는 데에 큰 비용이 들고, 시퀀스-투-시퀀스 모델 기반 연구의 경우 학습을 위해 대량의 데이터셋이 필요하다는 문제점이 존재한다. 이를 해결할 수 있는 방법으로 사전 학습된 언어 모델인 BERT를 활용하는 문장 압축 모델인 Deleter가 제안되었다. Deleter는 BERT를 통해 계산된 perplexity를 활용하여 문장을 압축하기 때문에 문장 압축 규칙과 모델 학습을 위한 데이터셋이 필요하지 않다는 장점이 있다. 하지만 Deleter는 perplexity만을 고려하여 문장을 압축하기 때문에, 문장에 속한 단어들의 언어 정보를 반영하여 문장을 압축하지 못한다. 또한, perplexity 측정을 위한 BERT의 사전 학습에 사용된 데이터가 압축 문장과 거리가 있어, 이를 통해 측정된 perplexity가 잘못된 문장 압축을 유도할 수 있다는 문제점이 있다. 이를 해결하기 위해 본 논문은 언어 정보의 중요도를 수치화하여 perplexity 기반의 문장 점수 계산에 반영하는 방법을 제안한다. 또한 고유명사가 자주 포함되어 있으며, 불필요한 수식어가 생략되는 경우가 많은 뉴스 기사 말뭉치로 BERT를 fine-tuning하여 문장 압축에 적절한 perplexity를 측정할 수 있도록 하였다. 영어 및 한국어 데이터에 대한 성능 평가를 위해 본 논문에서 제안하는 LI-Deleter와 비교 모델의 문장 압축 성능을 비교 실험을 진행하였고, 높은 문장 압축 성능을 보임을 확인하였다.

다해상도 피처 맵 압축 손상 보상 방법 (Compression Error Compensation Method for Multi-Resolution Feature Map)

  • 권나성;이민훈;최한솔;박승진;오승준;김연희;이주영;정세윤;심동규
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 하계학술대회
    • /
    • pp.1343-1345
    • /
    • 2022
  • 본 논문에서는 다해상도 피라미드 피처 맵 압축 손상 보상 방법을 제안한다. 본 논문에서 제안하는 방법은 패킹된 C-레이어 피처 맵을 비디오 코덱으로 압축할 때, 저해상도 계층의 원본 피처 맵과 복원된 피처 맵 간의 차분 값을 구해 이를 고해상도 계층의 피처 맵에 더해줌으로써 부호화 과정에서 발생하는 오차를 보상하는 방법이다. 본 논문에서 제안하는 방법의 성능을 평가하기 위하여 OpenImageV6 데이터셋 중 1000 장에 대해 객체 검출 성능을 평가하였다. 본 논문에서 제안하는 피처 맵 압축 방법은 C-레이어 피처 맵 압축 방법 대비 bpp 와 mAP 의 BD-rate 관점에서 35.10%의 성능 향상을 보인다.

  • PDF

데카르트 좌표계 기반 노드 압축을 이용한 효율적인 2차원 연기 합성 (Efficient 2D Smoke Synthesis with Cartesian Coordinates System Based Node Compression)

  • 김동희;김종현
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.659-660
    • /
    • 2021
  • 본 논문에서는 데카르트 좌표계 기반으로 노드를 압축함으로써 SR(Super-resolution) 기반 연기 합성을 효율적으로 처리할 수 있는 방법을 제안한다. 제안하는 방법은 다운 스케일링과 이진화를 통하여 연기 시뮬레이션의 계산 공간을 효율적으로 줄이고, 데카르트 좌표계 축을 기준으로 쿼드트리의 말단 노드를 압축함으로써 네트워크의 입력으로 전달하는 데이터 개수를 줄인다. 학습에 사용된 데이터는 COCO 2017 데이터셋이며, 인공신경망은 VGG19 기반 네트워크를 사용한다. 컨볼루션 계층을 거칠 때 데이터의 손실을 막기 위해 잔차(Residual)방식과 유사하게 이전 계층의 출력 값을 더해주며 학습한다. 결과적으로 제안하는 방법은 이전 결과에 비해 네트워크로 전달해야 하는 데이터가 압축되어 개수가 줄어드는 결과를 얻었으며, 그로 인해 네트워크 단계에서 필요한 I/O 과정을 효율적으로 처리할 수 있게 되었다.

  • PDF

Global Weight: 심층 신경망의 압축을 위한 네트워크 수준의 가중치 공유 (Global Weight: Network Level Weight Sharing for Compression of Deep Neural Network)

  • 신은섭;배성호
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.22-25
    • /
    • 2020
  • 본 논문에서는 큰 크기의 심층 신경망을 압축하기위해 네트워크 수준의 가중치 공유방법인 Global Weight 패러다임을 최초로 제시한다. 기존의 가중치 공유방법은 계층별로 가중치를 공유하는 것이 대부분이었다. Global Weight 는 기존 방법과 달리 전체 네트워크에서 가중치를 공유하는 효율적인 방법이다. 우리는 Global Weight 를 사용하여 학습되는 새로운 컨볼루션 연산인 Global Weight Convolution(GWConv)연산과 GWConv를 적용한 Global Weight Networks(GWNet)을 제안한다. CIFAR10 데이터셋에서 실험한 결과 2.18 배 압축에서 85.64%, 3.41 배 압축에서 85.46%의 정확도를 보였다. Global Weight 패러다임은 가중치 공유가 궁극적으로 풀고자 했던 중복되는 가중치를 최소화하는 획기적인 방법이며, 추후 심도 있는 연구가 수행될 수 있음을 시사한다.

  • PDF

띄어쓰기 오류에 강건한 문장 압축 기반 한국어 문장 분류 (Jam-packing Korean sentence classification method robust for spacing errors)

  • 박근영;김경덕;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.600-604
    • /
    • 2018
  • 한국어 문장 분류는 주어진 문장의 내용에 따라 사전에 정의된 유한한 범주로 할당하는 과업이다. 그런데 분류 대상 문장이 띄어쓰기 오류를 포함하고 있을 경우 이는 분류 모델의 성능을 악화시킬 수 있다. 이에 한국어 텍스트 혹은 음성 발화 기반의 문장을 대상으로 분류 작업을 수행할 경우 띄어쓰기 오류로 인해 발생할 수 있는 분류 모델의 성능 저하 문제를 해결해 보고자 문장 압축 기반 학습 방식을 사용하였다. 학습된 모델의 성능을 한국어 영화 리뷰 데이터셋을 대상으로 실험한 결과 본 논문이 제안하는 문장 압축 기반 학습 방식이 baseline 모델에 비해 띄어쓰기 오류에 강건한 분류 성능을 보이는 것을 확인하였다.

  • PDF

TypeIII 수소저장용기 가동 중 안전 검사를 위한 음향방출시험 기반 딥러닝 CFRP 소재 결함 분류 (Deep Learning CFRP Failure Classification based on Acoustic Emission Testing for Safety Inspection during TypeIII Hydrogen Vessel Operation)

  • 김다현;황병일;김경영;김동주
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.7-10
    • /
    • 2023
  • 최근 기후 변화가 심각해짐에 따라 수소 에너지에 대한 관심이 집중되고 있으며 이를 안전하게 운송/보관할 수 있는 용기에 대한 연구도 활발히 진행되고 있다. 특히 고압 가스를 저장하는 TypeIII 용기의 노후화 및 안전과 관련되어 결함을 인지하는 연구가 활발하다. 그러나 이 용기의 외각층을 이루는 CFRP 소재는 탄소 섬유와 에폭시가 복잡한 구조로 구성되어 결함별 탐지가 매우 어렵다. 본 논문에서는 음향방출시험과 딥러닝을 활용하여 CFRP 결함 데이터셋을 구축하고 이를 분류할 수 있는 모델을 제안한다. 특히 CFRP 시편을 직접 제작하여 AE 센서를 부착하고 파괴하여 파형 데이터를 수집하였다. 이후 표현 학습을 통해 데이터의 특징을 압축/추출하고 유사도를 비교해 결함별 데이터를 판별하는 알고리즘을 개발하였다. 구축된 데이터셋의 실루엣 계수는 0.86으로 높은 군집도를 보였다. 마지막으로 구축된 데이터셋을 실시간으로 분류할 수 있는 1D-CNN 딥러닝 모델을 개발하였으며 99.33%의 높은 분류 정확도를 보였다.

  • PDF