• 제목/요약/키워드: masked data

검색결과 62건 처리시간 0.172초

한국어 상호참조해결을 위한 BERT 기반 데이터 증강 기법 (BERT-based Data Augmentation Techniques for Korean Coreference Resolution)

  • 김기훈;이창기;류지희;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.249-253
    • /
    • 2020
  • 상호참조해결은 문서 내에 등장하는 모든 멘션 중에서 같은 의미를 갖는 대상(개체)들을 하나의 집합으로 묶어주는 자연어처리 태스크이다. 한국어 상호참조해결의 학습 데이터는 영어권에 비해 적은 양이다. 데이터 증강 기법은 부족한 학습 데이터를 증강하여 기계학습 기반 모델의 성능을 향상시킬 수 있는 방법 중 하나이며, 주로 규칙 기반 데이터 증강 기법이 연구되고 있다. 그러나 규칙 기반으로 데이터를 증강하게 될 경우 규칙 조건을 만족하지 못했을 때 데이터 증강이 힘들다는 문제점과 임의로 단어를 변경 혹은 삭제하는 과정에서 문맥에 영향을 주는 문제점이 발생할 수 있다. 따라서 본 논문에서는 BERT의 MLM(Masked Language Model)을 이용하여 기존 규칙기반 데이터 증강 기법의 문제점을 해결하고 한국어 상호참조해결 데이터를 증강하는 방법을 소개한다. 실험 결과, ETRI 질의응답 도메인 상호참조해결 데이터에서 CoNLL F1 1.39% (TEST) 성능 향상을 보였다.

  • PDF

잡음을 이용한 가계조사자료의 정보노출제한방법 (A Method of Masking Based on Multiplicative Noise)

  • 정동명;김종익;김경미
    • 응용통계연구
    • /
    • 제22권1호
    • /
    • pp.141-151
    • /
    • 2009
  • 제공되는 마이크로자료가 어떤 형태인지에 따라 응답자의 개인정보를 보호하는 방법도 다르게 적용된다. 본 연구에서는 연속형자료의 비밀보호에 효과적인 잡음(noise)을 이용하는 방법을 소개하고, 통계청에서 실시한 2005년 가계조사 자료에 이 방법을 적용하여 응답자의 정보노출이 제한된 마이크로자료를 작성하는 과정을 설명한다. 잡음의 생성을 위해 삼각분포와 절단된 삼각분포, 사다리꼴분포 그리고 이중삼각분포를 이용하고 소지역 추정에 필요한 공식도 유도한다. 아울러 각 분포별로 얻어진 잡음을 이용하여 가계조사 자료를 변환하여 비교 분석한 결과도 보여준다.

Robustness Analysis of a Novel Model-Based Recommendation Algorithms in Privacy Environment

  • Ihsan Gunes
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권5호
    • /
    • pp.1341-1368
    • /
    • 2024
  • The concept of privacy-preserving collaborative filtering (PPCF) has been gaining significant attention. Due to the fact that model-based recommendation methods with privacy are more efficient online, privacy-preserving memory-based scheme should be avoided in favor of model-based recommendation methods with privacy. Several studies in the current literature have examined ant colony clustering algorithms that are based on non-privacy collaborative filtering schemes. Nevertheless, the literature does not contain any studies that consider privacy in the context of ant colony clustering-based CF schema. This study employed the ant colony clustering model-based PPCF scheme. Attacks like shilling or profile injection could potentially be successful against privacy-preserving model-based collaborative filtering techniques. Afterwards, the scheme's robustness was assessed by conducting a shilling attack using six different attack models. We utilize masked data-based profile injection attacks against a privacy-preserving ant colony clustering-based prediction algorithm. Subsequently, we conduct extensive experiments utilizing authentic data to assess its robustness against profile injection attacks. In addition, we evaluate the resilience of the ant colony clustering model-based PPCF against shilling attacks by comparing it to established PPCF memory and model-based prediction techniques. The empirical findings indicate that push attack models exerted a substantial influence on the predictions, whereas nuke attack models demonstrated limited efficacy.

Study on Plastics Detection Technique using Terra/ASTER Data

  • Syoji, Mizuhiko;Ohkawa, Kazumichi
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1460-1463
    • /
    • 2003
  • In this study, plastic detection technique was developed, applying remote sensing technology as a method to extract plastic wastes, which is one of the big causes of concern contributing to environmental destruction. It is possible to extract areas where plastic (including polypropylene and polyethylene) wastes are prominent, using ASTER data by taking advantage of its absorptive characteristics of ASTER/SWIR bands. The algorithm is applicable to define large industrial wastes disposal sites and areas where plastic greenhouses are concentrated. However, the detection technique with ASTER/SWIR data has some research tasks to be tackled, which includes a partial secretion of reference spectral, depending on some conditions of plastic wastes and a detection error in a region mixed with vegetations and waters. Following results were obtained after making comparisons between several detection methods and plastic wastes in different conditions; (a)'spectral extraction method' was suitable for areas where plastic wastes exist separated from other objects, such as coastal areas where plastic wastes drifted ashore. (single plastic spectral was used as a reference for the 'spectral extraction method') (b)On the other hand, the 'spectral extraction method' was not suitable for sites where plastic wastes are mixed with vegetation and soil. After making comparison of the processing results of a mixed area, it was found that applying both 'separation method' using un-mixing and ‘spectral extraction method’ with NDVI masked is the most appropriate method to extract plastic wastes. Also, we have investigated the possibility of reducing the influence of vegetation and water, using ASTER/TIR, and successfully extracted some places with plastics. As a conclusion, we have summarized the relationship between detection techniques and conditions of plastic wastes and propose the practical application of remote sensing technology to the extraction of plastic wastes.

  • PDF

시계열 위성영상을 위한 효과적인 Super Resolution 기법 (An Efficient Super Resolution Method for Time-Series Remotely Sensed Image)

  • 정승균;최윤수;정형섭
    • Spatial Information Research
    • /
    • 제19권1호
    • /
    • pp.29-40
    • /
    • 2011
  • 정지궤도 해색 센서(GOCI: Geostationary Ocean Color Imager) 는 세계 최초의 정지궤도 위성으로 매일 1 시간마다 8 장의 영상을 획득 할 수 있어 육상파 해양 모두 활용성이 높은 위성이다. 그러나 500m의 GSD(Ground Sample Distance)를 지니는 서해성도 영상은 육성 활용에 한계가 있다. 최근, 컴퓨터 비전분야에서 활발히 진행 중인 기술인 Super Resolution(이하 SR)는 유사 시간대에 촬영한 저해상도 영상으로부터 고해상도 영상을 제작하는 기술로, 이를 시간 해상도가 높은 시계열 위성인 GOCI에 적용한다면 해상도가 향상 된 영상을 제작하는 기술로, 이를 시간 해상도가 높은 시계열 위성인 GOCI에 적용한다면 해상도가 향상 된 영상의 취득이 가능하며, 또한 광학 위성 영상의 단점인 구름에 의해 손실된 지상 정보의 복원이 가능할 것이다. 본 연구에서는, GOCI 자료를 위한 효율적인 초해상도 영상 복원 알고리즘 개발을 위한 선행연구로써 위성 영상 취득과정과 유사한 환경의 시뮬레이션을 통해 시계열 자료를 제작하고, 제작된 자료를 제안한 알고리즘에 적용함으로서 0.1 단위의 픽셀 정합도를 확인하였고, 원본 영상과 RMSE 0.5763, PSNR 52.9183 db, SSIM Index 0.9486의 정확도를 나타낸 HR 영상을 복원하였다.

색상 불변 특징을 이용한 고해상도 위성영상의 영역기반 건물 추출 (Region-based Building Extraction of High Resolution Satellite Images Using Color Invariant Features)

  • 고아름;변영기;박우진;김용일
    • 대한원격탐사학회지
    • /
    • 제27권2호
    • /
    • pp.75-87
    • /
    • 2011
  • 본 연구에서는 고해상도 위성영상을 이용하여 기존의 훈련지역 선정과 같은 사용자 개입 없이, 영상의 다중분광 및 색상 불변 특정 정보를 통합한 영역기반 건물 추출 방법론을 개발하고, 이를 IKONOS와 QuickBird 영상에 적용하여 개발된 방법의 효용성을 평가하는데 목적이 있다. 이를 위해 우선 영상을 시드기반 영역확장기법인 MSRG기법을 이용하여 분할한 후, 건물 추출의 편의성을 높이기 위한 전처리 과정의 일환으로 분할된 영상에서 식생과 그림자 객체를 자동으로 탐지하여 제거하였다. 객체단위의 건물 추출을 위해 다중분광 및 색상 불변 특정 정보가 통합된 영역 병합 과정을 통해 식생과 그림자 객체가 제거된 분할영역에 대하여 영역 병합을 수행하였고, 최종적으로 병합된 분할영역의 형상 특징 정보를 이용하여 건물 영역을 추출하였다. 또한 보다 완전성 높은 건물 추출을 위해 일반화 기법을 이용하여 추출된 건물의 외곽선을 단순화하였다. 실험 결과, 대상지역 모두에서 80% 이상의 건물탐지 정확도를 보였으며 시각적으로도 우수한 결과를 도출하였다. 결과적으로 제안된 방법은 고해상도 위성영상의 건물 추출에 유용하게 적용될 수 있으리라 판단된다.

기후변화에 따른 한반도 난온대 상록활엽수의 잠재 생육지 변화 예측 (Change Prediction for Potential Habitats of Warm-temperate Evergreen Broad-leaved Trees in Korea by Climate Change)

  • 윤종학;중미승양;박찬호;이병윤;오경희
    • 한국환경생태학회지
    • /
    • 제25권4호
    • /
    • pp.590-600
    • /
    • 2011
  • 본 연구는 기후변화에 따른 한반도 난온대 상록활엽수의 생육지 변화를 예측하기 위하여 CT-model을 이용하여 현재기후(1961~1990)와 3종류의 미래기후(2081~2100) 시나리오에서의 잠재 생육지를 예측하였다. 반응변수로서 난온대 상록활엽수의 실제 분포에서 추출한 유/무자료와 4가지 기후변수(온량지수, 최한월최저기온, 동경강수량, 하계강수량)를 예측변수로 사용하였다. 현재기후에서 잠재 생육지(PH)는 28,230$km^2$로 예측되었으며, 3종류 미래기후 시나리오(CCCMA-A2, CSIRO-A2, HADCM3-A2)에서는 77,140~89,285$km^2$로 예측되었다. 현재기후에서 토지 이용을 고려한 잠재 생육지(PHLU)는 8,274$km^2$로 예측되었으며, 잠재 생육지의 29.3%를 차지하였다. 미래기후에서 토지 이용을 고려한 잠재 생육지는 35,177~45,170$km^2$로 예측되었으며, 26.9~36.9% 증가하였다. 기후변화에 따른 난온대 상록활엽수의 분포 확대는 토지 이용에 제한되어 생육지 파편 형태로 진행되고 있다. 난온대 상록활엽수의 생육지 증가는 난온대 낙엽활엽수림과의 경쟁이 예상되며, 난온대 상록활엽수림대의 확대 및 북상을 시사하고 있다.

Detection of short-term changes using MODIS daily dynamic cloud-free composite algorithm

  • Kim, Sun-Hwa;Eun, Jeong;Kang, Sung-Jin;Lee, Kyu-Sung
    • 대한원격탐사학회지
    • /
    • 제27권3호
    • /
    • pp.259-276
    • /
    • 2011
  • Short-term land cover changes, such as forest fire scar and crop harvesting, can be detected by high temporal resolution satellite imagery like MODIS and AVHRR. Because these optical satellite images are often obscured by clouds, the static cloud-free composite methods (maximum NDVI, minblue, minVZA, etc.) has been used based on non-overlapping composite period (8-day, 16-day, or a month). Due to relatively long time lag between successive images, these methods are not suitable for observing short-term land cover changes in near-real time. In this study, we suggested a new dynamic cloud-free composite algorithm that uses cut-and-patch method of cloud-masked daily MODIS data using MOD35 products. Because this dynamic composite algorithm generates daily cloud-free MODIS images with the most recent information, it can be used to monitor short-term land cover changes in near-real time. The dynamic composite algorithm also provides information on the date of each pixel used in compositing, thereby makes accurately identify the date of short-term event.

포트 마스킹이 엔진의 배기에 미치는 영향 (Effects of Port Masking on Emission)

  • 김형식;박찬준;엄인용
    • 한국자동차공학회논문집
    • /
    • 제19권3호
    • /
    • pp.23-28
    • /
    • 2011
  • To secure basic data for intake port design, effects of a port masking on the part load performance were investigated in a 4 valve SI engine. For this purpose, 9 kinds of masking, which have different shapes and masking ratio, are applied to the engine intake system. The characteristics of the performance were estimated through mixture response test at various engine load and speed. The results show that NOx emission, one of indexes for stratification, increases considerably in spite of retarded spark timing due to the stratification which is caused by unequal flow distribution between the two intake ports. The mechanism of stratification by masking is different from axial stratification and the fuel entering through masked port plays a very important role in this stratification process. In conclusion, the port masking method could be easily applied to engine intake system and be very effective for inducing the stratified charging without the change of port design.

Online damage detection using pair cointegration method of time-varying displacement

  • Zhou, Cui;Li, Hong-Nan;Li, Dong-Sheng;Lin, You-Xin;Yi, Ting-Hua
    • Smart Structures and Systems
    • /
    • 제12권3_4호
    • /
    • pp.309-325
    • /
    • 2013
  • Environmental and operational variables are inevitable concerns by researchers and engineers when implementing the damage detection algorithm in practical projects, because the change of structural behavior could be masked by the conditions in a large extent. Thus, reliable damage detection methods should have a virtue of immunity from environmental and operational variables. In this paper, the pair cointegration method was presented as a novel way to remove the effect of environmental variables. At the beginning, the concept and procedure of this approach were introduced, and then the theoretical formulation and numerical simulations were put forward to illustrate the feasibility. The jump exceeding the control limit in the residual indicates the occurrence of damage, while the direction and magnitude imply the most potential damage location. In addition, the simulation results show that the proposed method has strong ability to resist the noise.