• Title/Summary/Keyword: Whole World Masking

Search Result 2, Processing Time 0.016 seconds

Construction of a Bidirectional Transformer Model for Paraphrasing Detection (패러프레이즈 문장 검출을 위한 양방향 트랜스포머 모델 구축)

  • Ko, Bowon;Choi, Ho-Jin
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.465-469
    • /
    • 2019
  • 자연어 처리를 위해서 두 문장의 의미 유사성을 분석하는 것은 아주 중요하다. 이 논문은 패러프레이즈 검출 태스크를 수행하기 위한 Paraphrase-BERT를 제안한다. 우선 구글이 제안한 사전 학습된 BERT를 그대로 이용해서 패러프레이즈 데이터 (MRPC)를 가지고 파인 튜닝하였고 추가적으로 최근에 구글에서 새로 발표한 Whole Word Masking 기술을 사용하여 사전 학습된 BERT 모델을 새롭게 파인 튜닝하였다. 그리고 마지막으로 다중 작업 학습을 수행하여 성능을 향상시켰다. 구체적으로 질의 응답 태스크와 패러프레이즈 검출 태스크를 동시에 학습하여 후자가 더 잘 수행될 수 있도록 하였다. 결과적으로 점점 더 성능이 개선되었고 (11.11%의 정확도 향상, 7.88%의 F1 점수 향상), 향후 작업으로 파인 튜닝하는 방법에 대해서 추가적으로 연구할 계획이다.

  • PDF

Estimation of Paddy Field Area in North Korea Using RapidEye Images (RapidEye 영상을 이용한 북한의 논 면적 산정)

  • Hong, Suk Young;Min, Byoung-Keol;Lee, Jee-Min;Kim, Yihyun;Lee, Kyungdo
    • Korean Journal of Soil Science and Fertilizer
    • /
    • v.45 no.6
    • /
    • pp.1194-1202
    • /
    • 2012
  • Remotely sensed satellite images can be applied to monitor and obtain land surface information on inaccessible areas. We classified paddy field area in North Korea based on on-screen digitization with visual interpretation using 291 RapidEye satellite images covering the whole country. Criteria for paddy field classification based on RapidEye imagery acquired at different time of rice growth period was defined. Darker colored fields with regular shape in the images with false color composite from early May to late June were detected as rice fields. From early July to late September, it was hard to discriminate rice canopy from other type of vegetation including upland crops, grass, and forest in the image. Regular form of readjusted rice field in the plains and uniform texture when compared with surrounding vegetation. Paddy fields classified from RapidEye imagery were mapped and the areas were calculated by administrative district, province or city. Sixty six percent of paddy fields ($3,521km^2$) were distributed in the west coastal regions including Pyeongannam-do, Pyeonganbuk-do, and Hwanghaenam-do. The paddy field areas classified from RapidEye images showed less than 1% of difference from the paddy field areas of North Korea reported by FAO/WFP (Food and Agriculture Organization/World Food Programme).