• 제목/요약/키워드: Duplicate Detection Algorithm

검색결과 15건 처리시간 0.021초

가변 변수와 검증을 이용한 개선된 얼굴 요소 검출 (Improved Facial Component Detection Using Variable Parameter and Verification)

  • 오정수
    • 한국정보통신학회논문지
    • /
    • 제24권3호
    • /
    • pp.378-383
    • /
    • 2020
  • Viola & Jones의 객체 검출 알고리즘은 얼굴 요소 검출을 위한 매우 우수한 알고리즘이지만 변수 설정에 따른 중복 검출, 오 검출, 미 검출 같은 문제들이 여전히 존재한다. 본 논문은 Viola & Jones의 객체 검출 알고리즘에 미 검출을 줄이기 위한 가변 변수와 중복 검출과 오 검출을 줄이기 위한 검증을 적용한 개선된 얼굴 요소 검출 알고리즘을 제안한다. 제안된 알고리즘은 잠재적 유효 얼굴 요소들을 검출할 때까지 Viola & Jones의 객체 검출의 변수 값을 변화시켜 미 검출을 줄이고, 검출된 얼굴 요소의 크기, 위치, 유일성을 평가하는 검증을 이용해 중복 검출과 오 검출들을 제거시켜 준다. 시뮬레이션 결과들은 제안된 알고리즘이 검출된 객체들에 유효 얼굴 요소들을 포함시키고 나서 무효 얼굴 요소들을 제거하여 유효 얼굴 요소들만을 검출하는 것을 보여준다.

종합목록의 중복레코드 검증을 위한 알고리즘 연구 (A Study on Duplicate Detection Algorithm in Union Catalog)

  • 조순영
    • 한국문헌정보학회지
    • /
    • 제37권4호
    • /
    • pp.69-88
    • /
    • 2003
  • 본 연구는 KERIS 종합목록의 품질 개선을 위하여 새로운 유형의 중복 데이터 색출 알고리즘을 개발한 것이다. 새로운 알고리즘에서는 현재 적용하고 있는 것과 같은 MARC 데이터 일치여부 비교 방식에서 탈피하여 언어별 서지 유형별 다른 비교방식을 적용하였다. 아울러 비교 요소간의 유사성을 측정하고, 각 요소의 중요도에 따라 가중치를 차등 부여하는 방식을 병행하였다. 새로 개발한 알고리즘의 효용성을 입증하기 위하여 최근 종합목록에 업로드된 데이터 210,000건을 추출하여 실험용 마스터 파일을 구축하고 7,649건을 두 개의 알고리즘으로 처리한 결과 새로운 알고리즘에서 중복레코드의 색출 비율이 36.2% 더 높게 나타났다.

얼굴 검증을 이용한 개선된 얼굴 검출 (Improved Face Detection Algorithm Using Face Verification)

  • 오정수
    • 한국정보통신학회논문지
    • /
    • 제22권10호
    • /
    • pp.1334-1339
    • /
    • 2018
  • Viola & Jones의 얼굴 검출 알고리즘은 대표적인 얼굴 검출 알고리즘으로 매우 우수한 얼굴 검출 성능을 보인다. 그러나 많은 얼굴을 포함하는 영상들을 대상으로 한 Viola & Jones 알고리즘은 얼굴의 다양성으로 미검출 얼굴들, 가짜 얼굴들과 중복 검출된 얼굴들 같은 잘못 검출된 얼굴들을 발생시킨다. 본 논문은 Viola & Jones 알고리즘에서 생성된 잘못 검출된 얼굴들을 제거하는 얼굴 검증 알고리즘을 이용한 개선된 얼굴 검출 알고리즘을 제안한다. 제안된 얼굴 검증 알고리즘은 검출된 얼굴들에 대한 크기, 지정된 영역의 피부색, 눈과 입에서 발생된 에지, 중복 검출을 평가하여 얼굴이 유효한지를 확인한다. Viola & Jones 알고리즘에 의해 검출된 658개의 얼굴 영상들을 대상으로 한 얼굴 검증 실험에서 제안된 얼굴 검증 알고리즘은 실제 사람들에 의해 생성된 모든 얼굴 영상들을 검증하는 것을 보여준다.

Tree-Pattern-Based Clone Detection with High Precision and Recall

  • Lee, Hyo-Sub;Choi, Myung-Ryul;Doh, Kyung-Goo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권5호
    • /
    • pp.1932-1950
    • /
    • 2018
  • The paper proposes a code-clone detection method that gives the highest possible precision and recall, without giving much attention to efficiency and scalability. The goal is to automatically create a reliable reference corpus that can be used as a basis for evaluating the precision and recall of clone detection tools. The algorithm takes an abstract-syntax-tree representation of source code and thoroughly examines every possible pair of all duplicate tree patterns in the tree, while avoiding unnecessary and duplicated comparisons wherever possible. The largest possible duplicate patterns are then collected in the set of pattern clusters that are used to identify code clones. The method is implemented and evaluated for a standard set of open-source Java applications. The experimental result shows very high precision and recall. False-negative clones missed by our method are all non-contiguous clones. Finally, the concept of neighbor patterns, which can be used to improve recall by detecting non-contiguous clones and intertwined clones, is proposed.

IPv6 Autoconfiguration for Hierarchical MANETs with Efficient Leader Election Algorithm

  • Bouk, Safdar Hussain;Sasase, Iwao
    • Journal of Communications and Networks
    • /
    • 제11권3호
    • /
    • pp.248-260
    • /
    • 2009
  • To connect a mobile ad hoc network (MANET) with an IP network and to carryout communication, ad hoc network node needs to be configured with unique IP adress. Dynamic host configuration protocol (DHCP) server autoconfigure nodes in wired networks. However, this cannot be applied to ad hoc network without introducing some changes in auto configuration mechanism, due to intrinsic properties (i.e., multi-hop, dynamic, and distributed nature) of the network. In this paper, we propose a scalable autoconfiguration scheme for MANETs with hierarchical topology consisting of leader and member nodes, by considering the global Internet connectivity with minimum overhead. In our proposed scheme, a joining node selects one of the pre-configured nodes for its duplicate address detection (DAD) operation. We reduce overhead and make our scheme scalable by eliminating the broadcast of DAD messages in the network. We also propose the group leader election algorithm, which takes into account the resources, density, and position information of a node to select a new leader. Our simulation results show that our proposed scheme is effective to reduce the overhead and is scalable. Also, it is shown that the proposed scheme provides an efficient method to heal the network after partitioning and merging by enhancing the role of bordering nodes in the group.

6LoWPAN에서 홉-수 기반 계층적 자동주소할당 방법 (A Method of Hierarchical Address Autoconfiguration base on Hop-count in 6LoWPAN)

  • 김동규;김중규
    • 한국산업정보학회논문지
    • /
    • 제15권3호
    • /
    • pp.11-21
    • /
    • 2010
  • 센서네트워크에서 센서 노드의 수가 증가하면 센서 노드에 자동으로 주소를 할당하는 방법이 필요한데, 기존에 개발된 주소할당 방법은 주소 낭비가 심하거나 코디네이터가 주소정보를 가지고 있어야 하거나, 트래픽이 많이 발생하는 등의 단점이 있다. 본 논문에서는 6LoWPAN에서 센서노드에 자동으로 효율적인 주소 할당이 가능한 홉-수 기반 계층적 주소할당 방법을 제안한다. 제안된 방법은 홉-수로 각각의 영역을 구분하여 중복되지 않는 유일한 주소의 할당이 가능하며, 주소중복검사(DAD : Duplicate Address Detection) 영역을 줄였다. 부모 노드에 1-홉으로 연결된 영역만 주소중복검사를 수행하여 트래픽을 줄이고, 패킷 전송에서 송 수신 주소에서 IP 헤더를 32bit 이상의 압축이 가능하여, 기존 방법보다 패킷 전송 횟수가 11.1% 감소하는 것을 보였다.

이미지 처리를 통한 공기 중 섬유의 자동계수 알고리즘 프로그램 개발 (Developing Image Processing Program for Automated Counting of Airborne Fibers)

  • 최성원;이희공;이종일;김현욱
    • 한국산업보건학회지
    • /
    • 제24권4호
    • /
    • pp.484-491
    • /
    • 2014
  • Objectives: An image processing program for asbestos fibers analyzing the gradient components and partial linearity was developed in order to accurately segment fibers. The objectives were to increase the accuracy of counting through the formulation of the size and shape of fibers and to guarantee robust fiber detection in noisy backgrounds. Methods: We utilized samples mixed with sand and sepiolite, which has a similar structure to asbestos. Sample concentrations of 0.01%, 0.05%, 0.1%, 0.5%, 1%, 2%, and 3%(w/w) were prepared. The sand used was homogenized after being sieved to less than $180{\mu}m$. Airborne samples were collected on MCE filters by utilizing a personal pump with 2 L/min flow rate for 30 minutes. We used the NIOSH 7400 method for pre-treating and counting the fibers on the filters. The results of the NIOSH 7400 method were compared with those of the image processing program. Results: The performance of the developed algorithm, when compared with the target images acquired by PCM, showed that the detection rate was on average 88.67%. The main causes of non-detection were missing fibers with a low degree of contrast and overlapping of faint and thin fibers. Also, some duplicate countings occurred for fibers with breaks in the middle due to overlapping particles. Conclusions: An image detection algorithm that could increase the accuracy of fiber counting was developed by considering the direction of the edge to extract images of fibers. It showed comparable results to PCM analysis and could be used to count fibers through real-time tracking by modeling a branch point to graph. This algorithm can be utilized to measure the concentrations of asbestos in real-time if a suitable optical design is developed.

맞춤 접두 필터링을 이용한 효율적인 유사도 조인 (Efficient Similarity Joins by Adaptive Prefix Filtering)

  • 박종수
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권4호
    • /
    • pp.267-272
    • /
    • 2013
  • 데이터 정제나 복사 탐지와 같은 많은 응용들을 가진 중요한 연산인 유사도 조인은 도전적인 주제로 데이터집합에서 주어진 한계치 이상의 유사도를 가지는 모든 쌍의 레코드들을 찾는 것이다. 우리는 빠른 유사도 조인을 위해 후보 쌍들의 생성 시에 접두 필터링 원리를 강한 제약 조건으로 사용하는 새 알고리즘을 제안한다. 그 원리에 의해 한정된 접두 토큰들내에서 탐색 레코드의 현재 접두 토큰이 인덱싱 레코드의 접두 토큰을 공유할 때에만 후보 쌍이 생성된다. 이 생성 방법은 두 레코드들 사이에 공통부분의 상한 값을 계산할 필요가 없어서 실행시간을 감소시킨다. 실제 데이터 집합에 적용된 실험 결과는 제안된 알고리즘이 이전의 접두 필터링 방법의 알고리즘들에 비해 상당히 우수함을 보여준다.

시공간 순차 정보를 이용한 내용기반 복사 동영상 검출 (Content based Video Copy Detection Using Spatio-Temporal Ordinal Measure)

  • 정재협;김태왕;양훈준;진주경;정동석
    • 대한전자공학회논문지SP
    • /
    • 제49권2호
    • /
    • pp.113-121
    • /
    • 2012
  • 본 논문은 대용량 동영상을 관리하기 위한 빠르고 효율적인 내용기반 중복 동영상 검출 알고리즘을 제안한다. 효율적인 중복 동영상 검출을 위해 대용량의 동영상을 처리하기 쉬운 작은 단위로 나누는 동영상 장면 전환 기반 분할 기술을 적용하였다. 동영상 서비스 및 저작권 보호 관련 사업모델의 경우, 필요한 기술은 아주 작은 구간의 동영상이나 한 장의 영상 을 검색하기보다는 상당한 길이 이상 일치하는 동영상을 파악하는 기술이 필요하다. 이러한 중복 동영상 검출을 위해 본 논문에서 동영상을 장면 전환을 기준으로 분할하여, 나누어진 장면 내에서 움직임 분포 서술자와 대표 프레임을 선택하여 프레임 서술자를 추출한다. 움직임 분포 서술자는 동영상 디코딩 과정에서 얻어지는 매크로 블록의 움직임 벡터를 이용한 장면 내 움직임 분포 히스토그램을 구성하였다. 움직임 분포 서술자는 정합시 고속 정합이 가능하도록 필터링 역할을 한다. 반면 움직임 정보만는 낮은 변별력을 가진다. 이를 높이기 위해 움직임 분포 서술자를 이용하여 정합된 장면 간에 선택된 대표 프레임의 패턴 서술자를 이용하여 동영상의 중복 여부를 최종 판단한다. 제안된 방법은 실제 동영상 서비스 환경에서 우수한 인식률과 낮은 오인식률을 가질 뿐만아니라 실제 적용이 가능할 정도의 빠른 정합 속도를 얻을 수 있었다.

빠른 손실 감지를 통한 TCP NewReno의 Fast Recovery 개선 알고리듬 (Enhancements to the fast recovery Algorithm of TCP NewReno using rapid loss detection)

  • 김동민;김범준;김석규;이재용
    • 한국통신학회논문지
    • /
    • 제29권7B호
    • /
    • pp.650-659
    • /
    • 2004
  • 국내 무선 네트워크 환경은 사용자의 서비스 요구 수용과 시장 성장으로 인해 빠르게 변화하고 있다. 이에 따라 무선 구간에서 TCP(transmission control protocol)를 이용한 신뢰성 있는 데이터 전송도 늘어날 전망이다. TCP는 유선 네트워크에서 사용함을 가정으로 만들어졌기 때문에 무선에서 발생할 수 있는 비 혼잡 손실에 의해 많은 성능 저하를 겪을 수 있다. 특히 RTO(retransmission timeout)은 TCP의 성능에 많은 영향을 미친다. 본 논문에서는 송신단에서 fast recovery과정 중에 발생한 패킷 손실을 빠르게 감지하여 RTO없이 복구함으로써 성능저하를 줄일 수 있는 DAC$^{+}$(Duplicate Acknowledgement Counting)와 EFR(Extended Fast Recovery)을 제안한다. 제안 알고리듬을 TCP NewReno와 비교했을 때 정상 상태에서 fast recovery 확률이 높고, 이에 따른 RTO 감소로 인해 response time이 줄어드는 것을 확인할 수 있다.