• 제목/요약/키워드: 중복제거기법

검색결과 221건 처리시간 0.026초

IETF CoAP 기반의 데이터 정제 기법을 이용한 IoT 미들웨어 설계 및 구현 (Design and Implementation of IoT Middleware Using Data Refinement Scheme based on IETF CoAP)

  • 왕건;사공준;곽호영;김도현
    • 한국인터넷방송통신학회논문지
    • /
    • 제15권6호
    • /
    • pp.123-128
    • /
    • 2015
  • 최근 IoT(Internet of Things)에서 다양한 사물을 인터넷에 연결하여 정보를 교환하는 통신 프로토콜에 대한 관심이 집중되고 있다. 현재 IETF(Internet Engineering Task Force) 표준화 기구에서는 제한된 환경에서 센서나 구동체와 같은 사물 간의 통신을 지원하는 CoAP(Constrained Application Protocol) 프로토콜을 표준으로 채택하고 있다. 향후 IoT 환경에서 서버뿐만 아니라 스마트 폰에서 센서로 부터 데이터를 수집하거나, 구동체에게 명령을 전달하고, 사물을 관리하는 역할을 담당할 것으로 예상된다. 본 논문에서는 IETF CoAP 을 기반으로 스마트 폰과 IoT 노드사이의 연결 구성을 설계하고, 스마트 폰에서 데이터 정제 기능을 갖는 미들웨어를 설계하고 구현한다. 제안된 데이터 정제 기법을 이용하여 송수신 과정에서 발생하는 오류 데이터와 중복 데이터를 확인하고 제거함으로써 제한된 외부 환경에서 신뢰성 있는 정보를 전달하는 데 기여할 것이다.

MicroArray의 직관적 시각적 분석을 위한 웹 기반 분석 도구 (Web-based microarray analysis using the virtual chip viewer and bioconductor.)

  • 이승원;박준형;김현진;강병철;박희경;김인주;김철민
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2005년도 춘계학술대회
    • /
    • pp.198-201
    • /
    • 2005
  • DNA microarray 칩은 신약 개발, 유전적 질환 진단, Bio-molecular 상호작용 연구, 유전자의 기능연구 등 폭넓게 사용되고 있다. 이 논문은 cDNA mimcroarray 데이터를 분석하기 위한 웹형태의 시스템 개발에 대한 내용을 다룬다. 하나의 cDNA microarray에는 수 백에서 수 만개의 유전자가 심어져 있으며, 데이터를 분석할 때 대량의 데이터와 다양한 형태의 오류로 인해서 데이터간의 차이를 보정하는 분석 도구와 통계적 기법들이 사용되어야 한다. 본 논문에서는 가상 칩 뷰어를 이용하여 실제 microarray 데이터의 foreground intensity에서 백그라운드의 intensity를 제거하여 일반화된 칩 이미지를 생성한다. 이 가상 칩 뷰어는 여러 가지 필터효과와 서로 다른 두 형광의 차이를 조정하는 global normalization 기법을 사용하여 발현 유전자 분석을 시각적으로 할 수 있고, 중복된 마이크로어레이 칩 데이터를 통하여 시간이 많이 걸리는 분석전 칩의 유효성을 검토할 수 있다. 칩 데이터의 normalization을 위한 통계 방법으로 R 통계 도구와 linear 모델을 사용하여 microarray 칩의 유전자 발현 양상을 분석한다. 통계적 방법을 사용하지 않은 데이터를 추출, 이 데이터의 패턴 그래프 그리고 발현 레벨을 분류하여 마이크로어레이의 각 스팟의 유효성 검토의 정확성을 높였다. 이 시스템은 칩의 유효성 검토, 스팟의 유효성 검토, 유전자 선정에 대해 분석의 용이성과 정확성을 높일 수 있었다.

  • PDF

시간적-공간적 상관성을 이용한 저 복잡도 움직임 추정 (Low Complexity Motion Estimation Based on Spatio - Temporal Correlations)

  • 윤효순;김미영;이귀상
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권9호
    • /
    • pp.1142-1149
    • /
    • 2004
  • 움직임 추정은 동영상내에 존재하는 중복된 데이타를 제거하기 때문에 비디오 영상 압축에서 중요한 역할을 하지만 높은 계산 복잡도로 인하여 실시간 영상 전송에 많은 어려움을 가지고 있다. 이러한 문제점을 해결하기 위해서는 낮은 계산 복잡도를 지닌 움직임 추정 기법들이 필요한데, 본 논문에서는 현재 블록과 높은 시간적, 공간적 상관성을 가지고 있는 블록들의 움직임 벡터들, 즉 참조 프레임에서 동일한 위치에 있는 블록의 움직임 벡터와 현재 프레임에서 현재 블록의 이웃에 있는 블록들의 움직임 벡터들을 이용하여 현재 블록의 탐색 시작점과 탐색 패턴을 적응적으로 결정하여 움직임 벡터를 추정하는 움직임 추정 기법을 제안한다. 실험을 통하여, 제안된 기법을 낮은 계산 복잡도를 지닌 움직임 벡터 필드 적응적 탐색 기법 (Motion Vector Field Adaptive Search Technique : MVFAST)과 예측된 움직임 벡터필드 적응적 탐색 기법(Predictive Motion Vector Field Adaptive Search Technique : PMVFAST)과 비교하였을 경우, 제안된 기법은 약 0.01~0.3 (dB) 정도의 화질 향상과 낮은 계산 복잡도로 인하여 약 1.12~l.33 배의 속도 향상을 보였다.

메인 메모리 다차원 인덱스를 위한 효율적인 MBR 압축 기법 (An Efficient MBR Compression Technique for Main Memory Multi-dimensional Indexes)

  • 김정준;강홍구;김동오;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제9권2호
    • /
    • pp.13-23
    • /
    • 2007
  • 최근 실시간 서비스의 요구 사항을 갖는 위치 기반 서비스와 텔레매틱스 서비스를 효율적으로 제공하기 위해서 공간 메인 메모리 DBMS에 대한 관심이 급증하고 있다. 이러한 공간 메인 메모리 DBMS에서 기존의 디스크 기반 다차원 인덱스들을 메인 메모리에 최적화하기 위해 엔트리 크기를 줄여 캐시 접근 실패를 최소화한 다차원 인덱스 구조들이 제안되고 있다. 그러나 엔트리 크기를 줄이기 위하여 부모 노드의 MBR을 기준으로 압축하거나 중복된 MBR을 제거하기 때문에 인덱스 갱신 시 MBR 재구성 비용이 증가하고 인덱스 검색 시 효율이 떨어지는 문제점이 있다. 본 논문에서는 MBR 재구성 비용을 줄이기 위하여 넓은 분포의 경우와 좁은 분포의 경우로 나누어 압축 기준점을 다르게 적용하는 RSMBR(Relative-Sized MBR) 압축 기법을 제시하였다. RSMBR 압축 기법은 넓은 분포일 경우 부모 노드 확장 MBR의 좌하점을 기준으로 압축하고, 좁은 분포일 경우 전체 MBR을 일정 크기의 셀로 나누고 각 셀의 좌하점을 기준으로 압축한다. 또한 인덱스 검색 시 검색 비용을 줄이기 위하여 상대 좌표와 크기를 이용하여 MBR을 압축한다. 마지막으로, 본 논문에서는 실제 데이타를 통한 성능 평가를 수행하여 RSMBR 압축 기법의 우수성도 입증하였다.

  • PDF

Loop-Up Table과 필터 중첩영역 버퍼링 기법을 이용한 컨벌루션 영상처리 고속화 (Accelerated Convolution Image Processing by Using Look-Up Table and Overlap Region Buffering Method)

  • 김현우;김민영
    • 전자공학회논문지SC
    • /
    • 제49권4호
    • /
    • pp.17-22
    • /
    • 2012
  • 컨벌루션 기법은 디지털 영상처리 분야에서 블러링(blurring), 샤프닝(sharpening), 에지 검출(edge detection), 잡음 제거(noise reduction)등 다양한 목적을 위해 사용되고 있으며, 상황에 따라 다양한 필터 마스크 값을 가지고 적용된다. 본 논문은 영상처리에서 다양하게 응용되는 컨벌루션 영상처리 기법을 2차원 Look-Up Table(LUT)와 필터의 중첩영역 버퍼링 기법을 통하여, 이의 영상처리 속도를 고속화하는 방법을 제안한다. 첫째, 사전에 필터의 마스크 값과 영상 화소 값의 곱셈 연산 결과값을 2차원 LUT에 저장하여, 연산에 대한 결과를 참고 하였다. 둘째, 대부분의 컨벌루션 필터가 가지는 필터 대칭성 특징에 의해 연산이 중복 수행되는 부분을 효율적으로 연산하기 위해, 중첩영역 처리 결과를 버퍼 공간에 임시 저장하고, 다음 연산에서 사용할 때 버퍼의 값을 가져오는 방식으로 중첩 영역의 불필요한 반복 연산을 최소화한다. 제안하는 알고리즘은 실시간 처리를 필요로 하는 PC환경과 제한된 컴퓨팅 자원을 가지는 임베디드 시스템 환경에서 연산량을 최소화함으로써 기존 컨벌루션 알고리즘 보다 고속화된 성능 결과를 확인할 수 있었다.

자기 지도 학습 기반의 언어 모델을 활용한 다출처 정보 통합 프레임워크 (Multi-source information integration framework using self-supervised learning-based language model)

  • 김한민;이정빈;박규동;손미애
    • 인터넷정보학회논문지
    • /
    • 제22권6호
    • /
    • pp.141-150
    • /
    • 2021
  • 인공지능(Artificial Intelligence) 기술을 활용하여 인공지능 기반의 전쟁 (AI-enabled warfare)가 미래전의 핵심이 될 것으로 예상한다. 자연어 처리 기술은 이러한 AI 기술의 핵심 기술로 지휘관 및 참모들이 자연어로 작성된 보고서, 정보 및 첩보를 일일이 열어확인하는 부담을 줄이는데 획기적으로 기여할 수 있다. 본 논문에서는 지휘관 및 참모의 정보 처리 부담을 줄이고 신속한 지휘결심을 지원하기 위해 언어 모델 기반의 다출처 정보 통합 (Language model-based Multi-source Information Integration, LAMII) 프레임워크를 제안한다. 제안된 LAMII 프레임워크는 자기지도 학습법을 활용한 언어 모델에 기반한 표현학습과 오토인코더를 활용한 문서 통합의 핵심 단계로 구성되어 있다. 첫 번째 단계에서는, 자기지도 학습 기법을 활용하여 구조적으로 이질적인 두 문장간의 유사 관계를 식별할 수 있는 표현학습을 수행한다. 두 번째 단계에서는, 앞서 학습된 모델을 활용하여 다출처로부터 비슷한 내용 혹은 토픽을 함양하는 문서들을 발견하고 이들을 통합한다. 이 때, 중복되는 문장을 제거하기 위해 오토인코더를 활용하여 문장의 중복성을 측정한다. 본 논문의 우수성을 입증하기 위해, 우리는 언어모델들과 이의 성능을 평가할 때 활용되는 대표적인 벤치마크 셋들을 함께 활용하여 이질적인 문장간의 유사 관계를 예측의 비교 실험하였다. 실험 결과, 제안된 LAMII 프레임워크가 다른 언어 모델에 비하여 이질적인 문장 구조간의 유사 관계를 효과적으로 예측할 수 있음을 입증하였다.

채널상태에 적응적인 계층 부호화를 이용한 오류 은닉 방법 연구 (Channel Condition Adaptive Error Concealment using Scalability Coding)

  • 한승균;박승호;서덕영
    • 한국통신학회논문지
    • /
    • 제29권1B호
    • /
    • pp.8-17
    • /
    • 2004
  • 본 논문은 손실이 발생하기 쉬운 무선 네트워크에서 계층 부호화를 이용한 비디오 데이터의 적응적 오류 은닉기법을 제안한다. 비디오 데이터는 압축과정에서 중복성이 제거되므로, 전송 시 무선채널과 같이 손실이 발생하기 쉬운 네트워크에서는 오류에 더욱 더 민감하다. 본 논문에서 제안하는 오류 은닉방법은 두 가지이다. 첫째는 기본계층의 움직임 벡터를 이용하여 이전 VOP로 은닉하는 방법이고, 두 번째는 오류가 발생한 영역을 움직임의 유무에 따라 움직임이 있는 부분은 기본계층의 같은 위치영역 정보로 은닉하고 움직임이 없는 부분은 이전 VOP의 같은 위치 영역 정보로 은닉하는 적응적인 방법이다. 본 논문에서는 제안하는 오류 은닉 방법을 계층 부호화된 비디오 데이터에 적용했을 때 매우 유용함을 입증한다. 실험 결과에서 무선네트워크 망의 상태에 따라 달라지는 에러 패턴과 영상의 특성에 따라, 기본계층의 정보를 참조하거나 이전 VOP 정보를 참조함으로써 좀 더 나은 은닉방법임을 보였다. 본 논문에서는 계층부호화에 MPEG-4를 사용하는데, 더 나아가 DCT를 근간으로 하는 모든 비디오 코덱에 응용할 수 있다.

실시간 영상에서 반복적인 움직임에 적응한 블록정합 알고리즘 설계 (The Design of Repeated Motion on Adaptive Block Matching Algorithm in Real-Time Image)

  • 김장형;강진석
    • 한국멀티미디어학회논문지
    • /
    • 제8권3호
    • /
    • pp.345-354
    • /
    • 2005
  • 실시간 동영상에서의 프레임간의 상관관계를 이용하여 움직임 추정과 움직임 보상기법을 수행한다. 이 방법은 동영상에 존재하는 중복된 데이터를 제거하기 때문에 실시간 영상에서 중요한 역할을 하지만 실시간 응용 및 고해상도 응용에 적용하기에는 많은 계산량을 필요로 한다. 따라서 움직임 벡터를 결정하기 전에 블록 내부의 움직임을 예측한다면, 이를 바탕으로 탐색 영역에서 초기 탐색점 위치와 탐색 패턴을 결정할 수 있을 것이다. 본 논문에서는 차영상을 통해 움직임의 검출되었을 때, 이 움직임의 물체의 반복적인 영상인지, 아니면 침입자가 발생한 영상인지를 구분하였으며 움직임 검출 영역 간 픽셀 값의 분포도를 나타낸다. 제안된 알고리즘은 움직임 보상 예측된 화질 및 계산량의 감소에 있어서 높은 성능 향상을 보였다.

  • PDF

ORDBMS를 사용한 XML 질의 캐쉬의 효율적인 지연 갱신 (Efficient Deferred Incremental Refresh of XML Query Cache Using ORDBMS)

  • 황대현;강현철
    • 정보처리학회논문지D
    • /
    • 제13D권1호
    • /
    • pp.11-22
    • /
    • 2006
  • XML 문서의 생성 및 활용도가 증가함으로 인해 XML 문서를 데이터베이스에 저장하여 관리하는 기법이 활발히 연구되고 있다. 관계형 또는 객체 관계형 데이터베이스 관리 시스템(RDBMS/ORDBMS)을 XML 문서의 저장소로 사용하는 것은 현재 가장 실용적인 방법으로 받아들여지고 있다. 데이터베이스에 저장된 XML 문서에 대한 빠른 질의 처리를 위하여 XML 질의 캐쉬를 사용할 수 있다. 그러나 XML 질의 캐쉬의 사용은 하부 자료의 변경에 대한 일관성 유지비용이 든다. 본 논문에서는, ORDBMS를 XML 질의 캐쉬와 하부 XML 자료의 저장소로 사용하고 변경로그를 사용하여 XML 질의 캐쉬를 지연 갱신할 때, XML 질의 캐쉬에 대한 비효율적인 갱신의 원인인 변경로그에 저장된 동일한 XML 문서에 대한 중복 변경을 제거 또는 여과하는 알고리즘을 제시한다. 또한 이를 바탕으로 XML 질의 캐쉬의 갱신에 사용할 최적화된 SQL 문을 생성한다. 실험을 통해 본 논문에서 제안한 XML 질의 캐쉬의 지연 갱신 방법의 효율성을 보인다.

고성능 HEVC 부호기를 위한 움직임추정 하드웨어 설계 (The Design of Motion Estimation Hardware for High-Performance HEVC Encoder)

  • 박승용;전성훈;류광기
    • 한국정보통신학회논문지
    • /
    • 제21권3호
    • /
    • pp.594-600
    • /
    • 2017
  • 본 논문에서는 고성능 HEVC(High Efficiency Video Coding) 부호기를 위한 전역탐색 기반의 움직임추정 알고리즘과 이에 적합한 하드웨어 구조를 제안한다. HEVC 화면 간 예측에서의 움직임추정은 시간적 중복성을 제거하기 위하여 보간 된 참조 픽쳐에서 현재 PU와 상관도가 높은 예측 블록을 탐색하는 과정으로 전역탐색 알고리즘과 고속탐색 알고리즘을 이용한다. 전역 탐색 기법은 주어진 탐색 영역내의 모든 후보 블록에 대하여 움직임을 예측하기 때문에 최적의 결과를 보장하지만 연산량 및 연산시간이 많은 단점을 지닌다. 그러므로 본 논문에서는 Inter Prediction의 연산량 및 연산시간을 줄이기 위해 전역탐색에서 SAD연산을 재사용하여 연산복잡도를 줄이는 새로운 알고리즘을 제안하고 이에 적합한 하드웨어 구조를 제안한다. 제안된 알고리즘은 HEVC 표준 소프트웨어 HM16.12에 적용하여 검증한 결과 기존 전역탐색 알고리즘보다 연산시간은 61%, BDBitrate는 11.81% 감소하였고, BDPSNR은 약 0.5% 증가하였다. 또한 하드웨어설계 결과 최대 동작주파수는 255 Mhz, 총 게이트 수는 65.1K 이다.