• 제목/요약/키워드: redundant data

검색결과 442건 처리시간 0.028초

AFTL: Hot Data 검출기를 이용한 적응형 플래시 전환 계층 (AFTL: An Efficient Adaptive Flash Translation Layer using Hot Data Identifier for NAND Flash Memory)

  • 윤현식;주영도;이동호
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제35권1호
    • /
    • pp.18-29
    • /
    • 2008
  • 최근 NAND 플래시 메모리는 빠른 접근속도, 저 전력 소모, 높은 내구성, 작은 부피, 가벼운 무게 등으로 차세대 대용량 저장 매체로 각광 받고 있다. 그러나 이런 플래시 메모리는 데이타를 기록하기 전에 기존의 데이타 영역이 지워져 있어야 한다는 제약이 있으며, 비대칭적인 읽기, 쓰기, 삭제 연산의 처리속도 각 블록당 최대 소거 횟수 제한과 같은 특징들을 지닌다. 위와 같은 단점을 극복하고 NAND플래시 메모리를 효율적으로 사용하기 위하여. 다양한 플래시 전환 계층 제안되어 왔다. 기러나 기존의 플래시 전환 계층들은 Hot data라 불리는 빈번히 접근되는 데이타에 의해서 잦은 겹쳐쓰기 요구가 발생되며, 이는 급격한 성능 저하를 가져 온다. 본 논문에서는 Hot data 검출기를 이용하여, 매우 적은 양의 데이타인 Hot data를 검출한 후, 검출된 Hot data는 섹터사상 기법을 적용시키고, 나머지 데이타인 Cold data는 로그 기반 블록 사상 기법을 적용시키는 적응형 플래시 전환 계층(AFTL)을 제안한다. AFTL은 불필요한 삭제, 쓰기, 읽기 연산을 최소화시켰으며, 기존의 플래시 전환 계층과의 비교 측정을 통하여 성능의 우수성을 보인다.

무선 센서 네트워크에서 이벤트 기반의 에너지 효율적 데이터 취합 및 전송 (Energy-Efficient Data Aggregation and Dissemination based on Events in Wireless Sensor Networks)

  • 남춘성;장경수;신동렬
    • 한국인터넷방송통신학회논문지
    • /
    • 제11권1호
    • /
    • pp.35-40
    • /
    • 2011
  • 본 논문은 센서 네트워크의 각 이벤트 영역에서의 데이터 취합 및 전달을 위한 방법들을 비교 평가한다. 이를 위해 이벤트 영역내의 두 가지 전송 방법인 직접적인 전송 방식과 취합 노드를 통한 전송 방식을 비교한다. 직접적인 전송 방식은 모든 노드가 자신이 측정한 데이터를 전송하기 때문에 데이터의 중복성과 네트워크의 트래픽을 증가시키는 단점을 가진다. 반면에 취합 노드를 통한 전송 방식은 이벤트 영역 내에서 노드들의 데이터를 취합함으로써 데이터의 중복을 방지하고 데이터를 간소화 할 수 있다. 취합 노드의 선정 방식은 노드의 위치에 기반 한다. 즉, 취합 노드가 이벤트 영역의 중앙에 위치한 노드 혹은 싱크 노드와 가장 가까운 노드를 선정하는 것이다. 위 두 가지 방법을 바탕으로 취합 노드 선정 방식들을 모델링 하여 이벤트 영역의 증가에 따른 각 방법의 에너지 소비를 측정한다. 이를 위해, 이벤트 노드와 취합 노드의 거리와 취합 노드와 싱크 노드의 거리를 구하고, 이를 수식으로 간략히 정리한다. 또한, 기존의 에너지 수식을 적용하여 거리 수식과 같이 적용하여 에너지 소비 모델을 만든다. 이를 통해 취합 노드 방식들의 에너지 소비를 비교 평가하여 센서 네트워크에 에너지 효율적인 방식을 찾아낸다.

구조적 공백과 협업필터링을 이용한 추천시스템 (Recommender Systems using Structural Hole and Collaborative Filtering)

  • 김민건;김경재
    • 지능정보연구
    • /
    • 제20권4호
    • /
    • pp.107-120
    • /
    • 2014
  • 본 연구에서는 사회연결망분석기법 중 하나인 구조적 공백 분석 결과를 이용하여 추천과정에 사용자의 정성적이고 감성적인 정보를 반영할 수 있는 협업필터링 기반의 추천시스템을 제안한다. 협업필터링은 추천기술 중 가장 많이 활용되고 있지만 전통적으로 확장성과 희박성 등의 문제점뿐 만 아니라 사용자-상품 매트릭스의 선호도만을 이용하여 추천을 함으로써 사용자의 정성적이고 감성적인 정보를 추천과정에 반영하지 못한다는 한계점이 있다. 본 연구에서 제안하는 추천시스템은 사회연결망분석에서 중심성 분석과 함께 연결망 내의 주요개체를 탐지할 수 있는 구조적 공백 분석을 이용하여 연결망 내의 대표 사용자들을 추출한 후 이들을 중심으로 군집을 형성한 후 각 군집색인 협업필터링을 수행하는 과정을 통해 전통적인 협업필터링에서 반영하지 못했던 정성적, 감성적 정보를 반영한다. 한편, 군집색인 협업필터링을 수행함으로써 추천의 효율성을 높일 수 있는 장점도 있다. 본 연구에서는 실제 사용자들의 상품에 대한 선호도 평가점수와 사용자들의 사회연결망 정보를 수집하여 실험을 수행하고 전통적인 협업필터링과 다양한 형태의 협업필터링과의 추천성과 비교를 통하여 제안하는 시스템의 유용성을 확인한다. 비교모형으로는 전통적인 협업필터링, 임의 군집색인 기반 협업필터링, k평균 군집색인 기반 협업필터링을 이용한 추천시스템이며, 실험 결과, 제안한 모형이 다른 비교모형에 비해 추천성과의 정확도가 가장 우수하였다. 추천성과의 차이에 대한 통계적 유의성 검정 결과, 제안 모형은 전통적인 협업필터링 기반의 추천시스템과는 통계적으로 유의한 성과 차이가 없었으나, 다른 두 모형에 대해서는 통계적으로 유의한 성과의 차이가 있는 것으로 나타났다.

200-MHz@2.5-V 0.25-$\mu\textrm{m}$ CMOS 파이프라인 적응 결정귀환 등화기 (A 200-MHz@2.5V 0.25-$\mu\textrm{m}$ CMOS Pipelined Adaptive Decision-Feedback Equalizer)

  • 안병규;이종남;신경욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2000년도 춘계종합학술대회
    • /
    • pp.465-469
    • /
    • 2000
  • 광대역 무선 디지털 통신 시스템용 파이프라인 적응 결정귀환 등화기 (pipelined adaptive decision- feedback equalizer; PADFE)를 0.25-$\mu\textrm{m}$ CMOS 공정을 사용하여 full custom 단일 칩으로 설계하였다. ADFE의 동작속도를 향상시키기 위해 DLMS (delayed least-mean-square)을 적용한 2-stage 파이프라인 구조로 설계하였다. PADFE의 필터와 계수갱신 블록 등 모든 연산을 redundant binary (RB) 수치계로 처리하였으며, 2의 보수 수치계를 사용하는 기존의 방식에 비해 연산량의 감소와 동작속도의 향상이 얻어졌으며, 또한 전체적인 구조의 단순화에 의해 VLSI 구현이 용이하다는 장점을 갖는다. COSSAP을 이용한 알고리듬 레벨 시뮬레이션을 통해 파이프라인 stage 수, 필터 tap 수, 계수 및 내부 비트 수 등의 설계 파라메터 결정과 bit error rate (BER), 수렴속도 등을 분석하였다. 설계된 PADFE는 약 205,000개의 트랜지스터로 구성되며, 코어의 면적은 1.96$\times$1.35-mm$^{2}$이다. 시뮬레이션 결과, 2.5-V 전원전압에서 200-MHz의 클록 주파수로 안전하게 동작할 수 있을 것으로 예상되며, 평균 전력소모는 약 890-mW이다.

  • PDF

R&D 과제의 유사도 및 중복도 측정 시스템에 관한 연구 (A System for Measuring the Similarity and Redundancy of R&D Project)

  • 최국현;강용석;김종희;신용태;김종배
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.329-331
    • /
    • 2014
  • R&D 과제간의 유사성과 중복성을 분석하는 것은 정부 예산의 효율적 투자를 위해 중요하다. 정부 R&D 과제의 기획 시, 예산의 중복 지원을 방지하기 위해 연구 관리 전담기관, 관련 부처 및 정부차원에서 연구 과제의 중복성을 검토하고 있다. 그러나, 기존의 유사도 분석은 신규 과제 제안서와 기존의 R&D 과제 제안서를 키워드 중심으로 비교, 검색하는 방식에 의존하고 있어, 과제명의 일부 수정, 기술상의 단순 대치 등의 경우, 유사도를 정확히 측정하지 못하는 취약점이 존재한다. 본 연구에서는, R&D 과제 문서의 경우에, 이 문서들을 구별할 수 있는 특징으로써 특허 정보를 활용하고자 한다. 특허 정보는 정부 R&D 특허동향조사사업(http://ipas.rndip.re.kr)을 통해 공표된 자료를 기반으로 한다. 본 연구에서는 신규과제가 입력되었을 때, 특허 정보를 이용하여 R&D 과제간의 유사성 및 중복성을 분석할 수 있는 방안을 제시하고자 한다. 이를 위해, 집합 이론 및 확률 이론을 기반으로 한 유사도 측정 모델을 제시한다. 또한 제시한 측정 모델을 실제 시스템으로 구현하여 중복문서를 식별하고 이들의 유사도를 계산하여 보여준다.

  • PDF

무선 센서 네트워크에서 효율적인 집계 질의 처리 (Efficient Processing of Aggregate Queries in Wireless Sensor Networks)

  • 김정준;신인수;이기영;한기준
    • Spatial Information Research
    • /
    • 제19권3호
    • /
    • pp.95-106
    • /
    • 2011
  • 최근 무선 센서 네트워크에서 센서로부터 원하는 데이타를 가져오는 네트워크 내 집계 질의처리 기법에 대한 연구가 활발히 진행되고 있다. 기존의 대표적인 네트워크 내 집계 질의 처리 기법들은 집계 질의 처리를 위해 라우팅 알고리즘과 데이타 구조를 제안하고 있다. 그러나 이러한 기법들은 센서 노드들의 에너지 소모가 크고, 질의 처리 결과 정확도가 떨어지고, 또한 질의 처리 시간이 오래 걸리는 문제점들을 가지고 있다. 본 논문에서는 이러한 기존 집계 질의 처리 기법들의 문제점을 해결하고 무선 센서 네트워크에서 보다 효율적인 집계 질의 처리를 위해 BPA(Bucket-based Parallel Aggregation)를 제시하였다. BPA는 질의 영역을 센서 노드 분포에 따라 쿼드 트리로 구성하여 집계 질의를 병렬로 처리하고, 각 센서 노드로 하여금 데이타를 이중 전송하게 함으로써 전송 오류로 인한 데이타 손실을 줄인다. 또한, BPA는 집계 질의 처리시 버켓 기반의 데이타 구조를 이용하고 이러한 버켓 데이타 구조를 버켓내 데이타 개수에 따라 적응적으로 분할 및 합병한다. 특히 버켓내 데이타 크기를 줄이기 위해 데이타를 압축하고 데이타 전송 횟수를 줄이기 위해 필터링을 수행한다. 마지막으로 센서 데이타를 이용한 다양한 실험을 통해 본 논문에서 제안하는 BPA의 우수성을 입증하였다.

쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현 (Design and Implementation of Multiple Filter Distributed Deduplication System Applying Cuckoo Filter Similarity)

  • 김영아;김계희;김현주;김창근
    • 융합정보논문지
    • /
    • 제10권10호
    • /
    • pp.1-8
    • /
    • 2020
  • 최근 몇 년 동안 기업이 수행하는 비즈니스 활동에서 생성된 데이터를 기반으로 하는 기술이 비즈니스 성공의 열쇠로 부상함에 따라 대체 데이터에 대한 저장, 관리 및 검색 기술에 대한 필요성이 대두되었다. 기존 빅 데이터 플랫폼 시스템은 대체 데이터인 비정형 데이터를 처리하기 위해 실시간으로 생성된 대량의 데이터를 지체 없이 로드하고 중복 데이터 발생 시 서로 다른 스토리지의 중복 제거 시스템을 활용하여 스토리지 공간을 효율적으로 관리해야 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 쿠쿠 해싱 필터 기법의 유사도를 이용한 다중 계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 가상 머신 간의 유사성을 쿠쿠 해시로 적용함으로써 개별 스토리지 노드는 중복 제거 효율성으로 성능을 향상시키고 다중 레이어 쿠쿠 필터를 적용하여 처리 시간을 줄일 수 있다. 실험 결과 제안한 방법은 기존 블룸 필터를 이용한 중복 제거 기법에 의해 8.9%의 처리 시간 단축과 중복 제거율이 10.3% 높아짐을 확인하였다.

분산 데이터의 통합시 데이터의 품질향상 방안: 국가과학기술종합정보시스템 (A Data Quality Improvement Method in Integrations of Distributed Data: National Science & Technology Information Services)

  • 손강렬
    • 한국정보통신학회논문지
    • /
    • 제13권8호
    • /
    • pp.1623-1636
    • /
    • 2009
  • 현재 국내의 정부 R&D 사업은 300여개에 이르고 있고, 이를 사업의 특성별로 16개 국가R&D 관련 부처 청의 15개 대표연구관리 전문기관에서 각각 관리하고 있다. 이로 인하여 발생하는 국가 R&D에 대한 중복 투자와 체계적인 R&D연구과제 및 성과관리의 미흡으로 R&D 투자의 효율성에 대한 문제가 계속해서 제기되고 있다. 그러한 가운데 이러한 문제를 해결하기 위하여 교육과학기술부는 국가연구개발의 기획에서 성과활용에 이르기까지 연구개발의 효율화를 지원할 수 있는 국가 R&D 포털시스템으로써 국가과학기술종합정보시스템(NTS)을 구축하고 있다. NTIS와 같이 분산된 데이터의 통합시 동일한 의미의 데이터들이 각 조직에서 달리 명명되고 다른 데이터 유형으로 되어 있기에 통합된 데이터의 정확성과 높은 수준의 품질을 달성하는 것이 어려운 문제이다. 본 논문에서는 NTIS 시스템의 인력/과제/성과 정보의 통합DB 구축 및 연계방식과 이를 통해 수집된 데이터의 품질관리를 위한 데이터정제 프로세스를 고찰해 본다. 그 과정에서 발생할 수 있는 데이터 품질문제의 요인을 분석하여 NTIS의 데이터 품질향상을 위한 개선방안을 제시한다.

Development of System-Wide Functional Analysis Platform for Pathogenicity Genes in Magnaporthe oryzae

  • Park, Sook-Young;Choi, Jaehyuk;Choi, Jaeyoung;Kim, Seongbeom;Jeon, Jongbum;Kwon, Seomun;Lee, Dayoung;Huh, Aram;Shin, Miho;Jung, Kyungyoung;Jeon, Junhyun;Kang, Chang Hyun;Kang, Seogchan;Lee, Yong-Hwan
    • 한국균학회소식:학술대회논문집
    • /
    • 한국균학회 2014년도 추계학술대회 및 정기총회
    • /
    • pp.9-9
    • /
    • 2014
  • Null mutants generated by targeted gene replacement are frequently used to reveal function of the genes in fungi. However, targeted gene deletions may be difficult to obtain or it may not be applicable, such as in the case of redundant or lethal genes. Constitutive expression system could be an alternative to avoid these difficulties and to provide new platform in fungal functional genomics research. Here we developed a novel platform for functional analysis genes in Magnaporthe oryzae by constitutive expression under a strong promoter. Employing a binary vector (pGOF1), carrying $EF1{\beta}$ promoter, we generated a total of 4,432 transformants by Agrobacterium tumefaciens-mediated transformation. We have analyzed a subset of 54 transformants that have the vector inserted in the promoter region of individual genes, at distances ranging from 44 to 1,479 bp. These transformants showed increased transcript levels of the genes that are found immediately adjacent to the vector, compared to those of wild type. Ten transformants showed higher levels of expression relative to the wild type not only in mycelial stage but also during infection-related development. Two transformants that T-DNA was inserted in the promotor regions of putative lethal genes, MoRPT4 and MoDBP5, showed decreased conidiation and pathogenicity, respectively. We also characterized two transformants that T-DNA was inserted in functionally redundant genes encoding alpha-glucosidase and alpha-mannosidase. These transformants also showed decreased mycelial growth and pathogenicity, implying successful application of this platform in functional analysis of the genes. Our data also demonstrated that comparative phenotypic analysis under over-expression and suppression of gene expression could prove a highly efficient system for functional analysis of the genes. Our over-expressed transformants library would be a valuable resource for functional characterization of the redundant or lethal genes in M. oryzae and this system may be applicable in other fungi.

  • PDF

Accurate and efficient GPU ray-casting algorithm for volume rendering of unstructured grid data

  • Gu, Gibeom;Kim, Duksu
    • ETRI Journal
    • /
    • 제42권4호
    • /
    • pp.608-618
    • /
    • 2020
  • We present a novel GPU-based ray-casting algorithm for volume rendering of unstructured grid data. Our volume rendering system uses a ray-casting method that guarantees accurate rendering results. We also employ the per-pixel intersection list concept in the Bunyk algorithm to guarantee an accurate result for non-convex meshes. For efficient memory access for the lists on the GPU, we represent the intersection lists for all faces as an array with our novel construction algorithm. With the intersection lists, we perform ray-casting on a GPU, and a GPU thread handles each ray. To increase ray-coherency in a thread block and improve memory access efficiency, we extend a prior image-tile-based work distribution method to fit modern GPU architectures. We also show that a prior approach using a per-thread local buffer to reduce redundant computation is not appropriate for modern GPU architectures. Instead, we take an on-demand calculation strategy that achieves better performance even though it allows duplicate computations. We applied our method to three unstructured grid datasets with different characteristics. With a GPU, our method achieved up to 36.5 times higher performance for the ray-casting process and 19.7 times higher performance for the whole volume rendering process compared with the Bunyk algorithm using a CPU core. Also, our approach showed up to 8.2 times higher performance than a GPU-based cell projection method while generating more accurate rendering results. These results demonstrate the efficiency and accuracy of our method.