• 제목/요약/키워드: named data

검색결과 1,232건 처리시간 0.026초

분산공유 메모리 시스템 상에서의 효율적인 자료분산 방법 (An Efficient Data Distribution Method on a Distributed Shared Memory Machine)

  • 민옥기
    • 한국정보처리학회논문지
    • /
    • 제3권6호
    • /
    • pp.1433-1442
    • /
    • 1996
  • 자료 분산은 SPMD(Single Program Multiple Data)형태의 병렬성을 제공하는 HPF (High Performance Fortran)의 주기능으로 구현 방법에 따라 컴파일러 성능을 좌우한 다. 본 논문에서는 SPAX(Scalable Parallel Architecture computer based on X-bar network)상에 자료 분산 기능을 제공하기 위한 설계 주안점과 효율적인 모델에 관하 여 기술하였다. SPAX는 분산공유 메모리 (DSM:distributed shared memory)를 사용한 계층적 클러스터링 구조를 가진다. 이러한 메모리 구조에서는 분산 메모리 자료 분산 (DMDD:Distributed Memory Data Distribution)이나 공유 메모리 자료 분산(SMDD: Shared Memory Data Distribution)방법으로는 시스템 가용성을 만족할 수 없다. 그래 서 계층적 마스터-슬래브 형태의 분산공유 메모리 자료분산(DSMDD:Distributed Shared Memory Data Distribution)모델을 설계하였다. 이 모델은 각 노드에 원격 마 스터와 슬래브들을 할당하고 노드내에서는 공유 메모리를 그리고 노드간에는 메세지 전달 인터페이스를 사용한다. 시뮬레이션을 수행한 결과, 시스템 성능 저하를 최소화 하는 노드 크기로 DSMDD를 수행하였을 때 SMDD나 DMDD보다 훨씬 더 효율적이였다. 특 히, 논리적 프로세서 갯수가 많을수록, 분산된 자료들 간의 자료 종속성이 적을수록 성능이 우수하였다.

  • PDF

다중 방송 채널 환경을 위한 유사 최적화 데이터 할당 기법 (A Near Optimal Data Allocation Scheme for Multiple Broadcast-Channel Environments)

  • 권혁민
    • 한국인터넷방송통신학회논문지
    • /
    • 제12권1호
    • /
    • pp.17-27
    • /
    • 2012
  • 방송 기반의 데이터 전파는 모바일 컴퓨팅 환경에서 보편적으로 받아들여지는 통신 방식이다. 그러나 많은 데이터를 방송해야 할 경우에 방송 채널의 순차성으로 인하여 원하는 데이터를 수신하기까지의 예상 지연시간이 증가한다. 이 대기시간을 줄이기 위하여 본 논문은 다중 채널에 적절하게 데이터를 할당하기 위한 주제를 연구하여 NODA(near optimal data allocation)로 명명된 새로운 데이터 할당 기법을 제안한다. 제안된 기법은 우선 각 방송 채널이 방송해야 하는 데이터들을 결정하기 위하여 평균 예상지연시간의 이론적 하한 값에 기초하여 전체 데이터들을 K개의 그룹으로 분할한다. 그리고 나서 NODA는 동일 방송 채널에 할당된 데이터들을 다른 빈도로 방송하기 위하여, 각 그룹의 데이터들을 확장된 동적 프로그래밍 알고리즘을 사용하여 B개의 그룹으로 분할한다. 제안된 기법은 동일 채널에 할당된 데이터들을 그들의 인기도를 반영하여 방송할 수 있기 때문에 평균 예상지연시간을 최소화할 수 있다.

확률적 교차 연산을 이용한 보편적 관계 추출 (General Relation Extraction Using Probabilistic Crossover)

  • 이제승;김재훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.371-380
    • /
    • 2023
  • 관계 추출은 텍스트로부터 개체(named entity) 사이의 관계를 추출하는 과정이다. 전통적으로 관계 추출 방법은 주어와 목적어가 미리 정해진 상태에서 관계만 추출한다. 그러나 종단형 관계 추출에서는 개체 쌍마다 주어와 목적어의 위치를 고려하여 가능한 모든 관계를 추출해야 하므로 이 방법은 시간과 자원을 비효율적으로 사용한다. 본 논문에서는 이러한 문제를 완화하기 위해 문장에서 주어와 목적어의 위치에 따른 방향을 설정하고, 정해진 방향에 따라 관계를 추출하는 방법을 제안한다. 제안하는 방법은 기존의 관계 추출 데이터를 활용하여 문장에서 주어가 목적어를 가리키는 방향을 나타내는 방향 표지를 새롭게 생성하고, 개체 위치 토큰과 개체 유형 정보를 문장에 추가하는 작업을 통해 사전학습 언어모델 (KLUE-RoBERTa-base, RoBERTa-base)을 이용하여 방향을 예측한다. 그리고 확률적 교차 연산을 통해 주어와 목적어 개체의 표상을 생성한다. 이후 이러한 개체의 표상을 활용하여 관계를 추출한다. 실험 결과를 통해, 제안 모델이 하나로 통합된 라벨을 예측하는 것보다 3 ~ 4%p 정도 더 우수한 성능을 보여주었다. 또한, 제안 모델을 이용해 한국어 데이터와 영어 데이터를 학습할 때, 데이터 수와 언어적 차이로 인해 한국어보다 영어에서 1.7%p 정도 더 높은 성능을 보여주었고, 최상의 성능을 내는 매개변수의 값이 다르게 나타나는 부분도 관찰할 수 있었다. 제안 모델은 방향에 따른 경우의 수를 제외함으로써 종단형 관계 추출에서 자원의 낭비를 줄일 수 있다.

다중 방송 채널 환경을 위한 질의 기반 데이터 할당 기법 (A Query-Based Data Allocation Scheme for Multiple Broadcast-Channel Environments)

  • 권혁민
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권6호
    • /
    • pp.165-175
    • /
    • 2016
  • 데이터 할당 기술은 데이터 방송 시스템의 성능을 향상시키기 위해서 필수적이다. 본 논문은 질의 프로파일과 질의 요청 확률이 주어진 환경에서 다중 데이터 질의를 처리하기 위하여 방송채널에 데이터를 할당하는 주제를 연구하여 QBDA(Query-Based Data Allocation)로 명명된 새로운 데이터 할당 기법을 제안한다. 제안된 기법은 요청율이 높은 질의에 우선권을 주어 데이터를 스케줄링하며, 데이터 충돌을 줄이기 위하여 마킹 개념을 도입한다. QBDA 기법의 성능 평가를 위해 시뮬레이션이 수행되었다. 실험 결과에 따르면, 제안된 기법은 요청 확률이 높은 질의들을 빠르게 처리할 수 있을 뿐만 아니라 질의 데이터 인접성 및 데이터 충돌 확률 측면에서 매우 바람직한 특성을 보이기 때문에 평균 응답시간의 성능에서 다른 기법보다 우수한 성능을 보인다.

마이크로어레이 실험 및 분석 데이터 처리를 위한 통합 관리 시스템의 설계와 구현 (Design and Implementation of Integrated System for Microarray Data)

  • 이미경;최정현;조환규
    • 한국미생물·생명공학회지
    • /
    • 제31권2호
    • /
    • pp.182-190
    • /
    • 2003
  • 마이크로어레이 기술이 널리 이용됨에 따라 마이크로어레이 이미지 데이터와 이미지 분석 데이터들이 급격히 늘어나고 있다. 그러나 국내에서는 그 데이터들을 효율적으로 관리하기 위한 시스템이 개발되어 공개된 경우가 없다. 그리고 마이크로어레이 실험은 한 실험실에서 분석하고 연구할 수 있는 유전자의 수가 제한되어 있으므로 서로 다른 연구실에서 실험한 연구 결과들을 공유함으로써 실험의 중복을 막을 수 있고 그 연구 결과들을 축척할 수 있다. 본 논문에서는 마이크로어레이 이미지 데이터를 처리 및 관리하기 위한 통합 시스템, WEMA(Web management of MicroArray)를 개발하였다. WEMA는 마이크로어레이 데이터 표준 규정의 제안인 MIAME(Minimal Information About a Microarray Experiment)에서 정의한 데이터 요소를 바탕으로 데이터 스키마를 설계하였으며 마이크로어레이 실험 설계에 따라 체계적으로 데이터를 관리하기 위해서 공동적인 데이터 단위를 정의하였다. WEMA의 주요 기능은 마이크로어레이 이미지 및 분석 데이터의 효율적인 관리, 데이터입출력의 통합 기능, 메타 파일 생성 등이다. 본 WEMA 시스템을 이용해서 실제로 한 식물 분자 생물학 연구실에서 만들어내는 마이크로어레이 이미지 데이터를 처리, 관리한 결과 생물학자들이 마이크로어레이 데이터를 체계적으로 관리, 분석할 수 있었으며 연구자들간의 데이터 교환 및 의사 소통이 원활히 이루어졌다.

Population-Based Cancer Registration in Indonesia

  • Wahidin, Mugi;Noviani, Rini;Hermawan, Sofia;Andriani, Vita;Ardian, Ardi;Djarir, Hernani
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제13권4호
    • /
    • pp.1709-1710
    • /
    • 2012
  • Cancer is a major public health problem in Indonesia, becoming the 7th largest cause of death based on a national survey in 2007, accounting for 5.7 of all mortality. A cancer registry was started in 1970, but it was partial and was stopped mainly because no government body was responsible. Realizing the above situation, the Indonesian government established the Sub Directorate of Cancer Control within the Ministry of Health, with responsibility for developing a national cancer control program, including a cancer registry. A sustainable cancer registry was then started in 2007 within Jakarta Province, first hospital-based but then expanded to be population-based. Steps of cancer registration in Jakarta are data collection, data verification, data validation, data management and analysis, and data publication. Data collection is conducted by health facilities (hospitals, laboratories, primary health centers) at the district/municipal level, with reports to the provincial level. Data are collected passively by holding meetings every three months in the district/municipality. Verification of data is the responsibility of the medical doctor or pathologist in each data source. Data validation is conducted by a team in the cancer registry, consisting of district/municipal/province health officers, pathologists, and registrars. Data management and analyses are conducted by a cancer registry team at the provincial level, assisted by the national team. We use software named Indonesian Cancer Registry System (SRIKANDI) which is adopted from CanReg4 IARC. Data from the population-based cancer registry in Jakarta Province showed the leading cancers among females in 2005-2007 to be breast cancer, cervical cancer, ovarian cancer, colorectal cancer and among males are bronchus and lung cancer, colorectal cancer, liver cancer, pharyngeal cancer, and prostate cancer. The leading childhood cancers are leukaemia and retinoblastoma.

Data anomaly detection for structural health monitoring of bridges using shapelet transform

  • Arul, Monica;Kareem, Ahsan
    • Smart Structures and Systems
    • /
    • 제29권1호
    • /
    • pp.93-103
    • /
    • 2022
  • With the wider availability of sensor technology through easily affordable sensor devices, several Structural Health Monitoring (SHM) systems are deployed to monitor vital civil infrastructure. The continuous monitoring provides valuable information about the health of the structure that can help provide a decision support system for retrofits and other structural modifications. However, when the sensors are exposed to harsh environmental conditions, the data measured by the SHM systems tend to be affected by multiple anomalies caused by faulty or broken sensors. Given a deluge of high-dimensional data collected continuously over time, research into using machine learning methods to detect anomalies are a topic of great interest to the SHM community. This paper contributes to this effort by proposing a relatively new time series representation named "Shapelet Transform" in combination with a Random Forest classifier to autonomously identify anomalies in SHM data. The shapelet transform is a unique time series representation based solely on the shape of the time series data. Considering the individual characteristics unique to every anomaly, the application of this transform yields a new shape-based feature representation that can be combined with any standard machine learning algorithm to detect anomalous data with no manual intervention. For the present study, the anomaly detection framework consists of three steps: identifying unique shapes from anomalous data, using these shapes to transform the SHM data into a local-shape space and training machine learning algorithms on this transformed data to identify anomalies. The efficacy of this method is demonstrated by the identification of anomalies in acceleration data from an SHM system installed on a long-span bridge in China. The results show that multiple data anomalies in SHM data can be automatically detected with high accuracy using the proposed method.

UTrustDisk: An Efficient Data Protection Scheme for Building Trusted USB Flash Disk

  • Cheng, Yong;Ma, Jun;Ren, Jiangchun;Mei, Songzhu;Wang, Zhiying
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권4호
    • /
    • pp.2276-2291
    • /
    • 2017
  • Data protection of removable storage devices is an important issue in information security. Unfortunately, most existing data protection mechanisms are aimed at protecting computer platform which is not suitable for ultra-low-power devices. To protect the flash disk appropriately and efficiently, we propose a trust based USB flash disk, named UTrustDisk. The data protection technologies in UTrustDisk include data authentication protocol, data confidentiality protection and data leakage prevention. Usually, the data integrity protection scheme is the bottleneck in the whole system and we accelerate it by WH universal hash function and speculative caching. The speculative caching will cache the potential hot chunks for reducing the memory bandwidth pollution. We adopt the symmetric encryption algorithm to protect data confidentiality. Before mounting the UTrustDisk, we will run a trusted virtual domain based lightweight virtual machine for preventing information leakage. Besides, we prove formally that UTrustDisk can prevent sensitive data from leaking out. Experimental results show that our scheme's average writing throughput is 44.8% higher than that of NH scheme, and 316% higher than that of SHA-1 scheme. And the success rate of speculative caching mechanism is up to 94.5% since the access pattern is usually sequential.

IoT 장치의 개인정보 데이터 보호 시스템 구현에 관한 연구 (A Study for Implementation of System for protecting Privacy data from IoT Things)

  • 김선욱;홍성은;방준일;김화종
    • 스마트미디어저널
    • /
    • 제10권2호
    • /
    • pp.84-91
    • /
    • 2021
  • EU의 GDPR에 따르면 개인정보를 수집할 때 정보 주체(사용자)의 동의 혹은 거절하는 권리가 가장 우선시 되고 있다. 그러므로 정보 주체는 언제라도 동의 철회 및 잊힐 권리를 주장할 수 있어야 한다. 특히, 제한적인 IoT 장치(Constrained Node)에서는 프라이버시에 민감한 데이터의 수집, 처리 등에 대해 정보 주체의 동의 기능 구현 및 수집 정보의 활용 내용을 게시하기 매우 어렵다. 본 논문에서는 정보 주체가 IoT 장치에서 수집, 처리되는 데이터를 모니터링하여, 정보 유출의 문제를 인지하고, 연결 및 장치 제어가 가능한 관리 시스템을 설계하고 구현하였다. IoT 장치의 표준 OCF(Open Connectivity Foundation)와 장치 연결 프레임워크인 AllJoyn의 공통 정보를 고려하고, 정보 보호를 위한 메타 데이터 10개를 정의하였다. 이를 DPD(Data Protection Descriptor)라고 명명하였으며, DPD를 기반으로 정보 주체가 정보를 관리할 수 있는 SW인 DPM(Data Protection Manager)를 개발하였다.

Enhanced Robust Cooperative Spectrum Sensing in Cognitive Radio

  • Zhu, Feng;Seo, Seung-Woo
    • Journal of Communications and Networks
    • /
    • 제11권2호
    • /
    • pp.122-133
    • /
    • 2009
  • As wireless spectrum resources become more scarce while some portions of frequency bands suffer from low utilization, the design of cognitive radio (CR) has recently been urged, which allows opportunistic usage of licensed bands for secondary users without interference with primary users. Spectrum sensing is fundamental for a secondary user to find a specific available spectrum hole. Cooperative spectrum sensing is more accurate and more widely used since it obtains helpful reports from nodes in different locations. However, if some nodes are compromised and report false sensing data to the fusion center on purpose, the accuracy of decisions made by the fusion center can be heavily impaired. Weighted sequential probability ratio test (WSPRT), based on a credit evaluation system to restrict damage caused by malicious nodes, was proposed to address such a spectrum sensing data falsification (SSDF) attack at the price of introducing four times more sampling numbers. In this paper, we propose two new schemes, named enhanced weighted sequential probability ratio test (EWSPRT) and enhanced weighted sequential zero/one test (EWSZOT), which are robust against SSDF attack. By incorporating a new weight module and a new test module, both schemes have much less sampling numbers than WSPRT. Simulation results show that when holding comparable error rates, the numbers of EWSPRT and EWSZOT are 40% and 75% lower than WSPRT, respectively. We also provide theoretical analysis models to support the performance improvement estimates of the new schemes.