• Title/Summary/Keyword: 대용량의 점데이터

Search Result 130, Processing Time 0.027 seconds

A Design of Permission Management System Based on Group Key in Hadoop Distributed File System (하둡 분산 파일 시스템에서 그룹키 기반 Permission Management 시스템 설계)

  • Kim, Hyungjoo;Kang, Jungho;You, Hanna;Jun, Moonseog
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.4 no.4
    • /
    • pp.141-146
    • /
    • 2015
  • Data have been increased enormously due to the development of IT technology such as recent smart equipments, social network services and streaming services. To meet these environments the technologies that can treat mass data have received attention, and the typical one is Hadoop. Hadoop is on the basis of open source, and it has been designed to be used at general purpose computers on the basis of Linux. To initial Hadoop nearly no security was introduced, but as the number of users increased data that need security increased and there appeared new version that introduced Kerberos and Token system in 2009. But in this method there was a problem that only one secret key can be used and access permission to blocks cannot be authenticated to each user, and there were weak points that replay attack and spoofing attack were possible. Hence, to supplement these weak points and to maintain efficiency a protocol on the basis of group key, in which users are authenticated in logical group and then this is reflected to token, is proposed in this paper. The result shows that it has solved the weak points and there is no big overhead in terms of efficiency.

Effective Scene Change Detection Method for MuIUmedia Bata as Video Images using Mean Squared Error (평균오차를 이용한 멀티미디어 동영상 데이터를 위한 효율적인 장면전환 검출)

  • Jung, Chang-Ryul;Koh, Jin-Gwang;Lee, Joon
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.6 no.6
    • /
    • pp.951-957
    • /
    • 2002
  • When retrieving voluminous capacity of video image data, it is necessary to provide synopsized frame lists of video image data for indexing and replaying at the exact point where the user want to retrieve. We apply Mean Squared Error method to extract certain pixel value from diagonal direction of a frame. The RGB value of a pixel extracted from each frame is saved in a matrix form, and this frame is retrievedas a scene change point if the compared value of two points met the certain condition. Also implement the algorithm and provide a way to seize entire structure of video image and the point of scene changes. finally, we analyze and prove that our method has better performance compared with the others.

The Method of Analyzing Firewall Log Data using MapReduce based on NoSQL (NoSQL기반의 MapReduce를 이용한 방화벽 로그 분석 기법)

  • Choi, Bomin;Kong, Jong-Hwan;Hong, Sung-Sam;Han, Myung-Mook
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.23 no.4
    • /
    • pp.667-677
    • /
    • 2013
  • As the firewall is a typical network security equipment, it is usually installed at most of internal/external networks and makes many packet data in/out. So analyzing the its logs stored in it can provide important and fundamental data on the network security research. However, along with development of communications technology, the speed of internet network is improved and then the amount of log data is becoming 'Massive Data' or 'BigData'. In this trend, there are limits to analyze log data using the traditional database model RDBMS. In this paper, through our Method of Analyzing Firewall log data using MapReduce based on NoSQL, we have discovered that the introducing NoSQL data base model can more effectively analyze the massive log data than the traditional one. We have demonstrated execellent performance of the NoSQL by comparing the performance of data processing with existing RDBMS. Also the proposed method is evaluated by experiments that detect the three attack patterns and shown that it is highly effective.

An Adaptive Temporal Suppression for Reducing Network Traffic in Wireless Sensor Networks (무선 센서 네트워크에서 통신량 감소를 위한 적응적 데이터 제한 기법)

  • Min, Joonki;Kwon, Youngmi
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.49 no.10
    • /
    • pp.60-68
    • /
    • 2012
  • Current wireless sensor networks are considered to support more complex operations ranging from military to health care which require energy-efficient and timely transmission of large amounts of data. In this paper, we propose an adaptive temporal suppression algorithm which exploits a temporal correlation among sensor readings. The proposed scheme can significantly reduce the number of transmitted sensor readings by sensor node, and consequently decrease the energy consumption and delay. Instead of transmitting all sensor readings from sensor node to sink node, the proposed scheme is to selectively transmit some elements of sensor readings using the adaptive temporal suppression, and the sink node is able to reconstruct the original data without deteriorating data quality by linear interpolation. In our proposed scheme, sensing data stream at sensor node is divided into many small sensing windows and the transmission ratio in each window is decided by the window complexity. It is defined as the number of a fluctuation point which has greater absolute gradient than threshold value. We have been able to achieve up about 90% communication reduction while maintaining a minimal distortion ratio 6.5% in 3 samples among 4 ones.

Extracting Building Boundary from Aerial LiDAR Points Data Using Extended χ Algorithm (항공 라이다 데이터로부터 확장 카이 알고리즘을 이용한 건물경계선 추출)

  • Cho, Hong-Beom;Lee, Kwang-Il;Choi, Hyun-Seok;Cho, Woo-Sug;Cho, Young-Won
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.31 no.2
    • /
    • pp.111-119
    • /
    • 2013
  • It is essential and fundamental to extract boundary information of target object via massive three-dimensional point data acquired from laser scanner. Especially extracting boundary information of manmade features such as buildings is quite important because building is one of the major components consisting complex contemporary urban area, and has artificially defined shape. In this research, extended ${\chi}$-algorithm using geometry information of point data was proposed to extract boundary information of building from three-dimensional point data consisting building. The proposed algorithm begins with composing Delaunay triangulation process for given points and removes edges satisfying specific conditions process. Additionally, to make whole boundary extraction process efficient, we used Sweep-hull algorithm for constructing Delaunay triangulation. To verify the performance of the proposed extended ${\chi}$-algorithm, we compared the proposed algorithm with Encasing Polygon Generating Algorithm and ${\alpha}$-Shape Algorithm, which had been researched in the area of feature extraction. Further, the extracted boundary information from the proposed algorithm was analysed against manually digitized building boundary in order to test accuracy of the result of extracting boundary. The experimental results showed that extended ${\chi}$-algorithm proposed in this research proved to improve the speed of extracting boundary information compared to the existing algorithm with a higher accuracy for detecting boundary information.

The value and sharing of medical research data (의학연구데이터의 가치와 공유의 의미)

  • Kim, Na Won
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2017.08a
    • /
    • pp.104-104
    • /
    • 2017
  • 연구 데이터란 과학적 연구에서 사용된 일차 자료와 연구자에 의해 직접 작성된 연구의 결과로서 수치, 문자, 이미지, 음성 등의 사실적 기록을 의미한다. 이 연구의 주제 분야인 의학은 잠재적 가치와 활용 가능성이 높고 공익적 성격을 가지고 있는 학문 분야로 의학 연구 데이터의 종류와 관리의 필요성을 통해서 그 가치와 공유 의미를 찾아보고자 한다. 또한 연구 데이터의 대표적인 임상 시험 기록과 연구 논문의 발표와 공유 현황에 대해서도 살펴보고 그 안에서 도서관의 역할이 어떤 것인가를 짚어보고자 한다. 의학 연구 데이터는 환자 진료기록, 건강 검진 기록, 임상 기록, 사망 기록, 임상 시험 기록, 유전체 정보, 연구 논문 등 그 종류와 형태가 다양하며 대용량인 경우가 많다. 의학 연구는 개인 정보보호와 윤리적인 문제 등 연구 수행 과정에서 어려운 점이 많은 성격을 가지고 있으나 질병 치료나 예방 나아가 인류의 건강과 직접적으로 관련된 학문 분야로 의학 연구 데이터의 보존과 공개, 공유를 위한 관리는 큰 의미가 있다. 의학 연구 데이터관리는 새로운 연구의 밑받침이 될 뿐만 아니라 중 저개발 국가의 연구자들에게도 큰 기회를 부여하여 세계적인 의학 발전에 기여할 수 있다. 또한 임상 시험 결과에 대한 은폐와 거짓 연구 방지에도 의미가 있어 미국뿐만 아니라 전세계적으로 학술 연구 논문 발표에 사용된 데이터는 등록하도록 규정하고 있다. 임상 시험 등록으로 공인된 사이트는 NIH의 ClinicalTrials.gov, ICTRP의 Primary Registry 등이 있으며, 우리나라에도 질병관리본부 국립보건연구원에서 관리하는 CRIS 등이 있다. 의학 연구자들은 연구의 시작부터 연구 데이터를 수집, 사용, 보존, 공유의 문제를 고려해야 하나 시간적 물리적인 문제 등으로 어려움을 겪고 있으며, 이를 지원하는 서비스는 도서관에서도 관심이 높아지고 있는 분야로 Virginia Commonwealth 대학 도서관과 Emory 대학 도서관 등에서 시도되고 있다. 이 서비스는 연구 과정에서 사서의 지원이 가능한 새로운 기회로 연구자의 데이터관리를 위한 단계별 스토리를 조직하고 DMP 작성 지원 및 교육 등을 통해서 학술 커뮤니케이션에서 새로운 역할자로 자리잡을 수 있을 것이다.

  • PDF

다양한 콘텐츠 비즈니스에서의 UCI 적용 사례 분석

  • Im, Gyu-Geon;Yu, Cheol-Sin;Kang, Sang-Uk;Park, Seung-Beom
    • 한국경영정보학회:학술대회논문집
    • /
    • 2008.06a
    • /
    • pp.1055-1065
    • /
    • 2008
  • 인터넷의 발전과 보급으로 대용량 데이터전송이 가능해짐에 따라 디지털 콘텐츠 이용이 급격히 확산되고 있다. 이에 따라 디지털 콘텐츠관련 유통시장의 규모도 지속적으로 성장하고 있는 추세이며 우리나라를 비롯하여 선진국가들은 디지털 콘텐츠산업에 대해 관심을 가지고 선점을 위한 노력을 기울이고 있다. 이중 유통되는 수많은 디지털 콘텐츠를 식별하는 메터데이터 표준의 설정은 중요한 이슈중 하나이다. 한국정보사회진흥원(NIA)은 국내 디지털 콘텐츠산업 발전을 위한 유통인프라로써 UCI(Universal & Ubiquitous Content Identifier) 표준식별체계를 개발하여 보급하고 있으며 2008년 현재 SBSi를 비롯한 9개 공공 및 민간기관들이 UCI를 적용하여 디지털 콘텐츠를 서비스하고 있다. 본 연구는 UCI를 적용한 9개 기관의 적용사례에 대해서 도입배경과 필요성, 의사 결정과정 및 기대효과 등 다양한 관점에서 분석을 실시하였다. 이를 통해서 디지털 콘텐츠 관련 기업의 식별체계 도입 및 활용과 관련한 의사결정 및 디지털 콘텐츠 정책 추진에 주요 시사점을 제공하고자 한다.

  • PDF

Apply Leveling and Tiling to OpenSlide pathology image to retrieve similar cell image (OpenSlide 병리학 이미지에 Leveling과 Tiling 기법을 적용한 유사 세포 이미지 탐색)

  • Lee, Jae Gu;Ko, Youngwoong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.663-664
    • /
    • 2016
  • 다양한 분야에서 특정 이미지와 유사한 내용의 이미지를 찾기 위해서 이미지 유사도 기법을 지원하는 웹 또는 프로그램이 많이 사용되고 있다. 본 논문에서는 이미지 유사도 기법을 병리학 이미지에 적용하여 특정 세포를 찾는데 사용함으로써 사용자에게 정확하고 신뢰성 있는 정보를 전달하려 한다. 실제로 병리학에서 특정 세포를 찾기에는 세포의 크기가 너무 작고 모양이 일정하지 않는다는 점 때문에 유사한 세포를 찾기가 힘들다. 이를 해결하기 위해 Leveling과 Tiling 방식을 적용하여 데이터를 추출하고 이미지 동기화를 통해 유사도 비교 시 정확도를 높이도록 한다. 다양한 병리학 이미지 포맷을 지원하는 OpenSlide 기반의 대용량 이미지에 제안하는 방식을 적용하여 특정 세포와 유사한 부분을 찾아내는 실험을 통하여 제안하는 방식이 효율적임을 보인다.

Visualizing Unstructured Data using a Big Data Analytical Tool R Language (빅데이터 분석 도구 R 언어를 이용한 비정형 데이터 시각화)

  • Nam, Soo-Tai;Chen, Jinhui;Shin, Seong-Yoon;Jin, Chan-Yong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.05a
    • /
    • pp.151-154
    • /
    • 2021
  • Big data analysis is the process of discovering meaningful new correlations, patterns, and trends in large volumes of data stored in data stores and creating new value. Thus, most big data analysis technology methods include data mining, machine learning, natural language processing, and pattern recognition used in existing statistical computer science. Also, using the R language, a big data tool, we can express analysis results through various visualization functions using pre-processing text data. The data used in this study was analyzed for 21 papers in the March 2021 among the journals of the Korea Institute of Information and Communication Engineering. In the final analysis results, the most frequently mentioned keyword was "Data", which ranked first 305 times. Therefore, based on the results of the analysis, the limitations of the study and theoretical implications are suggested.

  • PDF

Visualizing Article Material using a Big Data Analytical Tool R Language (빅데이터 분석 도구 R 언어를 이용한 논문 데이터 시각화)

  • Nam, Soo-Tai;Shin, Seong-Yoon;Jin, Chan-Yong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.05a
    • /
    • pp.326-327
    • /
    • 2021
  • Newly, big data utilization has been widely interested in a wide variety of industrial fields. Big data analysis is the process of discovering meaningful new correlations, patterns, and trends in large volumes of data stored in data stores and creating new value. Thus, most big data analysis technology methods include data mining, machine learning, natural language processing, and pattern recognition used in existing statistical computer science. Also, using the R language, a big data tool, we can express analysis results through various visualization functions using pre-processing text data. The data used in this study were analyzed for 29 papers in a specific journal. In the final analysis results, the most frequently mentioned keyword was "Research", which ranked first 743 times. Therefore, based on the results of the analysis, the limitations of the study and theoretical implications are suggested.

  • PDF