• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.6 no.11
• /
• pp.2827-2848
• /
• 2012

Previously, we described a social media cloud computing service environment (SMCCSE). This SMCCSE supports the development of social networking services (SNSs) that include audio, image, and video formats. A social media cloud computing PaaS platform, a core component in a SMCCSE, processes large amounts of social media in a parallel and distributed manner for supporting a reliable SNS. Here, we propose a Hadoop-based multimedia system for image and video transcoding processing, necessary functions of our PaaS platform. Our system consists of two modules, including an image transcoding module and a video transcoding module. We also design and implement the system by using a MapReduce framework running on a Hadoop Distributed File System (HDFS) and the media processing libraries Xuggler and JAI. In this way, our system exponentially reduces the encoding time for transcoding large amounts of image and video files into specific formats depending on user-requested options (such as resolution, bit rate, and frame rate). In order to evaluate system performance, we measure the total image and video transcoding time for image and video data sets, respectively, under various experimental conditions. In addition, we compare the video transcoding performance of our cloud-based approach with that of the traditional frame-level parallel processing-based approach. Based on experiments performed on a 28-node cluster, the proposed Hadoop-based multimedia transcoding system delivers excellent speed and quality.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.19 no.5
• /
• pp.959-970
• /
• 1994

In this thesis, a printed score is read by using handy scanner and the recognition process is excuted in parallel, finally, on Mesh-Connected Computer. What is read is classified into certain patterns and is recognized, based on knowledge. The preprocessing steps are minimized and simple operations are used in the algorithm proposed in this thesis. The score symbols on a printed score can be recognized irrespective of their sizes but their diversity males it difficult to recognize them all, so it is programmed so as to recognize some symbols that is used necessarily and frequently. The recognized result is transformed into the MIDI standard file format. It is required to use a parallel processing system with multiprocessors because the high speed image processing is required. A digitized two-dimensional image is appropriate in processing on the SIMD Mesh-Connected Computer(MCC). Therefore, we explain this architecture and present parallel algorithm using SIMD MCC with n processors that achieves time complexity0(n).

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.9 no.8
• /
• pp.3182-3202
• /
• 2015

Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

• Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
• /
• v.37 no.6
• /
• pp.445-452
• /
• 2019

In this study, parallel processing codes of k-means clustering algorithm were developed and implemented in a PC-cluster for unsupervised classification of large satellite images. We implemented intra-node code using multicores of CPU (Central Processing Unit) based on OpenMP (Open Multi-Processing), inter-nodes code using a PC-cluster based on message passing interface, and hybrid code using both. The PC-cluster consists of one master node and eight slave nodes, and each node is equipped with eight multicores. Two operating systems, Microsoft Windows and Canonical Ubuntu, were installed in the PC-cluster in turn and tested to compare parallel processing performance. Two multispectral satellite images were tested, which are a medium-capacity LANDSAT 8 OLI (Operational Land Imager) image and a high-capacity Sentinel 2A image. To evaluate the performance of parallel processing, speedup and efficiency were measured. Overall, the speedup was over N / 2 and the efficiency was over 0.5. From the comparison of the two operating systems, the Ubuntu system showed two to three times faster performance. To confirm that the results of the sequential and parallel processing coincide with the other, the center value of each band and the number of classified pixels were compared, and result images were examined by pixel to pixel comparison. It was found that care should be taken to avoid false sharing of OpenMP in intra-node implementation. To process large satellite images in a PC-cluster, code and hardware should be designed to reduce performance degradation caused by file I / O. Also, it was found that performance can differ depending on the operating system installed in a PC-cluster.

• Electronics and Telecommunications Trends
• /
• v.26 no.5
• /
• pp.55-65
• /
• 2011

요즘 신산업으로 떠오르고 있는 개인 유전체 분석이나 차세대 시퀀싱 기술과 같은 고성능 컴퓨팅 응용들은 data-intensive한 작업들을 요구하며, 이러한 응용을 지원하기 위한 고성능 파일 시스템 기술에 대한 연구들이 다수 진행 중이다. 그러나 그 결과물들은 업체별로 보유한 고유 기술로서, 상호 호환성 등의 문제로 인해 표준화의 필요성이 제기되어 왔다. 현재 파일 시스템과 관련하여 거의 모든 IT 업체에서 사용하고 있는 실질적인 표준은 NFS(Network File System)이다. IETF(Internet Engineering Task Force)에서는 이러한 요구사항들을 반영하여 2010년에 NFSv4.1 표준을 공표하였고, 특히 I/O 성능을 향상시키기 위한 pNFS(parallel NFS)는 NFSv4.1의 핵심 기능으로서 다수업체들과 연구기관들에서 많은 관심을 받고 있다. 본 고에서는 pNFS 표준화 및 연구개발 동향과 관련된 이슈들에 대해 기술하고자 한다.

• Journal of the Korea Institute of Military Science and Technology
• /
• v.14 no.4
• /
• pp.607-614
• /
• 2011

This paper describes the development of pulse code modulation(PCM) data recorder with design, implementation and environmental test. PCM serial data that diverged from telemetry encoder output is used as the input and is reformed to parallel signal through FPGA processing. Controllers construct the packet by the sector and record it into non-volatile memory. Compact flash(CF) memory for data storage media, USB interface for data downloading, and a software for operating status diagnosis and file format conversion are used.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.657-660
• /
• 2000

병렬 파일 시스템은 늦은 디스크 I/O로 인한 성능 저하를 개선하기 위해 병렬 I/O를 제공한다. 이때 계산과 디스크 I/O를 중첩시키는 선반입 기법으로 디스크 I/O로 인한 성능 저하를 더욱 개선할 수 있다. 하지만 I/O 위주의 프로그램에서는 선반입으로 인하여 시스템에서 제공하는 I/O 대역폭을 넘어 최악의 경우 기존의 선반입 기법은 성능개선을 위한 최선이 될 수 없을 뿐 아니라 선반입 기법 자체가 과부하가 될 수 있다. 본 논문에서는 이런 상황을 고려하여 I/O 대역폭 개선을 위한 이단 선반입 기법을 제시하여 성능개선을 제공한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04a
• /
• pp.645-647
• /
• 2000

본 논문에서는 멀티미디어나 데이터베이스 등 대용량 입출력을 효율적으로 지원하기 위하여 고속 네트웍으로 연결된 클러스터링 환경에서 동작하는 클러스터 파일 시스템인 OpenCFS를 설계하고 구현하여 성능을 평가한다. 구현된 클러스터 파일 시스템은 입출력 장치의 한계를 극복하기 위하여 스트라이핑(striping)기법을 통한 병렬 입출력(parallel I/O)을 수행하고, 능동적으로 시스템 내부 정책 병경을 가능하게 하는 오픈 임플리멘테이션(Open Implementation)방법론을 적용함으로써 응용프로그램의 시스템 내부 정책에 대한 접근 방법을 제공한다. 실험을 통하여 구현된 클러스터 파일 시스템의 성능을 분석한 결과, 사용자가 기존의 프로그래밍 환경을 유지하면서 시스템 내부 정책을 변경함으로써 개선된 성능의 입출력 서비스를 제공 받을 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.45-47
• /
• 2017

하둡은 대표적인 빅데이터 처리 프레임워크로 널리 사용되고 있지만 하둡 어플리케이션은 고성능컴퓨팅 환경에서 하둡 분산파일시스템이 아닌 러스터 병렬 파일시스템 위에서도 수행될 수 있다. 그러나 이를 위해서 추가적으로 러스터 병렬파일시스템을 구축하고 관리하는 것은 시간 소모적인 업무가 될 수 있다. 본 연구는 러스터 병렬파일시스템의 오토 프로비저닝을 위한 암바리 서비스의 설계 방안에 대해서 제안한다. 암바리는 하둡 클러스터의 프로비저닝, 관리, 모니터링을 위한 운영 관리 프레임워크이며 운영자의 필요에 따라서 확장할 수 있는 서비스 프레임워크를 제공한다. 본 연구에서는 암바리를 통해서 러스터 병렬파일시스템을 오토 프로비저닝하고 관리하기 위한 확장 서비스를 설계하였으며 서비스를 위한 컴포넌트와 각 컴포넌트별 중요한 기능 사항에 대해서 논하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.145-147
• /
• 2012

최근 데이터의 급증으로 인해 병렬 분산 처리 파일시스템의 사용이 증가되었으나 물리 자원 요구와 그에 따른 관리 자원 소모로 인해 가상화 환경에서의 병렬 분산 처리 파일 시스템이 활발히 연구되고 있다. 이의 성능 분석을 위해서는 프로파일러의 역할이 중요한데 현재 사용되고 있는 프로파일러들은 시스템 및 관리 프로파일러로써 가상화 환경에 적합하지 않아 가상화 환경에 적합하며 기존 프로파일러의 단점을 보완하는 새로운 프로파일러의 필요성이 증가하고 있다. 본 논문에서는 기존 프로파일러의 장단점을 분석하고 기존 프로파일러들의 단점을 보완하는 가상화 환경에 적합한 새로운 프로파일러의 구조를 제안한다.