• Title/Summary/Keyword: 파티션

Search Result 118, Processing Time 0.026 seconds

Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark (아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화)

  • Myung, Rohyoung;Ahn, Beomjin;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

A study on Realization of System in Wireless Location Awareness Technology Using Ubiquitous Active RF-ID (유비쿼터스 Active RF-ID를 이용한 무선 위치 인식 기반 구현에 관한 연구)

  • Jung Chang-Duk;Choi Yeon-Suk
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2006.06a
    • /
    • pp.107-115
    • /
    • 2006
  • 본 논문은 유비쿼터스 환경하에서 수신된 RF 신호의 수신 강도를 이용하여 위치를 추정하고 이를 기반으로 각종 서비스를 제공하는 시스템이다. 이는 크게 무선 송신 단말기, 정보처리 기지국 위치인식 서버 및 시스템 호스트의 네 부분으로 구성되었으며, 30층 규모의 건물에 5000여 개의 단말기가 운영 중에 있다. 실내에서의 이동 객체 위치를 추정하기 위하여 자체 개발, 제작된 송/수신기의 RF 감쇠 특성을 살펴보고, 이를 이용하여 책상, 파티션 등 사무 기기로 이루어진 사무실에서의 위치추정 방법을 소개한다. 실내 환경의 변화와 주변 시설물 등의 영향으로 RF 신호는 감쇠, 흡수, 반사, 회절 등 많은 영향을 받으며, 특히 복층의 경우 층간 효과도 존재한다. 이러 한 실내 상황에서 위치추정 결과를 제시하며, BAS등 회부 시스템과의 연계를 통한 지능적인 서비스를 제공한다. 제고하는 서비스에는 사용자 위치에 근거한 자동 조명/공조 연동 및 주차장 Gate 연동 서비스 등 기본적인 공공 서비스부터 개인별 시강/wellness 이용 현황 등을 자동 체크하여 이에 근거한 요금 부과 및 Schedule 관리 등을 할 수 있게 하는 개인 서비스가 있다. 또한 본 시스템을 실제로 설치, 운영하고 있는 적용 사이트에 관한 사례를 통해 앞으로의 개선 방향 및 서비스 효율성 등에 관해 논의한다.

  • PDF

Desion of SANtopia Backup system and implemented using of SCSI Command (SCSI 명령어를 이용한 SANtopia 백업시스템 설계 및 구현)

  • Oh, Sang-Gi;Choi, Kyong-Ung;Kim, Goung-Gi;Shin, Bum-Ju;Kim, Chang-Su;Park, Soon-Cheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.04a
    • /
    • pp.653-656
    • /
    • 2002
  • 본 연구는 데이터웨어하우징/의사결정시스템, 그리고 업무 처리 자동화 소류션등 새로운 애플리케이션 개발로 이하여 발생하는 엄청난 양의 데이터를 효율적으로 관리하기 위한 백업 서장 시스템을 SAN 환경을 지원하는 SANtopia 파일시스템에서 동작하도록 설계 구현하였다. 지금까지 데이터 저장시스템은 하나의 서버에 접속되어 있어서 네트워크 상의 다른 컴퓨터가 직접 활용하는 것을 허용하지 않기 때문에 기존의 네트웍을 기반으로 하는 파일서버 형태로는 이러한 대용량의 자료를 저장하고 관리하는데 한계가 있다. 이러한 문제를 해결할 수 있는 방법으로 Fibre Channel과 LAN 네트워크 모델을 결합하여 대역폭(Bandwidth)의 병목 현상을 크게 완화할 수 있는 SCSI 명령어를 이용하여 SANtopia 파일 시스템에서 파티션별 Full backup과 Restore 할 수 있는 시스템을 리눅스 기반에서 구현하였다.

  • PDF

An efficient storing method of multiple streams based on fixed blocks in disk parititions (디스크 파티션내 고정 블록에 기반한 다중 스트림의 효율적 저장 방식)

  • 최성욱;박승규;최덕규
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.22 no.9
    • /
    • pp.2080-2089
    • /
    • 1997
  • Recent evolution in compute technology makesthe multimedia processing widely availiable. Conventional storage systems do not meet the requirements of multimedia data. Several approaches were suggested to improve disk storing methods for them. Bocheck proposed a disk partitioning technique for multiple steams assuming that all steams have same retrieval intervals with the same amount data for each access. While Bocheck's one provides a good method for same period, it does not consider the case of different periods of continous media streams. This paper proposes a new partitioning technique in which a fixed number of blocks are assigned for stresms with different retrieval periodicity. The analysis shows this problem is the same as the one scheduling the steams into a given sequence. The simulation was done to compare the proposed m-sequence merge method with the conventional Scan-EDF and Partitioning methods.

  • PDF

Support for ARINC 653 Processes over Linux-based Unmanned Aerial Vehicles (리눅스 기반의 무인항공기를 위한 ARINC 653 프로세스 지원)

  • Han, Sang-Hyun;Lee, Sang-Hun;Jin, Hyun-Wook
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.16 no.11
    • /
    • pp.1056-1060
    • /
    • 2010
  • The software running on avionic systems is required to be highly reliable and productive. Due to these demands, the standard such as ARINC 653 has been suggested, which includes the abstraction of resource partitioning and defines interfaces between avionic operating system and applications. Though there are many manned aerial vehicles employing ARINC 653 based operating systems, Linux-based ARINC 653 for unmanned aerial vehicles has not been studied yet. In this paper, we propose the design of Linux-based ARINC 653 process model and present preliminary implementation. The experiment results present that the implementation is enough to support control software of unmanned helicopter.

Efficient Batch Rekeying Algorithm for Contributory Multicasting Environment (Contributory 멀티 캐스트에서 그룹키 재분배를 위한 효율적인 일괄처리 알고리즘)

  • 서혜영;김상진;오희국
    • Proceedings of the Korea Institutes of Information Security and Cryptology Conference
    • /
    • 2003.12a
    • /
    • pp.504-510
    • /
    • 2003
  • 안전한 멀티캐스트란 동적으로 그룹 멤버가 변하는 환경에서는 현재의 그룹 멤버만 데이터를 얻을 수 있도록 멀티캐스트하는 방법을 말한다. 이를 위해 그룹 멤버간에 그룹키를 공유하며, 이 키로 암호화하여 데이터를 멀티캐스트한다. 전방향 안전성(forward secrecy)과 후방향 안전성(backward secrecy)을 제공하기 위해 멤버가 가입하고 탈퇴할 때마다 공유키를 변경해야 한다. 이 때 확장성을 위해 그룹키의 변경이 그룹 전체에 미치는 영향은 최소화되어야 한다. 지금까지의 연구는 확장성 문제를 해결하기 위해 플랫한 그룹키 공유 구조에서 계층 구조로 변화해 왔으며, 그룹의 파티션을 용이하게 하고 중앙집중 방식의 문제를 극복하기 위해 중앙 키 서버를 사용하지 않고 그룹 멤버가 생성한 값을 계산을 통하여 그룹키를 생성하는 프로토콜로 변화해 오고 있다. 하지만 지금까지 제안된 안전한 멀티캐스트 방식은 멤버의 가입은 확장성을 갖추고 있지만 멤버의 탈퇴는 그렇지 못하며, 성능 측면에서 많은 개선이 있었지만 실제 응용에 사용되기에는 아직도 연산 측면에서 적절하지 못하다. 이 때문에 이 논문에서는 실제 응용에서 안전한 멀티캐스트를 효율적으로 사용할 수 있도록 그룹키 분배를 위한 중앙 서버를 사용하지 않는 환경에서 가입과 탈퇴가 일어날 때마다 개별적으로 처리하지 않고 일괄 처리하는 여러 알고리즘을 제안하고 그 성능을 분석한다.

  • PDF

The Study on the Development of Historical Data Management System for Realtime EMS Data Storage & Retrieval (실시간 EMS데이터의 효율적인 저장 및 관리를 위한 이력데이터 관리 시스템 설계 및 구현)

  • Jang, Bok-Sun;Kim, Myoung-Ui;Kim, Wan-Hong;Yoon, Yeo-Jun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10b
    • /
    • pp.388-392
    • /
    • 2007
  • 계속적으로 변화하는 방대한 양의 EMS 데이터를 실시간 취득하여, 사용자가 원하는 데이터만 추출해서 원하는 포맷으로 저장하여 추후 활용할 수 있는 HDMS 시스템에 대하여 소개한다. HDMS 시스템은 K-EMS 과제의 일부분으로 개발되었다. 공유메모리를 사용하여 데이터를 처리하는 실시간 DBMS로부터 추출된 대용량 데이터를 고속으로 디스크 DBMS로 입력하고, 데이터 손실에 대한 Risk를 감소시키기 위하여 동적인 파티션 추가삭제를 통하여 자동으로 분산저장하며, 자동 백업 기능을 제공하여 사용자의 편의성을 증진한다. 데이터를 장기간 보관하고, 보관된 데이터에 대한 데이터 검색 기능을 제공하기 위하여 백업과 관련된 메타데이터를 관리한다. 관리된 메타데이터를 이용하여 사용자의 요구에 의해 백업파일을 시스템에 자동으로 복구하여 온라인 보관주기가 경과한 데이터에 대해 조회가 가능하도록 한다. HDMS시스템은 CIM 기반으로 데이터베이스가 구축되어 향후 K-EMS 외의 타 시스템과의 데이터 통합 및 연계가 용이하고 여러 분야에서 데이터 재활용이 가능할 것으로 예상된다.

  • PDF

An Efficient Pre-Fetching Service for Multi-media Server based on Disc Partition Scheduling (멀티미디어 서버에서 효율적인 선반입 서비스를 위한 디스크 파티션 스케쥴링)

  • Choi Sung-Wook
    • Journal of the Korea Computer Industry Society
    • /
    • v.6 no.3
    • /
    • pp.379-390
    • /
    • 2005
  • Intensive studies have been made in the area of VOD server Multimedia files in the VOD sever are characterized with the large volume of data, the requirements of synchronization and real-time playback of streams. The basic goal of the study is to find an efficient mechanism to allow maximum number of users under the limited resources such as Buffer size and disk bandwidth. we propose a efficient $pre\_fetching$ policy for multimedia services with dynamic monitoring and management of VOD sever resources. Simulation results show that the rate of buffer usage and service time of proposed scheme are about $28\%$ performance improved than that of traditional methods. This implies that our method can allow much more users for given resources.

  • PDF

An Efficient Overlay Multi-cast Scheduling for Next Generation Internet VOD Service (차세대 인터넷 VOD 서비스를 위한 효율적인 오버레이 멀티캐스트 스케줄링)

  • Choi, Sung-Wook
    • Journal of the Korea Computer Industry Society
    • /
    • v.9 no.2
    • /
    • pp.53-62
    • /
    • 2008
  • Intensive studies have been made in the area of IPTV VOD server. The basic goal of the study is to find an efficient mechanism to allow maximum number of users under the limited resources such as Buffer utilization, disk performance and network bandwidth. The overlay multicast that has been recently presented as an alternative for the IP multicast has been getting much persuasion by the system resource and the network bandwidth and the advancement of the network cost. we propose a efficient overlay multi_casting network policy for multimedia services with multi media partition storage. Simulation results show that the rate of service number and service time of proposed scheme are about 23% performance improved than that of traditional methods. This implies that our method can allow much more users for given resources.

  • PDF

A Study on Analysis of Hidden Areas of Removable Storage Device from a Digital Forensics Point of View (디지털 포렌식 관점에서 이동식 저장매체의 은닉영역 분석 연구)

  • Hong, Pyo-gil;Lee, Dae-sung;Kim, Dohyun
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2021.05a
    • /
    • pp.111-113
    • /
    • 2021
  • USB storage devices, which are represented by removable storage media, are widely used even nowadays when cloud services are common. However, since they are cases where hidden areas are created and exploited in USB storage devices. This research is needed to detect and analyze them from an Anti-forensic point of view. In this paper, we analyze a program that can be exploited as Anti-forensic because it can create a hidden partition and store files there, and the file system created by it from a digital forensic point of view.

  • PDF