• 제목/요약/키워드: 분산처리 환경

검색결과 1,688건 처리시간 0.027초

라즈베리파이를 이용한 빅 데이터 처리 학습 환경 구축 (On Implementing a Learning Environment for Big Data Processing using Raspberry Pi)

  • 황보람;김성규
    • 디지털융복합연구
    • /
    • 제14권4호
    • /
    • pp.251-258
    • /
    • 2016
  • 빅 데이터 처리는 데이터의 크기나 복잡도가 커서 기존의 전통적인 데이터 처리 기법으로는 다루기 힘든 데이터의 처리를 의미한다. 싱글보드 컴퓨터를 포함하는 스마트 기기의 보급은 데이터를 처리하는 방법에 많은 영향을 미치고 있으며 이 들을 활용하여 데이터를 처리하는 기법에 대한 연구가 진행되고 있다. 본 연구에서는 빅 데이터 처리에 필요한 분산처리 시스템을 데스크톱 기기 환경이 아니라 라즈베리파이를 활용하여 하둡 분산처리 환경을 구축하는 방안을 제시한다. 또한 제안하는 시스템의 다양한 테스트를 통한 성능 분석과 스케일링의 용이성을 통해 구축한 학습 환경 구성의 효율성을 보인다.

객체지향 환경 기반 분산시스템의 객체관리 (Management of Object in Distributed System based on Object-oriented Environment)

  • 송기범;홍성표;이준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.693-696
    • /
    • 2001
  • 오늘날 분산 컴퓨팅 환경은 사용자들에게 물리적인 위치와 상관없이 신속한 서비스를 제공하는 위치의 투명성이 부각되고 있다. 이를 위해 분산환경에서 객체를 설계하고 구현하는데 따른 표준화 방법으로 OMG에서는 OMA를 도입하여 OMA의 추상객체모델 위에 CORBA를 표준으로 정의하였다. 이러한 분산환경을 기반으로 복잡한 분산 어플리케이션의 개발과 관리의 복잡성을 줄이기 위해서는 객체들을 집합체적인 개념으로 그룹객체에 대한 정의를 필요로 한다. 따라서, 본 논문에서는 그룹객체 정의를 도입하여 현재 분산 시스템의 표준으로 사용하는 CORBA 기반에서 분산된 객체들을 효율적으로 관리할 수 있는 그룹객체 모델 즉, 구조를 제안한다.

  • PDF

분산 시맨틱웹 환경에서의 온톨로지 데이터 처리 기법 연구 (Ontology data processing method in distributed semantic web environment)

  • 김병곤;오성균
    • 디지털콘텐츠학회 논문지
    • /
    • 제9권2호
    • /
    • pp.277-284
    • /
    • 2008
  • 인터넷 서비스가 일반화되고 복잡해지면서 차세대 인터넷 서비스인 시맨틱웹의 중요한 구성요소로 활발히 연구되고 있는 분야가 온톨로지이다. 현재까지의 많은 연구들은 중앙 집중형 사이트에서의 온톨로지 구축을 통한 데이터의 통합에 관한 연구가 대부분이었다. 그러나 인터넷 환경은 기본적으로 분산 데이터 환경이며, 이러한 분산된 사이트의 모든 데이터를 대상으로 질의를 처리해야 한다. 이때 사이트간의 온톨로지 분산 데이터 처리에 대한 해결 기법들이 없이는 빠른 변화에 대응할 수 있는 차세대 시맨틱웹 구축을 기대할 수 없다. 본 연구는 분산된 인터넷 환경에서 각기 다른 방법으로 구축되어 있는 온톨로지간의 관계를 OWL언어가 지니는 확장요소를 이용하여 온톨로지 요소간의 분산관계를 기술하여 통합 질의 처리가 가능한 시스템을 구축하는 방법을 제시한다.

  • PDF

Industrial IoT 환경에서의 분산 게이트웨이를 이용한 센서 데이터 처리 (Sensor Data Processing using Distributed Gateway in Industrial IoT)

  • 이태호;김세준;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.193-194
    • /
    • 2018
  • 본 논문에서는 IIoT(Industrial IoT) 환경에서 사용되는 수 천 개 이상의 센서 데이터를 효율적으로 처리하기 위하여 분산 게이트웨이 시스템을 제안한다. 이 시스템은 대량의 센서에서 측정되는 데이터를 단일 게이트웨이 단위로 처리할 때 늘어나는 작업부하와 처리 시간 지연, 신뢰성 및 정확성 저하를 해결하기 위하여 복수의 게이트웨이 간 연계를 통해 대량의 센서에서 측정되는 데이터를 실시간 처리가 가능한 게이트웨이로 지연시간 없이 균등 할당함으로써 작업부하의 완화와 처리 시간의 가속화, 신뢰성 및 정확성 확보를 이루어낼 수 있다. 본 논문에서는 단일 게이트웨이 시스템과 분산 게이트웨이 시스템의 비교를 통해 수천 개 이상의 센서에서 측정되는 데이터 처리 시간의 차이를 확인함으로써 IIoT 환경에서 분산 게이트웨이의 활용도 면에서 우수함을 보인다.

  • PDF

대규모 그리드 환경에서 Chord을 이용한 신뢰성 있는 자원 탐색방법에 관한 연구 (Serving Reliable Resource Discovery in Grid Environment using a Chord)

  • 정인철;함호상
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.129-132
    • /
    • 2003
  • 그리드와 같은 대규모 컴퓨팅 자원이 연결되어 이용되는 분산처리 환경에서 가장 중요한 기능중에 하나가 자원 탐색(lookup)기능이다. 찾기 기능은 미리 정해진 형태로 지원을 등록하고 이 정보를 중앙에서 관리하는 단일기관이나 소규모로 분산된 컴퓨팅 자원을 공유하는 환경에서는 문제되지 않는다. 그러나 임의로 가입과 탈퇴가 가능하고 대규모로 자원이 연결된 그리드 환경에서는 빠른 자원 탐색이 성능의 기본 요소가 된다. 이 논문에서 그리드 환경에서 자원탐색 방법으로 분산형 자원탐색 방법인 Chord시스템을 이용하고 자원탐색방법을 신뢰성 있게 유지하기 위해 메시지큐를 이용하여 시스템을 모델링하고 시스템을 설계한 내용을 기술하였다. 이를 위하여 Chord시스템에 Message Queue System을 통합하여 응용 프로그램에서 요청한 자원탐색을 메시지 큐에 저장하여 노드가 failure되거나 네트워크가 분할이 되더라도 메시지 큐에 저장된 내용을 바탕으로 일관성을 유지할 수 있는 방법을 제시하였다.

  • PDF

웹을 이용한 가상 실시간 상호작용 분산 시뮬레이션 환경엣 클라이언트-서버 모델의 설계 및 구현 (Design and Implementation of Client-Server Model on Virtual Real-time Interactive Distributed Simulation Environment Using Web)

  • 정진립;우영제;정창성
    • 한국정보처리학회논문지
    • /
    • 제6권1호
    • /
    • pp.57-65
    • /
    • 1999
  • 규모가 크고 복잡하며, 사용자와 상호 작용하는 시뮬레이션은 처리되는 메시지 수가 매우 많으므로 메시지의 순차적 시뮬레이션이 더 효율적이라 생각할 수 있다. 또한 사용자가 많은 훈련용 시뮬레이션은 지역적으로 분산되고 사용자의 추가 요구 사항의 증가로 시스템의 운용 및 유지보수 비용이 많이 든다. 따라서 시뮬레이션에 웹 기술의 적용은 이러한 문제를 해결할 수 있는 하나의 방법이 될 수 있다. 하지만 웹의 동적인 환경은 분산 처리되는 사건들의 인과성 오류를 유발 할 수 있다. 따라서 본 논문에서는 분산 처리되는 시뮬레이션 서버와 웹 브라우저의 클라이언트 사이에 상호작용을 위한 클라이언트-서버 모델을 제시하고 구현하였으며, 구현에는 웹 기술에 적합한 자바와 자바 분산 객체 모델을 사용하였다. 제시된 모델에 의한 실험결과 인터넷의 동적인 환경에 분산 시뮬레이션이 정확하게 수행되었음을 확인할 수 있었다.

  • PDF

다중스레드를 이용한 분산 환경에서의 이미지 검색 에이전트 (Multi-Thread based Image Retrieval Agent in Distributed Environment)

  • 차상환;김순철;조용현;황병곤
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.947-950
    • /
    • 2004
  • 본 논문에서는 분산 환경에서 이미지 정보를 수집하고 검색하기 위해 다중스레드를 사용한 이미지 검색 에이전트를 구현하였다. 본 논문에서 제안한 이미지 검색 에이전트는 정보의 효과적인 검색을 위해 다중스레드를 사용함으로써 처리기의 이용률을 높일 수 있었고 웹상의 정보를 전달받는데 소요되는 대기시간과 처리시간을 줄일 수 있었다. 이미지 검색을 위한 에이전트는 플랫폼에 독립적인 자바언어를 사용하여 분산 환경에 적합하도록 하였고, 검색한 이미지 저장을 위해 JDBC를 사용하여 데이터베이스에 연결하였다. 또한 이미지 자체는 분산된 에이전트의 데이터베이스에 저장하고 이미지의 인덱스만 인덱스 서버에 저장함으로써 검색 시간을 줄일 수 있었다.

  • PDF

동기식 분산 딥러닝 환경에서 배치 사이즈 변화에 따른 모델 학습 성능 분석 (A Performance Analysis of Model Training Due to Different Batch Sizes in Synchronous Distributed Deep Learning Environments)

  • 김예랑;김형준;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.79-80
    • /
    • 2023
  • 동기식 분산 딥러닝 기법은 그래디언트 계산 작업을 다수의 워커가 나누어 병렬 처리함으로써 모델 학습 과정을 효율적으로 단축시킨다. 배치 사이즈는 이터레이션 단위로 처리하는 데이터 개수를 의미하며, 학습 속도 및 학습 모델의 품질에 영향을 미치는 중요한 요소이다. 멀티 GPU 환경에서 작동하는 분산 학습의 경우, 가용 GPU 메모리 용량이 커짐에 따라 선택 가능한 배치 사이즈의 상한이 증가한다. 하지만 배치 사이즈가 학습 속도 및 학습 모델 품질에 미치는 영향은 GPU 활용률, 총 에포크 수, 모델 파라미터 개수 등 다양한 변수에 영향을 받으므로 최적값을 찾기 쉽지 않다. 본 연구는 동기식 분산 딥러닝 환경에서 실험을 통해 최적의 배치 사이즈 선택에 영향을 미치는 주요 요인을 분석한다.

운영체계 소프트웨어

  • 강석열
    • ETRI Journal
    • /
    • 제8권2호
    • /
    • pp.83-91
    • /
    • 1986
  • 컴퓨터의 많은 응용에 따라 분산처리, 실시간처리, 고장감내처리 등에 대해 운영체계의 연구가 많이 되어왔다. 본고는 한국형 전전자교환기인 TDX-1 시스팀에서 사용된 TDXOS의 실현과 그 특성에 관해 서술하였다. TDXOS는 고실시간처리(Hard real time processing)와 분산처리, 컴퓨터의 이중화, 과부하제어, 실시간 디버거(Debugger) 들을 실현하였으며 뱅크(Bank)시스팀 형태의 메모리 관리기법이 사용되었다. 특히, 소형 마이크로프로세서(Z80) 및 어셈블리 언어에 최적의 동작 환경을 제공하도록 설계되어 실시간의 효율이 최대화되었다.

  • PDF

분산 공간 데이터베이스를 위한 동적 콜렉터 (Study on a Dynamic Collector for Distributed Spatial Databases)

  • 이재훈;박순영;정원일;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.665-667
    • /
    • 2003
  • 분산된 공간 데이터를 효과적으로 저장. 관리하고 공유하기 위하여 분산 공간 데이터베이스 시스템의 필요성이 대두되었다. 분산 공간 데이터베이스 시스템은 많은 변화가 있는 환경이기 때문에 최적화된 질의 플랜을 작성하기가 어렵고 또한 고비용의 공간 연산 비용을 고려해야 하는 문제를 가지고 있다. 본 논문은 질의 실행 시간이 변화된 분산 데이터베이스 환경을 고려하여 질의를 수행하며 공간 조인을 병렬적으로 수행하는 동적 콜렉터를 제안한다. 동적 콜렉터는 분산 데이터베이스 환경의 변화에 적응할 수 있으며 분산 공간 조인을 효율적으로 처리할 수 있다.

  • PDF