• 제목/요약/키워드: information and communication systems

검색결과 8,487건 처리시간 0.04초

아파치 스파크 활용 극대화를 위한 성능 최적화 기법 (Performance Optimization Strategies for Fully Utilizing Apache Spark)

  • 명노영;유헌창;최수경
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권1호
    • /
    • pp.9-18
    • /
    • 2018
  • 분산 처리 플랫폼에서 다양한 빅 데이터 처리 어플리케이션들의 수행 성능 향상에 대한 관심이 높아지고 있다. 이에 따라 범용적인 분산 처리 플랫폼인 아파치 스파크에서 어플리케이션들의 처리 성능 최적화에 대한 연구들이 활발하게 진행되고 있다. 스파크에서 데이터 처리 어플리케이션들의 수행 성능을 향상시키기 위해서는 스파크의 분산처리모델인 Directed Acyclic Graph(DAG)에 알맞은 형태로 어플리케이션을 최적화시켜야 하고 어플리케이션의 처리 특징을 고려하여 스파크 시스템 파라미터들을 설정해야 하기 때문에 매우 어렵다. 기존 연구들은 각각의 어플리케이션의 처리 성능에 영향을 주는 하나의 요소에 대한 부분적인 연구를 수행했고, 최종적으로 어플리케이션의 성능개선을 이뤄냈지만 스파크의 전반적인 처리과정을 고려한 성능 최적화를 다루지 않았을 뿐만 아니라 처리성능과 상관관계를 갖는 다양한 요소들의 복합적인 상호작용을 고려하지 못했다. 본 연구에서는 스파크에서 일반적인 데이터 처리 어플리케이션의 수행 과정을 분석하고, 분석된 결과를 토대로 어플리케이션의 처리과정 중 스테이지 내부와 스테이지 사이에서 성능 향상을 위한 처리 전략을 제안한다. 또한 스파크의 시스템 설정 파라미터 중 분산 병렬처리와 밀접한 관계를 갖는 파티션 병렬화에 따른 어플리케이션의 수행성능을 분석하고 적합한 파티셔닝 최적화 기법을 제안한다. 3가지 성능 향상 전략의 실효성을 입증하기 위해 일반적인 데이터 처리 어플리케이션: WordCount, Pagerank, Kmeans에 각각의 방법을 사용했을 때의 성능 향상률을 제시한다. 또한 제안한 3가지 성능 최적화 기법들이 함께 적용될 때 복합적인 성능향상 시너지를 내는지를 확인하기 위해 모든 기법들이 적용됐을 때의 성능 향상률을 제시함으로써 본 연구에서 제시하는 전략들의 실효성을 입증한다.

Delayed LMS와 Redundant Binary 복소수 필터구조를 이용한 파이프라인 적응 결정귀환 등화기 설계 (A Design of Pipelined Adaptive Decision-Feedback Equalized using Delayed LMS and Redundant Binary Complex Filter Structure)

  • 안병규;이종남;신경욱
    • 대한전자공학회논문지SD
    • /
    • 제37권12호
    • /
    • pp.60-69
    • /
    • 2000
  • 광대역 무선 디지털 통신 시스템용 파이프라인 적응 결정귀환 등화기(pipelined adaptive decision-feedback equalizer; PADFE)를 0,25-${\mu}m$ CMOS 공정을 사용하여 full custom 단일 칩으로 설계하였다. ADFE의 동작속도를 향상시키기 위해 DLMS(delayed least-mean-square)을 적용한 2-stage 파이프라인 구조로 설계하였다. PADFE의 필터와 계수갱신 블록 등 모든 연산을 redundant binary(RB) 수치계로 처리하였으며, 2의 보수 수치계를 사용하는 기존의 방식에 비해 연산량의 감소와 동작속도의 향상이 얻어졌으며, 또한 전체적인 구조의 단순화에 의해 VLSI 구현이 용이하다는 장점을 갖는다. COSSAP을 이용한 알고리듬 레벨 시뮬레이션을 통해 파이프라인 stage 수, 필터 tap 수, 계수 및 내부 비트 수 등의 설계 파라메터 결정과 bit error rate(BER), 수렴속도 등을 분석하였다. 설계된 PADFE는 약 205,000개의 트랜지스터로 구성되며, 코어의 면적은 41.96\times1.35-mm^2$이다. 시뮬레이션 결과, 2.5-V 전원전압에서 200-MHz의 클록 주파수로 동작 가능할 것으로 예상되며, 평균 전력소모는 약 890-mW로 예측되었다. 제작된 칩의 테스트 결과로부터 기능이 정상적으로 동작함을 확인하였다.

  • PDF

자율학습기반의 에너지 효율적인 클러스터 관리에서의 성능 개선 (Performance Improvement of an Energy Efficient Cluster Management Based on Autonomous Learning)

  • 조성철;정규식
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권11호
    • /
    • pp.369-382
    • /
    • 2015
  • 에너지 절감형 서버 클러스터에서는 에너지 절감을 고려하지 않는 기존 서버 클러스터에 비해 서비스 품질을 보장하면서 전력소비를 절감하는 것을 목표로 하며, 현재의 부하를 처리하는 데 필요한 최소수의 서버들만 ON 하도록 고정 주기 또는 가변 주기로 서버들의 전원모드를 조정한다. 이에 대한 기존 연구들은 전력을 절감하거나 열을 낮추는데 노력해왔지만 에너지 효율성을 잘 고려하지 못했다. 본 논문에서는 기존 자율학습기반의 서버 전원 모드 제어 방법의 단위전력당 성능과 QoS를 높이기 위한 에너지 효율적인 클러스터 관리기법을 제안한다. 제안 방법은 다중임계기반의 자율학습 방법과 전력소모 예측 방법을 결합한 서버 전원 모드 제어이다. 일반적인 부하 상황에서는 다중임계 학습기반의 서버 전원 모드 제어를 적용하고, 급변하는 부하 상황에서는 예측기반의 서버 전원 모드 제어가 적용된다. 일반적 상황과 급변하는 상황의 구별은 현재의 사용자 요청과 관찰된 과거 몇 분의 사용자 요청의 비율에 따라 이루어진다. 또한, 동적종료 기법을 추가로 적용해 서버가 OFF 하는 데 소요되는 시간을 단축한다. 제안 방법은 16대 서버로 구성된 클러스터 환경에서 3가지 부하 패턴을 이용하여 실험을 수행한다. 다중임계 학습, 예측, 동적종료를 함께 이용한 실험에서 단위전력당 성능(유효응답 수)과 표준화된 QoS 측면에서 가장 우수한 결과를 보여준다. 제안하는 방법과 파라미터 로드된 단일임계 학습을 비교할 때 뱅킹 부하패턴, 실제 부하패턴, 가상 부하패턴에서 단위전력당 유효응답 수가 각각 1.66%, 2.9%, 3.84% 향상되고, QoS 관점에서는 각각 0.45%, 1.33%, 8.82% 향상되었다.

중복 데이터베이스 시스템에서 갱신그래프를 이용한 동시성제어 (Concurrency Control Using the Update Graph in Replicated Database Systems)

  • 최희영;이귀상;황부현
    • 정보처리학회논문지D
    • /
    • 제9D권4호
    • /
    • pp.587-602
    • /
    • 2002
  • 중앙집중형 데이터베이스는 데이터 관리가 용이하나 통신장애나 사이트 고장시 전체시스템 중지로 인해 신뢰성과 가용성문제가 발생한다. 이러한 문제를 해결하기 위해서 중복데이터베이스가 출현되었다. 그러나 갱신거래가 많이 발생되는 경우에는 중복 데이터에 대해서 갱신이 동일하게 이루어져야 하므로 동기화로 인한 메시지부담과 거래가 지연됨에 따라 동시성이 감소되는 문제가 발생하게 된다 이 논문은 가용성과 신뢰성을 향상시키기 위한 완전 중복 데이터베이스에서 거래들의 병행성의 정도를 높이기 위한 동시성제어 알고리즘을 제안한다. 중복 데이터 베이스에서 시스템 성능을 향상시키기 위해서는 거래가 제출된 사이트에서 마지막 연산까지 수행시키고, 기록 연산들로 구성된 갱신 전용거래를 모든 사이트에서 독립적으로 수행하도록 한다. 각 사이트에서 수행되는 갱신전용거래의 일관성은 모든 사이트에서 갱신그래프를 유지하여 보장한다. 제안하는 동시성 제어 기법은 각 사이트에서 거래들이 동시에 수행할 수 있게 함으로써 거래들의 병행수행정도를 향상시킬 수 있다. 제안하는 동시성 제어 기법의 실제 구현 및 실험을 통한 결과를 분석하여 기존의 방법보다 보다 더 빠른 응답률과 더 적은 철회율을 가져옴을 성능 평가를 통해 우수성을 보여준다.

전파흡수체에 의한 전력증폭기의 혼변조 신호의 개선 효과에 관한 연구 (A study on Improving Intermodulation Signal of the RF Power Amplifier Using Microwave Absorber)

  • 전중성;김민정;예병덕;김동일
    • 한국항해항만학회지
    • /
    • 제27권4호
    • /
    • pp.437-441
    • /
    • 2003
  • 본 논문에서는 IMT-2000 기지국용 30 W 전력증폭기를 구현하고 전파흡수제를 사용하여 발진과 상호간섭에 의한 신호의 왜곡을 제거하므로써 이득평탄도 및 상호 변조 왜곡을 개선하였다. 사용된 전파흡수체의 흡수능은 3.6 GHz 대역에서 -10 dB이하, 2.3 GHz 대역에서 -4 dB 이하가 측정되었다. 기존의 전력증폭기의 특성을 측정한 결과 이득은 57.37 dB(측정시 40 dB 감쇠기 부가)이상, 이득평탄도는 $\pm$0.33 dB였으며, 출력의 세기가 33.3 W일 때 IMD 특성은 27 dBc 로 나타났다. 한편 전력증폭기의 최종단인 고출력 전력결합기 부분에 전파흡수체를 부착한 후의 이득은 약 58.43 dB(측정시 40 dB 감쇠기 부가)이상, 이득평탄도는 $\pm$0.0935 dB 가 나타났으며, 출력이 33.3 W 일 때 3차 IMD 성분은 약 29 dBc 였다. 측정 결과 전파흡수체를 사용하였을 경우와 사용하지 않았을 경우 이득은 1 dB, 이득평탄도는 0.3 dB, IMD 특성은 1.77 dBc 가 각각 개선됨을 확인하였다.

무선 센서 네트워크에서 이동 싱크를 지원하기 위한 다중 경로 라우팅 프로토콜 (Energy and Delay-Efficient Multipath Routing Protocol for Supporting Mobile Sink in Wireless Sensor Networks)

  • 이현규;이의신
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권12호
    • /
    • pp.447-454
    • /
    • 2016
  • 무선 센서 네트워크에서 다중경로 라우팅에 대한 연구는 노드와 링크 실패로 인한 잦은 경로 파손의 문제를 해결하고 데이터 전달 신뢰성을 향상시키기 위해 연구되었다. 다중경로 라우팅에서, 예를 들어 전장에서 군인 및 재난 지역에서 구조자와 같은 이동 싱크는 이동성을 다루기 위한 새로운 도전이 필요하다. 싱크 이동성은 그들의 이동 경로에 따라서 소스 노드에서 이동 싱크까지 새로운 다중경로 구성을 요구한다. 이동 싱크가 지속적인 이동성을 갖기 때문에, 기존 다중경로는 이동 싱크의 새로운 위치로 효율적인 재구성을 위해 이용될 수 있다. 그러나, 이전 프로토콜들은 이러한 문제를 다루지 않는다. 따라서, 우리는 무선 센서 네트워크에서 이동 싱크에 대한 효율적인 다중경로 재구성 프로토콜을 제안한다. 제안된 프로토콜 LGMR은 이동 싱크의 이동 유형에 기초한 세 가지 다중경로 재구성 방법을 다룬다: 단일홉 이동 기반 지역 다중경로 재구성, 다중 홉 이동 기반 지역 다중경로 재구성, 다중 홉 이동 기반 전체 다중경로 재구성, 시뮬레이션 결과는 에너지 소비 및 데이터 전달 딜레이 측면에서 LGMR이 이전 프로토콜 EDM보다 더 나은 성능을 갖는다는 것을 보여준다.

DDR SDRAM을 위한 저전압 1.8V 광대역 50∼500MHz Delay Locked Loop의 설계 (Design of Low Voltage 1.8V, Wide Range 50∼500MHz Delay Locked Loop for DDR SDRAM)

  • 구인재;정강민
    • 정보처리학회논문지A
    • /
    • 제10A권3호
    • /
    • pp.247-254
    • /
    • 2003
  • 본 연구에서 고속 데이터 전송을 위해 Double Data Rate(DDR) 방식을 사용하는 SDRAM에 내장할 수 있는 저전압 광대역 Delay Locked Loop(DLL) 회로를 설계하였다. 고해상도와 빠른 Lock-on 시간을 위하여 새로운 유형의 위상검출기론 설계하였고 카운터 및 Indicator 등 내장회로의 빠른 동작을 위해 Dual-Data Dual-Clock 플립플롭(DCDD FF)에 기반을 둔 설계를 수행하였으며 이 FF을 사용하므로서 소자수를 70% 정도 감소시킬 수 있었다. Delay Line 중에서 Coarse 부분은 0.2ns 이하까지 검출 가능하며 위상오차를 더욱 감소시키고 빠른 Lock-on 기간을 얻기 위해 Fine 부분에 3-step Vernier Line을 설계하였다. 이 방식을 사용한 본 DLL의 위상오차는 매우 적고 25ps 정도이다. 본 DLL의 Locking 범위는 50∼500MHz로 넓으며 5 클럭 이내의 빠른 Locking을 얻을 수 있다. 0.25um CMOS 공정에서 1.8V 공급전압 사용시 소비전류는 500MHZ 주파수에서 32mA이다. 본 DLL은 고주파 통신 시스템의 동기화와 같은 다른 응용면에도 이용할 수 있다.

사물 인터넷 환경에서 무선 AP의 수면 모드 운영 및 송출 전력 조절을 통한 전력 소비 절감 알고리즘 (A Wireless AP Power Saving Algorithm by Applying Sleep Mode and Transmission Power Coordination in IoT Environments)

  • 정경채;최원석;최성곤
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제3권11호
    • /
    • pp.393-402
    • /
    • 2014
  • 최근 스마트폰을 포함한 사물 인터넷(IoT) 기술 기반의 스마트 기기의 급속한 확산에 따라 IEEE 802.11 무선 랜에서 전력 소비 또한 급격히 증가하고 있다. 특히 모바일 기기 사용자가 급격하게 증가하면서 가정이나 사무실 같은 실내 환경에서 사설 무선 AP(Access Point) 설치가 급증하고 있는 추세이다. 본 논문은 현재 무선 AP의 비효율적인 운영을 개선한 무선 AP의 전력 소비 절감 알고리즘을 제안한다. 제안한 알고리즘 동작은 STA(Station)의 무선 AP 접속 여부에 따라 구분되며, STA가 있을 경우는 STA로 전송할 데이터가 있을 때와 없을 때로 나뉜다. STA가 없는 경우, 수면 모드로 동작하여 불필요한 전력 소비를 최소화한다. 또한 추가적으로 STA가 접속을 하고 있는 경우에도 데이터를 수신하지 않을 경우에는 인증 및 결합이 유지된 상태로 수면 모드를 운영한다. STA로부터 데이터 요청이 있을 경우 STA의 거리와 전송률을 파악하여 STA의 전송률을 만족하는 최소의 송출 전력으로 패킷을 전송한다. 이때, STA와 최초로 스캔 과정을 하는 데 필요한 관리 프레임은 최대 송출 전력으로 전송한다. 본 논문에서 제시한 시나리오를 바탕으로 제안한 전력 소비 절감 알고리즘이 적용된 무선 AP에서의 전력 소비량은 기존 방안이 적용된 무선 AP와 비교하면 약 18%, 전력 소비 절감이 적용되지 않은 일반적인 무선 AP와 비교하면 약 35% 감소했다.

안드로이드 정적 분석을 활용한 개인정보 처리방침의 신뢰성 분석 (Reliability Analysis of Privacy Policies Using Android Static Analysis)

  • 정윤교
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제12권1호
    • /
    • pp.17-24
    • /
    • 2023
  • 모바일 앱은 사용자의 편의를 위해 개인정보에 접근할 수 있는 권한을 자주 요청한다. 하지만 이에 따라 모바일 앱을 이용하는 동안 허용되지 않은 개인정보가 유출되는 문제가 많이 발생했다. 이러한 문제를 해결하기 위해 구글 앱스토어에 등록된 앱은 개인정보 처리방침에 사용자의 개인정보를 앱에서 어떻게 활용하는지 명시하도록 했다. 하지만 앱이 수행하는 개인정보 수집 및 처리 과정이 개인정보 처리방침에 정확히 공개되어 있는지 확인하기 어려우며, 모바일 앱 사용자가 앱이 접근할 수 있는 개인정보에 대해 알기 위해서는 개인정보 처리방침에 의존해야만 한다. 본 연구에서는 개인정보 처리방침과 모바일 앱을 분석하여 개인정보 처리방침의 신뢰성을 확인하는 시스템을 제시한다. 먼저 개인정보 처리방침의 텍스트를 추출 및 분석하여 모바일 앱이 어떤 개인정보를 이용할 수 있다고 공개하는지 확인한다. 이후 안드로이드 정적 분석을 통해 앱이 접근할 수 있는 개인정보 분류를 확인하고, 두 결과를 비교하여 개인정보 처리방침을 신뢰할 수 있는지 분석한다. 실험을 위해 구글 앱스토어에 등록된 약 13,000개 안드로이드 앱의 패키지 파일과 부가정보를 수집한 뒤 분석할 수 있는 앱을 선정하기 위해 4가지 조건에 따라 전처리를 진행했다. 선정한 앱을 대상으로 텍스트 분석과 모바일 앱 분석을 진행하고, 이를 비교하여 모바일 앱은 개인정보 처리방침에 공개한 것보다 더욱 많은 개인정보에 접근할 수 있음을 증명한다.

PDF 파일의 페이지단위 복구 기법 (A Recovery Technique of PDF File in the Unit of Page)

  • 장지원;방승규;한재혁;이상진
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제6권1호
    • /
    • pp.25-30
    • /
    • 2017
  • 안티 포렌식 기법 중 하나인 데이터 삭제 기법은 그 행위의 단순함에 비해 포렌식 분석 관점에서의 그 영향력은 상당하다. 학계에서는 데이터 삭제 기법에 대응하여 지속적으로 삭제된 파일 복구 기법에 대해 연구하였으며, 대표적으로 파일시스템 기반 파일 복구 기법과 파일 포맷 기반 복구 기법이 존재한다. 파일이 삭제되고 난 후 해당 파일의 메타데이터가 파일시스템 상에 존재한다면, 이를 이용하여 손쉽게 파일을 복구할 수 있으나, 메타데이터가 존재하지 않는 경우엔 시그니처 기반 카빙 기법을 이용하여 파일을 복구하거나 파일 포맷에 기반한 복구기법을 적용해야 한다. 이때 파일 포맷에 기반한 복구기법은 파일 구조에 대한 분석과 복구 가능한 기법이 제시되어야 한다. 본 논문은 PDF 파일의 구조적 특성에 기반한 삭제된 PDF 파일의 페이지 단위 복구 기법을 제시한다. 해당 기법은 PDF 파일의 1개 페이지를 구성하는 Page Object의 태그 값을 이용한다. 각 태그 값을 일종의 시그니쳐로서 활용하여 Object를 추출하며, 추출된 Object들을 분석하여 PDF파일의 메타데이터를 재조합한 후 페이지 단위로 재구성한다. 페이지 단위로 복구한다는 것은 삭제된 PDF 파일이 온전하지 않더라도 PDF 파일을 구성했던 일부 페이지라도 복구할 수 있음을 의미한다. 해당 기법을 이용하면 온전하지 않은 상태의 PDF파일에 대한 복구가 가능하다. 이는 디지털 포렌식 분석 관점에서 기존보다 더 많은 데이터를 복구하는데 활용될 수 있다.