• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.221-222
• /
• 2014

빠른 웹의 성장으로 대용량 데이터를 효과적으로 처리할 수 있는 플랫폼 기술에 대한 관심이 높아지고 있다. 특히, HDFS는 이상적인 분산 파일 시스템으로 각광받고 있으며 대용량 파일의 처리를 목적으로 개발되었다. 하지만, 실제 파일들의 집합에서 소용량 파일이 차지하는 비중은 높은 편이다. 많은 수의 소용량 파일은 HDFS 성능 감소에 치명적인 원인이 된다. 많은 수의 소용량 파일들이 HDFS에 저장된다면 NameNode의 메모리 소비량이 증가하게 되며 많은 수의 소용량 파일은 많은 수의 DataNode와 NameNode를 요구하므로 상대적으로 처리시간이 많이 소모된다. 따라서 본 논문에서는 HDFS에서 소용량 파일의 저장과 액세스 효율성을 향상시키기 위하여 나이브 베이지안 분류기 알고리즘을 적용한 파일 그룹화 시스템을 설계하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.172-175
• /
• 2013

사이버물리시스템(CPS)은 실시간 제약으로 타이밍에 민감한 특징이 있으며, 산업 영역에 적용시 시스템 동작과 안전필수 로그의 특정한 패턴을 나타내는 대용량의 실시간 데이터를 생성시킨다. 본 논문은 공개소스프로젝트인 하둡에코시스템을 이용한 CPS 데이터분석 아키텍처를 소개한다. CPS 처리의 특징 때문에 그 대용량의 데이터 처리는 하나의 머신에서 분석될 수 없으므로, 하둡에코시스템을 통하여 실시간 기반으로 생성되는 데이터를 저장하고 처리하는 시스템 아키텍처를 제안한다. 하둡분산파일시스템(HDFS)은 거대한 CPS 데이터의 저장을 위한 기본 파일시스템이고, 하이브는 데이터웨어하우징 처리를 위한 CPS 데이터분석에 사용된다. 플룸은 서버들로부터 데이터를 수집하고 HDFS에서 그 데이터를 처리하기 위해 사용되며, Rhive는 데이터 마이닝과 분석을 적용하기 위해 사용된다. 이러한 아키텍처를 개관하고, 또한 효과적인 데이터 분석을 위해 사용한 시스템 설계 전략을 소개한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
• /
• pp.127-131
• /
• 2008

관계형 DBMS의 보급이 확대되면서 대형 운영시스템 구축 시에 인덱스를 사용하는 관계형 DB의 사용이 증가하고 있다. 이에 따라 Sort의 용도가 대폭 축소되고 DB에서 직접 대형 결산작업이 주로 처리되게 되었다. 그러나 대형 결산 작업 처리시 사용되는 대용량의 데이터의 경우 ETL(Extract Transformation Loading) 작업 시에는 오히려 파일 시스템을 사용하는 경우보다 성능이 저하되는 문제가 발생하기 시작했다. 본 논문에서는 ETL 작업 시 DBMS에 존재하는 대용량 데이터 처리하는 경우에 파일 시스템 상에서 flat 파일을 이용하여 처리 속도를 향상 시키고, 이와 동시에 리소스부하 문제를 해결할 수 있는 방안을 제시했다. 보다 세부적으로 DBMS에서 사용되는 sort, Join, Merge, Summary, 각종 사용자 함수 등의 다양한 기능들을 flat 파일에 적용하는 방법을 제시하였다. 또한 실험을 통해 ETL 작업 시 제안하는 기법이 처리 속도 개선과 리소스 활용성을 향상 시킴을 증명하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.33-34
• /
• 2023

성장하는 빅 데이터 시장과 빅 데이터 수의 기하급수적인 증가는 기존 컴퓨팅 환경에서 데이터 처리의 어려움을 야기한다. 특히 이미지 데이터 처리 속도는 데이터양이 많을수록 현저하게 느려진다. 이에 본 논문에서는 Apache Spark와 OpenCV를 활용한 분산 클러스터 컴퓨팅 환경의 대용량 이미지 머신러닝 시스템을 제안한다. 제안하는 시스템은 Apache Spark를 통해 분산 클러스터를 구성하며, OpenCV의 이미지 처리 알고리즘과 Spark MLlib의 머신러닝 알고리즘을 활용하여 작업을 수행한다. 제안하는 시스템을 통해 본 논문은 대용량 이미지 데이터 처리 및 머신러닝 작업 속도 향상 방법을 제시한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2009년도 춘계학술대회
• /
• pp.711-714
• /
• 2009

잡음환경 하의 회화에서 잡음량을 줄이고 신호처리 시스템의 성능을 향상시키기 위해서는 잡음량에 따라서 적응적으로 처리되는 신호처리 시스템이 필요하다. 또한 잡음이 중첩된 음성으로부터 잡음을 제거하기 위해서는 잡음의 크기에 따라서 음성 처리 시스템의 파라미터를 변경하는 것이 양호한 음질의 음성을 재생하는데 바람직하다. 따라서 본 논문에서는 음성 속에 포함되는 잡음량을 인식하는 방법으로 선형예측계수를 구하여 시간지연신경회로망(Time-delay neural network: TDNN)의 입력으로 사용하여 학습시키는 잡음량을 인식하는 방법을 제안한다. 본 잡음량 인식은 다양한 배경잡음에 의하여 열화된 3종류의 음성이 TDNN에 의하여 학습되어진다. 본 실험에서는 Aurora2 데이터베이스를 사용하여 여러 잡음에 대하여 양호한 인식결과를 확인할 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.163-165
• /
• 2012

본 논문은 대용량 데이터를 분할하여 병렬 처리하는 경우 데이터간의 의존성성에 의해 발생할 수 있는 문제점을 회피하거나 극복하기 위한 방법에 대한 연구이다. 의존성 문제를 해소하기 위한 병렬 분산 처리 시스템을 개발하여, 대용량 파일 처리의 효율을 높이고자 한다. 분산처리의 성능 평가를 위하여 동영상 파일의 분산 저장 및 재인코딩 시간을 측정하여 성능의 지표로 활용한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.25-28
• /
• 2021

블록체인은 탈집중화, 위변조 방지, 추적 가능, 노드 간 공동 유지 및 보수가 가능한 데이터베이스로서 서로 신뢰하지 않은 노드 간 통신 신뢰 문제를 해결할 수 있는 점 대 점 통신 네트워크를 실현할 수 있다. 최근 몇 년 동안, 블록체인 기술은 지속적으로 발전하여 데이터 보안 문제를 해결하기 위한 중요한 기술로 주목받고 있다. 블록체인의 응용은 최초의 디지털 화폐 영역에서 금융·정무·공업 제조 영역으로 확대되고 있다. 블록체인의 특성에 따라 블록체인의 성능은 분산형 데이터 통신에 비해 크게 떨어지고 처리량이 제한되는 문제점이 존재한다. 본 논문에서는 최근 연구되고 있는 블록체인의 보안 구조 및 성능 분석에 대해 조사하고, 기존에 연구되었던 기술과 비교하여 블록체인의 안전성을 유지하며 성능을 향상시키는 방법에 대해 고찰한다. 이후 유향 비순환 그래프 (DAG: Directed Acyclic Graph) 및 샤딩 (Sharding)을 이용하여 안전성과 성능을 강화시키는 방법에 대해 제안한다. 제안하는 시스템은 DAG를 사용하여 위변조 방지 및 처리 속도 향상의 이점을 가지고 있으며, 샤딩을 사용함으로써 데이터 처리량을 향상시킨다. 마지막으로 제안하는 시스템은 기존 블록체인과 비교하여 안정성과 데이터 처리량 측면에서 비교 분석을 진행한다.

• 조명전기설비학회논문지
• /
• 제15권6호
• /
• pp.89-96
• /
• 2001

본 논문에서는 생물학적 반응을 이용한 하수처리에서 미생물의 유기물 분해 반응에 필요한 적정 폭기량을 판단하는 기법을 제안한다. 적정 폭기량의 판단 시스템은 크게 세가지 부분으로 구성된다. 첫 번째는 주어진 운전데이터로부터 적정 폭기량을 판단하는 기능이며, 두 번째는 투입 폭기량을 판단된 적정 폭기량으로 변경했을 때의 처리 성능을 하수 처리 과정의 모델을 이용하여 계산하는 부분이고, 세 번째는 판단 결과를 보여주는 부분이다. 40일 동안의 하수처리장 운전데이터를 이용하여 제안된 판단 시스템의 성능을 확인하여 본 결과, 하수처리의 목적을 달성하면서도 폭기량을 10%이상 절감할 수 있음을 보였다

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2015년도 학술발표회
• /
• pp.445-445
• /
• 2015

비점오염의 특성에 대해 지속적으로 연구 중이지만 수문특성과 연관성이 크다 보니 그 일관성에 대해 확실한 기법이 개발되지 않았다. 기법 개발과 효과적인 오염원 관리를 위해 SWMM 등의 모형을 활용하고 있지만 투입된 노력과 시간에 비해 그 효율성이 매우 적은 편이다. 이런 부분을 보완하고자 본 논문에서는 기존의 비점오염량 산정방법이 아니라 낙동강유역의 도시화 특성 및 수문/기상자료와 처리장 운영자료를 활용한 차별화된 원단위법을 통해 비점 배출 부하량 산정방법을 제시하려고 한다. 배수구역 내 관거 시스템을 합류식으로 가정하였고 배수구역별 비점 발생형태는 하수처리장의 강우 유입량, 하수처리장의 우회유량(Bypass 유량), 하수처리구역의 CSO 유량 3가지로 구분 지었다. 유입 방류자료와 강우자료를 활용하여 임계강우량을 3mm로 설정하여 3mm이상일 경우에 우회유량이 발생한다고 가정하였고 우회유량 발생시 오염부하량 산정은 건기평균유량에 유량변동부하율을 곱하여 시간최대유량으로 전환한 후 강우 지속기간 동안만 우회유량이 발생하는 것으로 가정하였다. CSO 유량은 처리구역/배수구역 면적비에 따라 3개의 그룹으로 구분한 뒤 검증된 SWMM-온천천 모형의 각 소유역별 불투수면적비와 비교하여 유사한 소유역을 각 그룹의 대표유역으로 선정하였다. 선정된 소유역의 CSO 유량과 수문현상의 비선형적인 관계를 고려할 수 있는 신경망 기법을 적용하여 강우특성에 따른 CSO 오염부하량 산정을 실시하였다. 산정결과를 바탕으로 각 하수처리장별 비점저감 기여율을 산정한 결과 대구북부 처리장에서 21.56%로 가장 높은 효율을 보여줬으며 거창가조 지점에서 0.11%로 가장 낮은 효율을 보여주는 것을 확인 할 수 있었다. 이러한 결과를 바탕으로 낙동강유역 내 위치한 하수처리장의 효율성에 대해 알 수 있으며 개선되어야 할 처리장들을 알 수 있었다. 또한 획일화된 방법이 아닌 차별화된 원단위법을 통한 오염부하량 산정은 앞으로의 연구방향에 있어서 좋은 사례가 될 것으로 사료된다.

• 한국음향학회지
• /
• 제12권6호
• /
• pp.13-20
• /
• 1993

충격 응답 시간이 긴 시스템을 모델링하기 위한 실시간 적응 디지털 필터를 구현하였다. 대상 시스템의 충격 응답 시간이 길 때, 일반적인 적응 디지털 필터를 사용하는 경우 발생하는 수렴 속도 저하와 계산량 증가 문제를 해결하기 위해서 서브밴드 구조를 갖는 적응 디지털 필터를 구성하였다. 실시간 처리 시스템에서는 GQMF을 사용하여 입력 신호를 4개 대역으로 분할하여 각 대역별로 적응 필터링을 수행함으로써 수렴 속도를 향상시킨다. 또한 대역별 신호를 동시에 분산 처리하기 때문에 계산량 면에서 효율적이므로 시스템의 충격 응답이 긴 경우에는 실시간 처리가 가능하다. 하드웨어 구성은 범용 신호 처리 프로세서인 DSP56001을 호스트 프로세서로 사용하며, 적응 디지털 필터 칩 DSP56200을 사용하여 각 대역 적응 필터를 구성하였다. 실험은 충격 응답 시간이 16 kHz 필터링 시 2000 탭 길이로 가정된 시스템을 대상으로 부동 소수점 시뮬레이션 결과와 실시간 처리 시스템의 결과를 비교하였다. 밴드를 나누지 않은 기존의 방법과 서브밴드 시스템의 비교 실험 결과 입력이 백색 잡음인 경우 대역별 간섭에 의한 성능 저하가 있었으나, 음성과 유사한 특성을 갖는 유색 잡음인 경우 서브밴드 시스템이 단일 시스템에 비해 성능 향상을 보였다.