• 정보과학회 논문지
• /
• 제43권8호
• /
• pp.910-918
• /
• 2016

많은 종류의 데이터들은 텐서로 표현될 수 있다. 텐서란 다차원 배열을 의미하며, 그 예로 (사용자, 사용자, 시간)으로 이루어진 소셜 네트워크 데이터가 있다. 이러한 다차원 데이터 분석에 있어서 텐서 생성기는 시뮬레이션, 다차원 데이터 모델링 및 이해, 샘플링/외삽법 등 다양한 응용이 가능하다. 하지만, 존재하는 텐서 생성기들은 실제 세계의 텐서처럼 멱 법칙을 따르는 특성과 희박성을 갖는 텐서를 생성할 수 없다. 또한, 처리가능한 텐서 크기에 한계가 존재하고, 분산시스템에서 추가 분석을 하려면 텐서를 분산시스템에 업로드 하는 추가비용이 든다. 본 논문은 분산 테라스케일 텐서 생성기(TeT)를 제안함으로써 이러한 문제를 해결하고자 한다. TeT는 희박성을 갖는 랜덤 텐서와 희박성과 멱 법칙을 따르는 특성을 갖는 Recursive-MATrix 텐서, 크로네커 텐서를 크기 제한없이 생성할 수 있다. 또한, TeT에서 생성된 텐서는 같은 분산 시스템에서 추가적인 텐서분석이 가능하다. TeT는 효율적인 설계로 인해 거의 선형적인 머신확장성을 보인다.

• 정보화연구
• /
• 제11권1호
• /
• pp.63-73
• /
• 2014

웹의 발달로 텍스트 등으로 이루어진 비정형 데이터의 활용에 대한 관심이 높아지고 있다. 웹상에서 사용자들이 작성한 대부분의 비정형 데이터는 사용자의 주관이 담겨져 있어 이를 적절히 분석할 경우 사용자의 취향이나 주관적인 관점 등의 아주 유용한 정보를 얻을 수 있다. 이 논문에서는 이러한 비정형 텍스트 문서를 다양한 차원으로 분석하기 하는데 OLAP(온라인 분석 처리)의 다차원 데이터 큐브 기술을 활용한다. 다차원 데이터 큐브는 간단한 문자나 숫자 형태의 정형적인 데이터에 대해 다차원 분석하는데 널리 사용되었지만, 텍스트 문장으로 이루어진 비정형 데이터에 대해서는 활용되지 않았다. 이러한 텍스트 데이터베이스에 포함된 정보를 다차원으로 분석하기 위한 방법으로 텍스트 큐브 모델이 최근에 제안되었는데, 이 텍스트 큐브는 정보 검색에서 널리 사용하는 용어 빈도수(Term Frequency)와 역 인덱스(Inverted Index)를 측정값으로 이용하여 텍스트 데이터베이스에 대한 다차원 분석을 지원한다. 이 논문에서는 이러한 다차원 텍스트 큐브를 활용하여 실제 서비스되고 있는 호텔 정보 공유 사이트의 리뷰 데이터 분석에 활용하였다. 이를 위해 호텔 리뷰 데이터에 대한 다차원 텍스트 큐브를 생성하였으며, 이를 이용하여 다차원 키워드 검색 기능을 제공하여 사용자 중심의 의미있는 정보 검색이 가능한 시스템을 설계 및 구현하였다. 또한, 본 논문에서 제안하는 시스템에 대해 다양한 실험을 수행하였으며 이를 통해 제안된 시스템의 실효성을 검증하였다.

• 한국정보시스템학회:학술대회논문집
• /
• 한국정보시스템학회 2000년도 추계학술대회
• /
• pp.6-11
• /
• 2000

수출입 관련 항만물류업무 처리의 효율화를 위해 1996년부터 도입된 EDI는 서류없이 각종 항만물류 및 통관업무를 효율적으로 처리하는데 큰 기여를 하고 있다. 그러나 기존의 방식은 VAN EDI 로써 폐쇄적인 VAN 망을 통하여 EDI VAN사업자가 사용자의 EDI문서를 관련 정부기관에 중계만을 하여 EDI문서에 나타난 각종 데이터의 누적을 통한 물류정보서비스는 제공되고 있지 않다. 한편, EDI를 수신한 각 정부기관에서는 필요한 물류요약정보를 얻기 위해 해당 EDI 문서에서 추출한 데이터를 저장하는 운영 데이터베이스에 접근하여 필요한 요약 정보를 리포트 형태로 프로그램하여 생성하고 있어 정보제공의 시간지연과 프로그램 업무의 과중 및 운영 데이터베이스에 대한 부하가 발생하고 있다. 본 논문의 목적은 이러한 상황에서 수출입 항만물류와 관련한 다차원 정보를 실시간제공하기 위한 데이터웨어하우스를 구축하는데 있다. 일반적으로 데이터웨어하우스는 운영데이터베이스로부터 다차원 구조의 데이터웨어하우스로 데이터를 추출, 전환, 복사함으로써 이루어지지만, 본 연구에서는 EDI 수신 기관의 운영데이터베이스보다 더 원천 데이터인EDI 문서로부터 데이터웨어하우스로 데이터 변환을 함으로써 항만물류 데이터웨어하우스의 데이터 추출 단계를 한 단계 줄였다. 현재 VAN EDI 방식은 그 폐쇄성과 비용 때문에 향후 인터넷을 이용한 XML/EDI로 기술 이전될 것이 예상되며 이러한 상황에서VAN EDI 포맷이 아닌 XML/EDI 문서로 부터 데이터웨어하우스로의 전환을 구현하였다. 본 연구에서는 관세청의 수출통관 EDI에 대해 이를 XML/EDI 로 XML 스키마를 정의하고 이로 생성된 XML 문서를 SQL 서버로 구현된 OLAP 용 데이터웨어하우스로 전환하였다. 본 연구를 통해 XML을 이용한 EDI체제에서 전자문서전송기능과 정보제공기능을 위한 데이터웨어하우스의 연동을 동해 EDI시스템을 다차원 의사결정정보 시스템과 통합하게 하여, 향후 인터넷 기반 XML/EDI 중계서비스에 있어 물류정보서비스도 원활하게 제공할 수 있게될 것으로 기대된다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
• /
• pp.199-201
• /
• 2003

온라인 분석처리 시스템의 핵심 기술인 큐브를 효과적으로 산출하기 위한 많은 연구들이 이루어 졌다. 이러한 연구는 크게 온라인 분석처리 시스템의 결과 데이터를 저장하는 방식에 의해 MOLAP과 ROLAP으로 구분하여 이루어 졌다. 최근에 온라인 분석처리 시스템에서 큐브 산출에 대한 연구로 다중키 엑세스를 효율적으로 처리하는 다차원 파일 구조를 사용하여 집계 연산의 효율을 높이는 연구가 이루어졌다. 본 논문은 이러한 연구들을 바탕으로 다차원 파일 구조를 사용하여 효과적으로 큐브를 산출하고 결과 값을 미리 저장하는 일반적인 방법을 제안한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.115-117
• /
• 2004

롤업과 드릴다운은 다차원 데이터 분석을 위한 주요 연산으로, 각 차원에 정의된 계층구조를 통해 상세 데이터로부터 점차적으로 되는 정보를 분석가에게 제공한다. 이러한 연산 속도를 고속화하기 위해 OLAP 시스템은 사전에 집계 테이블들을 생성해 놓는다. 각 차원은 다중 계층구조를 가질 수도 있으며, 이런 경우 집계 테이블들을 모두 생성하게 되면 데이터 폭발 현상이 발생하게 된다. 본 연구에서는 다중계층 구조를 분류하고, 집계 테이블과 데이터 큐브의 크기를 계산하는 모델을 정립하였다. 이를 통해 분석가는 다중 계층구조에 따른 큐브 크기를 미리 예측할 수 있으며 계층 구조의 모양과 개수를 변경하여 데이터의 양을 조절할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.118-120
• /
• 2004

OLAP의 주요 목표는 대용량 데이터를 다차원적으로 분석하여 그 결과를 신속하게 제공함으로써, 사용자의 의사 결정을 지원하는 것이다. 다차원 분석을 용이하게 하기 위해 차원 계층이 사전에 정의되고 표준화된 연산들이 사용되는데, 그러한 연산들로는 롤업, 드릴다운, 슬라이스, 다이스, 피봇을 들 수 있다. 그러나 분석과정에서 기존에 정의된 데이터의 그룹핑 이외의 다른 그룹핑 방식이 필요할 때가 있으며, 그러한 그룹핑으로 전체 데이터를 분석하는 것을 트렌드 분석이라고 한다. 트렌드 분석은 기업의 의사 결정에 매우 중요한 요소이나, 사전에 정의된 계층을 사용하는 것이 아니므로, 질의 처리 시에 트렌드 분석을 신속하게 하기는 어렵다. 본 연구에서는 트렌드 분석을 고속화하기 위한 방안으로 동적 계층 구조 생성을 제안한다. 특정 차원 기준으로 특정 범위 값으로 합산된 범위 합을 구하기 위해, 기존에 연구되었던 프리픽스섬 방식을 분석하여 문제점을 제시하였고 새로운 기법을 제안하였다. 또한 분석 시에 디스크 접근을 효율적으로 하기 위한 큐브 저장 방식을 제안하였다. 본 연구에서 제안한 방식으로 트렌드 분석을 하였을 때 접근해야 하는 디스크 블록 수도 계산하여 제안한 방법의 효율성을 검증하였다.

• 한국수자원학회논문집
• /
• 제56권7호
• /
• pp.439-449
• /
• 2023

최근 계측 기술의 발전으로 압력계와 유량계 등 다양한 센서를 설치하여 상수도관망의 상태를 효과적으로 파악할 수 있게 되었으나, 도시가 광범위하게 개발됨에 따라 계측 신뢰도에 영향을 미치는 변수는 다양해지고 있다. 특히 상수도관망 분석에 중요한 영향력을 가지는 수요 데이터의 경우 직접 계측의 난이도가 높고 결측이 발생하기 쉬운 것으로 알려져 데이터 생성의 중요도가 증가하고 있다. 본 논문에서는 상수도관망에서 누락된 데이터를 정확하게 생성하기 위해 생성적 딥러닝 모델에 기반한 적대적 학습 기반 오토인코더(ATAE) 모델을 제안한다. 제안된 모델은 판별 신경망과 생성 신경망의 두 가지 신경망의 적대적 학습을 사용하여 압력 데이터로부터 수요 데이터를 생성한다. 학습이 완료된 ATAE 모델의 생성 신경망은 관망의 계측되는 압력 데이터가 존재하는 경우, 그로부터 추정된 관망 수요 데이터를 제공할 수 있다. ATAE 모델은 미국 텍사스주 오스틴의 실제 상수도망에 적용되어 성능이 검증되었다. 수요 및 압력 시계열 데이터의 불확실성 정도에 따른 ATAE 예측 결과의 정확도를 비교하여 데이터 불확실성의 영향을 분석하였으며, 또한 수요 수준에 따른 데이터 수집 기간별 생성 결과를 비교하여 이에 따른 데이터 생성 성능을 검토하였다.

• 경영정보학연구
• /
• 제7권1호
• /
• pp.65-80
• /
• 2005

현재 지하철 운영기관은 만성적인 운영적자를 타개하기 위하여 다각적인 서비스 개선 노력을 하고 있으며, 이를 지원하기 위하여 지하철 통행과 관련된 심층적이고 효과적인 데이터 분석이 필요한 시점이다. 이에 본 연구는 지하철 인구이동 패턴 발견을 위한 분석환경으로 다차원분석시스템(OLAP)을 제안하였다. 지하철 교통카드의 로그 데이터가 이 시스템의 원시데이터로 사용되었고, 다차원 모델링을 통해 데이터마트를 설계.구현하였으며, 다차원분석도구를 이용하여 탐색된 지하철 인구이동 패턴과 맵을 예시하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
• /
• pp.392-394
• /
• 1998

데이터 웨어하우스 시스템은 의사 결정의 지원에 필요한 요약, 분석 작업을 수행하여 다양한 고품질의 정보 서비스를 사용자에게 제공한다[1]. 이러한 데이터 웨어하우스에 사용자가 질의를 요청할 경우 다차원 모델을 고려해 보면 여러 테이블을 조인해야 할 경우가 발생하고 이때 방대한 양의 사실 테이블을 가지고 있는 데이터 웨어하우스는 질의 처리시 성능 저하를 초래 할 수 있다. 그러므로 본 연구에서는 사용자의 질의에서 자주 요구되는 집계사실을 미리 저장하여 데이터 웨어하우스에 대한 질의 처리 성능향상을 기대할 수 있도록 집계사실이 저장될 효율적인 집계 테이블 생성에 따른 설계와 구현을 한다. 이를 수행하기 위해 본 논문에는 집계 사실의 저장방법에 대해 살펴보고, 집계 계획에 근거한 집계테이블 생성 인터페이스의 프로토타입 설계 및 구현을 살펴본다. 이렇게 함으로서 사용자의 의사결정에 필요한 정보를 데이터 웨어하우스에서 더욱 신속하게 얻을 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
• /
• pp.13-15
• /
• 2002

OLAP(On-Line Analytical Processing)은 데이터 웨어하우스에 저장된 정보를 다차원적으로 분석하여 그 결과를 온라인으로 사용자에게 제공하는 제반 기술로써, 비즈니스 인텔리젼스의 핵심 기술 중 하나이다. OLAP 애플리케이션을 개발하기 위해서는 OLAP API를 필요로 하며, 주요 API들로는 OLE DB for OLAP, JOLAP, XML for Analysis (XML/A)를 들 수 있다. 이 중에서 XML/A는 XML 웹서비스를 지원하는 API로써 SOAP, XML, HTTP 등 개방형 인터넷 표준을 따른다. XML/A는 데이터를 XML 형태로 전송함으로써 서로 다른 플랫폼을 갖는 클라이언트와 서버간에 통신을 할 수 있도록 해 준다. 반면. OLAP 오브젝트나 분석 데이터를 서버에 요청하기 위해서 클라이언트는 동일한 형식의 XML 데이터를 매번 생성해야 하는 번거로움을 안고 있다. 본 연구에서는 윈도우즈 환경의 애플리케이견 개발자들이 이러한 번거로운 작업을 하지 않고 XML/A Provider의 웹서비스를 통해 편리한 다차원 데이터 분석을 지원하는 XMLMD(XML Multidimensional) API를 설계하고 구현하였다.