• Title/Summary/Keyword: 확장 가능형 구조

검색결과 164건 처리시간 0.02초

농업기상재해 조기경보시스템에서의 고해상도 격자형 자료의 처리 속도 향상 기법 (Speed-up Techniques for High-Resolution Grid Data Processing in the Early Warning System for Agrometeorological Disaster)

  • 박주현;신용순;김성기;강위수;한용규;김진희;김대준;김수옥;심교문;박은우
    • 한국농림기상학회지
    • /
    • 제19권3호
    • /
    • pp.153-163
    • /
    • 2017
  • 데이터 처리 속도는 예보 능력과 관련이 있다. 최신의 입력 자료를 이용한 예측 데이터의 고속 생산은 신속한 대처를 가능하게 한다. 또한 알고리즘 작성, 계산, 결과 평가, 알고리즘 개선으로 이어지는 순환 구조를 원활하게 할 뿐만 아니라 오류 발생시 빠른 시간 내에 복구할 수 있게 하는 등 매우 중요한 요소이다. 현재의 조기경보 시스템은 매 계산 주기 마다 섬진강 유역의 10개 시군에 대해 30미터 해상도의 격자형 자료를 400개 이상 생성하고 있으며(중간 데이터 포함) 최대 9일까지 예보되는 자료를 포함할 경우 600개 이상이다. 이는 전국을 30미터 해상도로 약 45개를 생성하는 계산양과 비슷하다. 또한 14,000여개의 필지에 대한 구역 통계와, 각 래스터의 평균, 최대, 최소 등의 통계자료 생성도 함께 수행 해야 한다. 이와 같은 대량의 데이터를 한정된 시간 내로 처리하기 위한 몇 가지 기법을 적용하여 적용하였으며, 아직 적용은 못하였으나 가능성의 여부를 평가해 보는 것으로 본 연구를 진행하였다. 그 결과 앞서 제시된 래스터 캐시, NFS 캐시, 분산 처리를 모두 적용할 경우 데이터 처리 시간을 1/8로 단축 시킬 수 있음이 확인되었다. 또한 GPU를 이용한 연산을 적용할 경우 일부 모듈에 대해 매우 큰 폭으로 수행 시간을 단축 시킬 수 있음을 확인하였다. 다만 캐시를 위한 추가적인 디스크, GPU라는 별도의 하드웨어, 추가된 하드웨어 지원을 위한 고출력 전원 장치와 이에 따른 UPS (Uninterruptible power supply, 무정전 전원공급 장치)까지 상대적으로 높은 사양으로 준비해야 하는 비용적인 문제가 발생할 수 있다. 본 연구에서 제시한 네 가지 기법 중 세 가지는 계산 서버 추가를 통한 수평적 성능 확장에 관한 것이다. 하지만 서버의 추가가 처리 속도 향상으로 이어지지 않음은 물론 오히려 저하시키는 경우가 있다. 본 연구에서는 특정 시간 내로 작업을 완료 시키지 못하면 해당 작업을 반환하여 다른 서버가 처리하는 간단한 방식을 이용한다. 하지만 이런 문제를 지속적으로 발생시키는 계산 서버가 발견된다면 정해진 기준에 따라 계산 작업에서 완전히 퇴출 시켜야 성능 향상에 도움이 된다. 따라서 처리 속도에 대한 정확한 원인을 검사하고 이를 실시간으로 반영할 수 있는 기법이 필요하다.

긴구배수로 감세공의 Filp Bucket형 이용연구 (Experimental Study of Flip-Bucket Type Hydraulic Energy Dissipator on Steep slope Channel)

  • 김영배
    • 한국농공학회지
    • /
    • 제13권1호
    • /
    • pp.2206-2217
    • /
    • 1971
  • 본연구(本硏究)는 Dam 또는 여수토(餘水吐) 방수로등(放水路等) 급구배수로(急勾配水路)에 고속(高速)으로 유하(流下)되는 물을 감세처리(減勢處理)하기 (爲)한 감세공형식중(減勢工型式中) 보다도 구조(構造)가 간단(簡單)하고 시공(施工)이 용역(容易)하며 경제성(經濟性)이 높은 Flip Bucket 형감세공(型減勢工)에 의(義)하여 수리특성(水理特性)에 따른 일반적(一般的) 적용조건(適用條件)과 설계시공(設計施工)의 발전(發展)을 도모(圖謀)하기 위(爲)하여 연구(硏究)한 것으로서 그 결과(結果)를 요약(要約)하면 다음과 같다. 1. Flip Bucket의 수리특성(水理特性)과 일반적(一般的) 적용조건(適用條件) Flip Bucket는 일반적(一般的)으로 다음과 같은 조건(條件)을 갖일 때에 채용(採用)할 수 있다. 가. 하류하천(下流河川)의 수위(水位)가 얕어서 도수형(跳水型) 감세공법(減勢工法)을 이용(利用)하며는 막대(莫大)한 공사비(工事費)를 요(要)하게 될 때 나. 하류하천(下流河川)의 하상(河床)이 안정(安定)할 수 있는 양질(良質)의 암반(岩盤)일 경우 다. 하류하천(下流河川)은 여수토(餘水吐) 방수로(放水路)의 중심선(中心線)에 연(沿)하여 적어도 전수두(全水頭)의 $3{\sim}5$배(倍)되는 거리까지는 하심(河心)이 거이 직선(直線)인 여건(與件)에 있을 경우 라. 방사수맥(放射水脈)의 낙하지점(落下地點)을 중심(中心)으로 해서 주위(周圍)에 민가(民家), 경지(耕地), 중요시설물등(重要施設物等)이 없고 수맥낙하(水脈落下)로 인(因)하여 생기는 소음(騷音), 토사붕양(土砂崩壤), 물방울등(等)으로 피해(被害)를 받을 염려(念慮)가 없을 경우 2. 설계(設計) 및 시공상(施工上)의 적용사항(適用事項) 1항(項)과 같은 현지조건(現地條件)을 갖이고 실제(實際) Flip Bucket 형(型)으로 설계(設計) 또는 시공(施工)을 할 경우 고려(考慮)하여야 할 사항(事項)은 가. Bucket의 반경(半徑)(R)은 $R=7h_2$로 적용(適用)이 가능(可能)하다. ($h_2$: Bucket 시점(始點)의 평균수심(平均水深) 나. 본형식(本型式)은 한계지면이하(限界施面以下) 방수로(放水路)의 구배(勾配)가 $0.25<\frac{H}{L}<0.75$의 수로(水路)에서만 채용(採用)한다. 다. 방사수맥(放射水脈)은 가급적(可及的) 하상면(河床面)에 직각(直角)에 가까운 각도(角度)로 낙하(落下)시켜야 하며 그러기 위(爲)해서는 수맥(水脈)을 높이 또는 멀리 방사(放射)시켜야 한다. 상기목적(上記目的)을 만족(滿足)시키는 Flip의 앙각(仰角)은 $\theta=30^{\circ}{\sim}40^{\circ}$를 적용(適用)하는 것이 좋다. 라. 상기(上記) 가${\sim}$다항(項)을 적용(適用)했을 때 유량별(流量別) 방사수맥(放射水脈)의 낙하거리(落下距離)는 그림-4.1에 의(依)하여 쉽게 추정(推定)할 수 있다.(단 실물(實物)에 대(對)한 제량(諸量)의 환산(換算)은 표(表-3.2)에 제시(提示)된 Froude 상사율(相似律)을 적용(適用)할 것) 마. Bucket 부(部)에 Chute Blocks를 설치(設置)하는 것은 방사수맥(放射水脈)의 낙하범위(落下範圍)를 확장(擴張), Energy를 분배(分配)시켜 주므로 하류하상(下流河床)의 세굴심(洗掘深)을 감소(減少)시키는 이점(利點)은 있으나 소맥낙하거리(小脈落下距離)는 다소(多少) 단축(短縮)되는 경향(傾向)이 있다. 바. 수맥낙하점(水脈落下點)에는 세굴(洗掘)에 의(依)한 깊은 Water Cushion을 형성(形成)한다. 최종적(最終的)으로 도달(到達)하는 Water Cushion의 깊이는 하상구성재료(河床構成材料)의 조성(組成)과 재질(材質)에는 거이 무관(無關)하며 단위폭당(單位幅當)의 유량(流量)과 전수두(全水頭)에 따라 소요(所要) 깊이까지 세굴(洗掘)된다. 사. 빈도(頻度)가 잦은 소유량(小流量)에서는 수맥(水脈)의 낙하거리(落下距離)가 단축(短縮)되어 Flip Bucket 하류단(下流端) 직하류(直下流)를 세굴(洗掘)하게 되므 Bucket로 하류단(下流端)은 견고(堅固)한 암반(巖盤)에 충분(充分)한 깊이까지 삽입절연(揷入絶緣)시켜 수맥하부(水脈下部)의 공기유통(空氣流通)을 원활(圓滑)하게 하므로서 Cavitation을 방지(防止)할 수 있다. 지하벽(直下壁)은 보통(普通) Bucket 말단(末端)에서 약(約) $0.3{\sim}0.5m$ 정도(程度)는 수평(水平)으로 하고 수평(水平)과 내각(內角)이 $120^{\circ}{\sim}130^{\circ}$되게 절단(切斷)하여 적당(適當)한 곳에서 수직(垂直)으로 하여 암반(巖盤)에 견고(堅固)히 절연(絶緣)시킨다. 아. 하상(河床)에 돌입(突入)한 고속(高速) Jet는 수두(水頭)의 크기에 따라 막대(莫大)한 Energy의 일부(一部)를 함유(含有)한채 하상면상(河床面上)을 유하(流下)하게 되므로 이 영향(影響)을 받는 하류제방(下流堤防)에는 상당구간(相當區間)까지 사석(捨石) 또는 기타(其他)의 방호조치(防護措置)를 강구(講究)해야 한다. 자. 낙하지점(落下地點)의 조건(條件)으로 보아 자연낙하지점(自然落下地點)보다 더욱 양호(良好)한 지점(地點)이 주위(周圍)에 구비(具備)되어 있을 경우에는 별도(別途)로 수리실험(水理實驗)을 통(通)하여 수맥(水脈)의 변이방법(變移方法)을 강구(講究)해야 한다. 차. 수로(水路)의 중심선(中心線)이 만곡(灣曲)을 갖던가 또는 본연구(本硏究) 범위(範圍)에서 제외(除外)된 구조물(構造物)에서 본형식(本型式)을 계획(計劃)할 때는 별도(別途)로 수리실험(水理實驗)을 행(行)하여야 한다.

  • PDF

비접촉 데이터 사회와 아카이브 재영토화 (Contactless Data Society and Reterritorialization of the Archive )

  • 조민지
    • 기록학연구
    • /
    • 제79호
    • /
    • pp.5-32
    • /
    • 2024
  • 한국 정부가 UN의 2022년 전자정부 발전 지수에서 UN가입 193개국 중 3위에 랭크됐다. 그동안 꾸준히 상위국으로 평가된 한국은 분명 세계 전자정부의 선도국이라 할 수 있다. 전자정부의 윤활유는 데이터다. 데이터는 그 자체로 정보가 아니고 기록도 아니지만 정보와 기록의 원천이며 지식의 자원이다. 전자적 시스템을 통한 행정 행위가 보편화된 이후 당연히 데이터에 기반한 기록의 생산과 기술이 확대되고 진화하고 있다. 기술은 가치중립적인 듯 보이지만 사실 그 자체로 특정 세계관을 반영하고 있다. 더구나 비물질적 유통을 기반으로 하는 디지털 세계, 온라인 네트워크의 또 다른 아이러니는 반드시 물리적 도구를 통해서만 접속하고 접촉할 수 있다는 점이다. 디지털 정보는 논리적 대상이지만 반드시 어떤 유형이든 그것을 중계할 장치 없이는 디지털 자원을 읽어 내거나 활용할 수 없다. 초연결, 초지능을 무기로 하는 새로운 기술의 디지털 질서는 전통적인 권력 구조에 깊은 영향력을 끼칠 뿐만 아니라 기존의 정보 및 지식 전달 매개체에도 마찬가지의 영향을 미치고 있다. 더구나 데이터에 기반한 생성형 인공지능을 비롯해 새로운 기술과 매개가 단연 화두다. 디지털 기술의 전방위적 성장과 확산이 인간 역능의 증강과 사유의 외주화 상황까지 왔다고 볼 수 있을 것이다. 여기에는 딥 페이크를 비롯한 가짜 이미지, 오토 프로파일링, 사실처럼 생성해 내는 AI 거짓말(hallucination), 기계 학습데이터의 저작권 침해에 이르기까지 다양한 문제점 또한 내포하고 있다. 더구나 급진적 연결 능력은 방대한 데이터의 즉각적 공유를 가능하게 하고 인지 없이 행위를 발생시키는 기술적 무의식에 의존하게 된다. 그런 점에서 지금의 기술 사회의 기계는 단순 보조의 수준을 넘어서고 있으며 기계의 인간 사회 진입은 고도의 기술 발전에 따른 자연적인 변화 양상이라고 하기에는 간단하지 않은 지점이 존재한다. 시간이 지나며 기계에 대한 관점이 변화하게 될 것이기 때문이다. 따라서 중요한 것은 기계를 통한 커뮤니케이션, 행위의 결과로서의 기록이 생산되고 사용되는 방식의 변화가 의미하는 사회문화적 함의에 있다. 아카이브 영역에서도 초지능, 초연결사회를 향한 기술의 변화로 인해 데이터 기반 아카이브 사회는 어떤 문제에 직면하게 될 것인지, 그리고 그 속에서 누가 어떻게 기록과 데이터의 지속적 활동성을 입증하고 매체 변화의 주요 동인이 될 것인가에 대한 연구가 필요한 시점이다. 본 연구는 아카이브가 행위의 결과인 기록뿐만 아니라 데이터를 전략적 자산으로 인식할 필요성에서 시작했다. 이를 통해 전통적 경계를 확장하고 데이터 중심 사회에서 어떻게 재영토화를 이룰 수 있을지를 알아보았다.

기계 학습 기반 분석을 위한 다변량 정형 데이터 처리 및 시각화 방법: Titanic 데이터셋 적용 사례 연구 (Multi-Variate Tabular Data Processing and Visualization Scheme for Machine Learning based Analysis: A Case Study using Titanic Dataset)

  • 성주형;권기원;박경원;송병철
    • 인터넷정보학회논문지
    • /
    • 제25권4호
    • /
    • pp.121-130
    • /
    • 2024
  • 정보 통신 기술의 기하급수적인 발전에 따라 확보 가능한 데이터의 종류와 크기가 증가하고 있다. 이러한 대량의 데이터를 활용하기 위해, 통계 등 확보한 데이터를 분석하는 것이 중요하지만 다양화되고 복잡도가 증가한 데이터를 일반적인 방법으로 처리하는 것에는 명확한 한계가 있다. 한편, 연산 처리 능력 고도화 및 자동화 시스템에 대한 수요 증가에 따라 다양한 분야에 기계 학습을 적용하여 그동안 해결하지 못하였던 문제들을 풀고자 하는 시도가 증가하고 있다. 기계 학습 모델의 성능을 확보하기 위해서 모델의 입력에 사용되는 데이터를 가공하는 것과 해결하고자 하는 목적 함수에 따라 모델을 설계하는 것이 중요하다. 많은 연구를 통해 데이터의 종류 및 특성에 따라 데이터를 처리하는 방법이 제시되었으며, 그 방법에 따라 기계 학습의 성능에는 큰 차이가 나타난다. 그럼에도 불구하고, 데이터의 종류와 특성이 다양해짐에 따라 데이터 분석을 위하여 어떠한 데이터 처리 방법을 적용해야 하는지에 대한 어려움이 존재한다. 특히, 기계 학습을 이용하여 비선형적 문제를 해결하기 위해서는 다변량 데이터를 처리하는 것이 필수적이다. 본 논문에서는 다양한 형태의 변수를 포함하는 Kaggle의 Titanic 데이터셋을 이용하여 기계 학습 기반으로 데이터 분석을 수행하기 위한 다변량 정형 (tabular) 데이터 처리 방법에 대해 제시한다. 데이터 특성에 따른 통계 분석을 적용한 입력 변수 필터링, 데이터 정규화 등의 처리 방법을 제안하고, 데이터 시각화를 통해 데이터 구조를 분석한다. 마지막으로, 기계 학습 모델을 설계하고, 제안하는 다변량 데이터 처리를 적용하여 모델을 훈련시킨다. 그 이후, 훈련된 모델을 사용하여 탑승객의 생존 여부 예측 성능을 분석한다. 본 논문에서 제시하는 다변량 데이터 처리와 시각화를 적용하여 다양한 환경에서 기계 학습 기반 분석에 확장할 수 있을 것으로 기대한다.