• 제목/요약/키워드: Data-centric

검색결과 468건 처리시간 0.025초

스파크 프레임워크를 위한 병렬적 k-Modes 알고리즘 (Parallel k-Modes Algorithm for Spark Framework)

  • 정재화
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권10호
    • /
    • pp.487-492
    • /
    • 2017
  • 클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.

태양 에너지 수집형 IoT 엣지 컴퓨팅 환경에서 효율적인 오디오 딥러닝을 위한 에너지 적응형 데이터 전처리 기법 (Energy-Aware Data-Preprocessing Scheme for Efficient Audio Deep Learning in Solar-Powered IoT Edge Computing Environments)

  • 유연태;노동건
    • 대한임베디드공학회논문지
    • /
    • 제18권4호
    • /
    • pp.159-164
    • /
    • 2023
  • Solar energy harvesting IoT devices prioritize maximizing the utilization of collected energy due to the periodic recharging nature of solar energy, rather than minimizing energy consumption. Meanwhile, research on edge AI, which performs machine learning near the data source instead of the cloud, is actively conducted for reasons such as data confidentiality and privacy, response time, and cost. One such research area involves performing various audio AI applications using audio data collected from multiple IoT devices in an IoT edge computing environment. However, in most studies, IoT devices only perform sensing data transmission to the edge server, and all processes, including data preprocessing, are performed on the edge server. In this case, it not only leads to overload issues on the edge server but also causes network congestion by transmitting unnecessary data for learning. On the other way, if data preprocessing is delegated to each IoT device to address this issue, it leads to another problem of increased blackout time due to energy shortages in the devices. In this paper, we aim to alleviate the problem of increased blackout time in devices while mitigating issues in server-centric edge AI environments by determining where the data preprocessed based on the energy state of each IoT device. In the proposed method, IoT devices only perform the preprocessing process, which includes sound discrimination and noise removal, and transmit to the server if there is more energy available than the energy threshold required for the basic operation of the device.

차세대 한국형 공용데이터링크 개발을 위한 국·내외 공용데이터링크 기술 동향 분석 (Analysis of Common Data Link Technology Trends for the Next Generation Korean Common Data Link Development)

  • 강위필;송주형;이경훈;이대홍;정성진;최형진
    • 한국통신학회논문지
    • /
    • 제39C권3호
    • /
    • pp.209-222
    • /
    • 2014
  • 현대전의 전쟁 개념은 정보 통신 기술의 발전과 함께 지휘 통제 과정을 네트워크로 연계하여 전투 수행 능력을 향상시키는 네트워크 중심전 (NCW, Network Centric Warfare)으로 변화하고 있다. 이에 따라, 네트워크를 통한 정보의 우위를 점유하는 NCW의 구현에 있어, 감시 정찰 체계로부터 획득한 정보정찰감시 (ISR, Intelligence Surveillance Reconnaissance) 정보의 고속 전송을 위해 개발된 공용데이터링크 (CDL, Common Data Link) 기술이 핵심 요소로 고려되고 있다. 세계 각국에서는 CDL의 전송속도 및 네트워킹 기능을 향상시키기 위한 기술 개발에 주력하고 있으며, 우리 군도 자립적인 CDL 기술 개발의 필요성을 인식하고 MPI-CDL (Multi-Platform Image and Intelligence Common Data Link)을 개발하였다. 하지만 다수 체계 간 대용량 ISR 정보를 신속하게 수집 제공하기에는 최대 전송속도 및 네트워킹 기능 성능이 해외 장비 대비 미흡한 상황으로, 전체적인 성능을 향상시킨 차세대 CDL 개발이 필요한 실정이다. 따라서 본 논문에서는 차세대 한국형 CDL 개발을 위해, 현재까지의 CDL 개발 흐름과 해외 선행 장비의 기술 동향을 살펴보고, 향후 지향해야 할 차세대 CDL 개발 방향에 대해 제시한다.

모바일 데이터서비스 선택 결정요인에 관한 연구 (A Study on Determinants of Consumers' Choice of Mobile Data Service)

  • 최새솔;한성수
    • 한국통신학회논문지
    • /
    • 제40권1호
    • /
    • pp.115-123
    • /
    • 2015
  • 스마트폰과 LTE 서비스가 국내 이동통신시장의 주류적 단말과 서비스로 자리 잡으면서, 데이터 서비스의 가치와 중요도는 더욱 높아지고 있다. 이미 이동통신 사업자들은 데이터 서비스를 시장의 핵심 니즈로 인식하고, 전송속도, 데이터 제공량, 무제한 요금 등 다양한 데이터 서비스 품질요소로 소비자에게 소구하고 있다. 따라서 성숙기에 진입한 스마트폰 시장에서 과연 소비자가 어떠한 기준으로 데이터 서비스를 선택 하는가?는 매우 중요한 문제로 인식된다. 이러한 배경에서, 본 연구는 이동통신 이용자의 데이터 서비스 선택 결정요인과 세분화된 이용집단내에서의 서비스선택 속성의 상대적 중요도에 대해 다루고 있다. 본 연구는 데이터서비스 중심 시대의 다양화된 이용자특성의 이해를 확장하며, 관련 통신정책 및 사업전략의 방향 설정에 시사점을 제공한다.

커넥티드 차량 엔디엔 네트워크 안에 푸쉬 기반 정보 서비스를 위한 전달 기법 분석 (Analysis of Forwarding Schemes for Push-based Information Service in Connected Vehicles over NDN)

  • 임헌국
    • 한국정보통신학회논문지
    • /
    • 제25권2호
    • /
    • pp.280-285
    • /
    • 2021
  • VNDN 기술을 커넥티드 차량의 인포테인먼트 응용 서비스를 위한 통신 기술로 활용할 시 데이터가 통신의 주체가 되는 데이터중심네트워킹 기술 실현이 가능하며, 차량 보안 공격 및 해킹, 장거리 데이터 전송 시 성능 저하, 잦은 데이터 끊김 현상 등 현재의 호스트 중심 인터넷에 기반한 커넥티드 차량의 인포테인먼트 응용 서비스 기술이 갖는 한계를 극복 할 수 있다. VNDN 안에 지연에 매우 민감한 critical 정보 데이터를 RSU(Road Side Unit) 등에게 푸쉬 기반으로 전달해 주기 위한 Data 패킷 포워딩 이슈는 VNDN 기반 응용 서비스 실현을 위해 해결해야 할 이슈 중 하나이며, 이를 해결하기 위해 먼저 NDN 환경하에서 푸쉬 기반 데이터 트래픽을 지원해주기 위한 현존하는 포워딩 기법들을 포괄적으로 분석해 보고 각 기법 들을 성능 측면에서 비교 분석해 본다. 이를 통해 VNDN 환경하에서 보다 향상된 푸쉬 기반 중요 데이터 포워딩 기법 연구를 위한 사전 지식으로 활용되어질 수 있기를 기대한다.

대규모 언어 모델의 최적화를 위한 지시형 미세 조정과 LoRA 결합 접근법 (Instruction Fine-tuning and LoRA Combined Approach for Optimizing Large Language Models)

  • 김상국;노경란;한혁;최붕기
    • 산업경영시스템학회지
    • /
    • 제47권2호
    • /
    • pp.134-146
    • /
    • 2024
  • This study introduces and experimentally validates a novel approach that combines Instruction fine-tuning and Low-Rank Adaptation (LoRA) fine-tuning to optimize the performance of Large Language Models (LLMs). These models have become revolutionary tools in natural language processing, showing remarkable performance across diverse application areas. However, optimizing their performance for specific domains necessitates fine-tuning of the base models (FMs), which is often limited by challenges such as data complexity and resource costs. The proposed approach aims to overcome these limitations by enhancing the performance of LLMs, particularly in the analysis precision and efficiency of national Research and Development (R&D) data. The study provides theoretical foundations and technical implementations of Instruction fine-tuning and LoRA fine-tuning. Through rigorous experimental validation, it is demonstrated that the proposed method significantly improves the precision and efficiency of data analysis, outperforming traditional fine-tuning methods. This enhancement is not only beneficial for national R&D data but also suggests potential applicability in various other data-centric domains, such as medical data analysis, financial forecasting, and educational assessments. The findings highlight the method's broad utility and significant contribution to advancing data analysis techniques in specialized knowledge domains, offering new possibilities for leveraging LLMs in complex and resource-intensive tasks. This research underscores the transformative potential of combining Instruction fine-tuning with LoRA fine-tuning to achieve superior performance in diverse applications, paving the way for more efficient and effective utilization of LLMs in both academic and industrial settings.

콘텐츠 중심 네트워킹 환경에서의 Fake Data Filtering Method 연구 (A Study on Fake Data Filtering Method of CCN)

  • 김대엽
    • 정보보호학회논문지
    • /
    • 제24권1호
    • /
    • pp.155-163
    • /
    • 2014
  • 네트워크 성능 향상을 위하여 콘텐츠 중심 네트워킹(CCN)은 콘텐츠 전송 경로 상에 있는 네트워크 중간 노드들이 중계하는 콘텐츠를 임시로 저장하고, 중간 노드가 임시 저장된 콘텐츠에 대한 요청 메시지 (Interest)를 수신하면, 해당 노드는 Interest를 콘텐츠 제공자에게 전송하지 않고, 임시 저장된 콘텐츠를 응답 메시지 (Data)로 콘텐츠 요청자에게 전송한다. 중간 노드에 의한 Interest 처리 방식은 효율적인 콘텐츠 전송을 가능케 할 뿐만 아니라 콘텐츠 제공자에게 집중되는 Interest를 분산 처리되게 함으로써 콘텐츠 제공자 또는 그 주변 네트워크 노드에서 발생하는 네트워크 병목현상을 효과적으로 해결할 수 있다. 이를 위하여 CCN 노드는 수신된 Data를 임시 저장하는 Content Store와 Data를 요청자에게 전송하기 위해 Interest 유입 경로를 저장/관리하는 Pending Interest Table (PIT)와 같은 자원을 추가적으로 운영한다. 그러나 공격 목표 노드에 대량의 Fake Interest을 전송하여 특정 노드의 PIT 자원을 고갈시켜 네트워킹을 방해하는 서비스 거부 공격에 대한 가능성이 제기 되었다. 본 논문에서는 앞서 제기된 Fake Interest를 이용한 PIT 공격 및 대응 방안을 살펴보고, Fake Data를 이용한 새로운 공격 방법 및 대응 방안을 제안한다. 또한, 제안된 방식을 시뮬레이션을 통하여 그 성능을 평가 한다.

ASBU기반의 항공데이터 종합관리망 테스트베드 구축방안 (A Method of Test-bed Implementation for ASBU-Based Integrated Aeronautical Data Management Network)

  • 김진욱;윤인섭;김상욱;정재학;최상방;박효달
    • 한국정보통신학회논문지
    • /
    • 제17권11호
    • /
    • pp.2668-2676
    • /
    • 2013
  • 국제민간항공기구(ICAO)는 ASBU(Aviation System Block Upgrade)를 통해서 2013년부터 20년간 항공관련 데이터 시스템의 성능을 향상시키는 프로그램을 채택하였다. 프로그램의 일부분으로써 SWIM(System Wide Information Management) 기술 개발을 통한 항공통신 데이터를 종합 관리하는 망에 대한 연구개발은 미국, 유럽 선진국들을 중심으로 진행 중이다. 이에 따라, 본 논문에서는 선진국들의 개발 동향과 대등한 기술개발을 위해 SOA(Service Oriented Architecture) 개념을 적용한 항공 데이터 서비스 아키텍처 기술개발, 항공 데이터의 종합적 관리를 위한 미래형 데이터 관리 모델 개발, 기존의 항공 데이터 시스템과 연동을 위한 어댑터 기술 개발을 통하여 사용자 중심의 항공데이터 종합 관리망 기술을 개발하는 방법에 기반한 테스트베드 구축 방안을 제안한다.

방공작전 예비체계의 QoS 지원 (QoS Support in the Air Defense Alternative System)

  • 심동섭;이영란;김기형
    • 한국군사과학기술학회지
    • /
    • 제13권5호
    • /
    • pp.903-909
    • /
    • 2010
  • ADAS is the air defense control system performing air surveillance and identification of ROK and near air. This system is self-developed by Air Force, currently operated successfully as the alternative system of MCRC. ADAS processes converting and combining transferred the real time radar data detected by radars. additionally, it displays significant radar data as producing in tracks. Then, it uses the message queue for IPC(Inter Process Communication). the various tactical data processed in the server is ultimately send to the network management process through the message queue for transmitting to the weapon director console. the weapon director receives this transmitted tactical data through the console to execute air defense operations. However, there is a problem that data packet is delayed or lost since the weapon Director does not receive as the amount of tactical data from the server overflowed with air tracks and missions increased. This paper improved the algorism to display and transmit the various tactical data processed from ADAS server to numbers of the weapon director console in the real time without any delay or lost. Improved the algorism, established at exercise, the development server in the real operation network and the weapon director console, is proved by comparing the number of sending tactical data packets in the server and receiving packets in the weapon director.

From Machine Learning Algorithms to Superior Customer Experience: Business Implications of Machine Learning-Driven Data Analytics in the Hospitality Industry

  • Egor Cherenkov;Vlad Benga;Minwoo Lee;Neil Nandwani;Kenan Raguin;Marie Clementine Sueur;Guohao Sun
    • Journal of Smart Tourism
    • /
    • 제4권2호
    • /
    • pp.5-14
    • /
    • 2024
  • This study explores the transformative potential of machine learning (ML) and ML-driven data analytics in the hospitality industry. It provides a comprehensive overview of this emerging method, from explaining ML's origins to introducing the evolution of ML-driven data analytics in the hospitality industry. The present study emphasizes the shift embodied in ML, moving from explicit programming towards a self-learning, adaptive approach refined over time through big data. Meanwhile, social media analytics has progressed from simplistic metrics deriving nuanced qualitative insights into consumer behavior as an industry-specific example. Additionally, this study explores innovative applications of these innovative technologies in the hospitality sector, whether in demand forecasting, personalized marketing, predictive maintenance, etc. The study also emphasizes the integration of ML and social media analytics, discussing the implications like enhanced customer personalization, real-time decision-making capabilities, optimized marketing campaigns, and improved fraud detection. In conclusion, ML-driven hospitality data analytics have become indispensable in the strategic and operation machinery of contemporary hospitality businesses. It projects these technologies' continued significance in propelling data-centric advancements across the industry.