• 한국항행학회논문지
• /
• 제18권5호
• /
• pp.468-475
• /
• 2014

추천시스템은 선호 데이터가 대형화, 컴퓨터 처리능력과 추천 알고리즘 등에 의해 실시간 추천이 어려워지고 있다. 이에 따라 추천시스템은 대형 선호데이터를 분산처리 하는 방법에 대한 연구가 활발히 진행되고 있다. 본 논문은 하둡 분산처리 플랫폼과 머하웃 기계학습 라이브러리를 이용하여, 선호데이터를 분산 처리하는 방법을 연구하였다. 추천 알고리즘은 아이템 협업필터링과 유사한 동시발생 행렬을 이용하였다. 동시발생 행렬은 하둡 클러스터의 여러 노드에서 분산처리를 할 수 있으며, 기본적으로 많은 계산량이 필요하지만, 분산처리과정에서 계산량을 줄일 수 있다. 또한, 본 논문은 동시발생 행렬처리의 분산 처리과정을 4 단계에서 3 단계로 단순화하였다. 결과로서, 맵리듀스 잡을 감소할 수 있으며, 동일한 추천 파일을 생성할 수 있었다. 또한, 하둡 의사 분산모드를 이용하여 데이터를 처리하였을 때 빠른 처리속도를 보였으며, 맵 출력 데이터가 감소되었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.15-17
• /
• 2013

HDFS(Hadoop Distribute File System)는 대용량 파일 처리를 목적으로 설계 되었으며 현재 이상적인 분산 파일 시스템으로 각광 받고 있다. 이러한 HDFS는 기존 분산파일 시스템과 많은 유사성을 가지고 있으나, Fault Tolerance를 제공하고, 데이터 엑세스 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다는 차별성을 가지고 있다. 하지만 실제 HDFS 데이터 집합에는 Small file이 차지하는 비중이 상당히 높으며, 이러한 다수의 Small file 은 데이터 처리에 있어 높은 비용을 초래할 뿐 아니라 Master Node 의 파일 처리 및 메모리 성능에 악영향을 미친다. 따라서 본 논문에서는 HDFS에서 Small file 이 미치는 영향을 분석하고 이러한 문제점을 해결 할 수 있는 로컬 인덱스 파일기반의 파일 병합 기법을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.743-746
• /
• 2008

IEEE 802.16 BWA(Broadband Wireless Access) 기반에서 QoS를 보장하기 위한 연구는 매우 중요하고 활발히 전개되고 있는 분야 중 하나이다. 현재 IEEE 802.16 Standard 기반의 QoS 보장을 위한 여러 메커니즘들이 정의되어 있지만, 단순한 정의일 뿐, 실제 시스템의 설계는 설계자의 몫으로 남겨져 있다. 또한 현재 설계되어있는 메커니즘들은 현재 여러 가지 부분에서 취약성을 보이고 있다. 또한 현재의 메커니즘들은 일반적인 인터넷환경에 맞추어져 있고, IPTV 서비스만을 위한 특화는 되어있지 못하다. 따라서 이 논문은 IEEE 802.16기반을 이용한 IPTV 서비스를 제공할 때 QoS를 보장하기 위한 연구를 하여 IPTV 서비스에서의 MPEG 서비스 제공시 높은 대역폭 사용을 위한 요청(Request) & 할당(Distribute) 알고리즘을 제안한다.

• 한국콘텐츠학회논문지
• /
• 제6권1호
• /
• pp.72-79
• /
• 2006

최근의 MMORPG 게임은 심리스 월드로 분할하는 분산 서버를 구축하고 있다. 본 연구는 이러한 분산서버 간의 공유영역에 해당되는 지역에 대한 충돌처리를 다룬다. 분산 서버간의 공유 영역에 대한 경계영역을 동적으로 조정하기 위해 DLS을 사용하고, 광선과 단말 노드 간의 충돌 위치 관계를 통하여 이웃 노드를 빠르게 탐색한다. 이렇게 구해진 노드의 값을 통하여 객체 간의 충돌처리를 판별한다. 이것은 각 서버가 공유 영역에 대한 정보를 계속 보유할 필요가 없고, 서버간의 경계 영역을 포인터를 이용하여 빠르게 탐색할 수 있게 한다. 충돌은 계층적 경계상자를 이용하여 인접한 개체의 값들을 그룹으로 이진트리로 구축한다. 이러한 처리 방법은 처리량을 이분화 시켜 효과적으로 처리량을 줄일 수 있다. 또한 실시간적으로 발생되는 개체 정보의 변경 시 공유영역에 대한 복사가 필요하지 않으므로 네트워크 트래픽에 대한 처리량도 효과적으로 줄일 수 있다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.213-215
• /
• 2003

Multimedia has to carry data of heterogeous types. Multicast communication techniques can supply the most appropriate infrastructures to such multimedia. Of many multicast protocols, the core based tree (CBT) protocol is the most concentrative studies are conducted on. The CBT places a core router at center of the shared tree and transfers data through the tore router. However, the CBT has two problems due to centralizing all network traffics into a core router. First it can raise bottleneck effect at a core router. Second, it is possible to make an additive processing overhead when core router is distant from receivers. To cope with the problems, this paper proposes an intelligent anycast routing protocol. The anycast routing attempts to distribute the centralized traffic into plural core routers by using a knowledge-based algorithm. The anycast routing estimates the traffic characteristics of multimedia data far each multicast source, and achieves effectively the distributing that places an appropriate core router to process the incoming traffic based on the traffic information in the event that request of receivers are raised. This method prevent the additional overhead to distribute traffic because an individual core router uses the information estimated to multicast sources connected to oneself and the traffic processing statistics shared with other core neuters.

• 한국항해학회지
• /
• 제24권5호
• /
• pp.435-441
• /
• 2000

This paper deals with the development of RACOM(Radar Signal Detecting ＆ Processing Computer). RACOM is a radar display system specially designed for radar scan conversion, signal processing and PCI radar image display. RACOM contains two components； i )RSP(Radar Signal Processor) board which is a PCI based board for receiving video, trigger, heading & bearing signals from radar scanner ＆ tranceiver units and processing these signals to generate high resolution radar image, and ⅱ）Applications which perform ordinary radar display functions such as EBL, VRM and so on. Since RACOM is designed to meet a wide variety of specifications(type of output signal from tranceiver unit), to record radar images and to distribute those images in real time to everywhere in a networked environment, it can be applicable to AIS(Automatic Identification System) and VDR(Voyage Data Recorder).

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1987년도 전기.전자공학 학술대회 논문집(II)
• /
• pp.1125-1128
• /
• 1987

This paper proposes a method which distributes the structure data represented by a tree and handles it. To distribute and handle the structure data, this method partitions a structure data and distributes the partitioned structure in multiple processing element and allocates the partitioned structure. Each processing element includes the structure memory to store the partitioned structure and the structure controller to handle efficiently the distributed structure. As the structure is distributed and is stored in the structure memory and is handled by the structure controller, the processing time is reduced.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제11권12호
• /
• pp.5694-5711
• /
• 2017

The technology of cloud computing is growing very quickly, thus it is required to manage the process of resource allocation. In this paper, load balancing algorithm based on honey bee behavior (LBA_HB) is proposed. Its main goal is distribute workload of multiple network links in the way that avoid underutilization and over utilization of the resources. This can be achieved by allocating the incoming task to a virtual machine (VM) which meets two conditions; number of tasks currently processing by this VM is less than number of tasks currently processing by other VMs and the deviation of this VM processing time from average processing time of all VMs is less than a threshold value. The proposed algorithm is compared with different scheduling algorithms; honey bee, ant colony, modified throttled and round robin algorithms. The results of experiments show the efficiency of the proposed algorithm in terms of execution time, response time, makespan, standard deviation of load, and degree of imbalance.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.547-549
• /
• 2021

인공지능 분석에서 모델을 만들고 이를 검증하는 과정은 이미 생성된 데이터를 가지고 수행하는 Batch Processing이기에 연산 처리시간이 필요한 작업이다. 우리는 주식이나 국방 정보와 같은 실시간으로 발생하는 데이터를 바로 앞에서 발생한 데이터를 가지고 실시간으로 모델을 세우고 검증하여 예측하는 것이 필요하다. 이를 위한 해결책으로, 인공지능 모델링 작업에 필요한 데이터를 시간 처리 순으로 분할하고 데이터를 여러 프로세스에서 분산 처리하는 기법을 적용하여 해결하였다.

• 대한임베디드공학회논문지
• /
• 제16권4호
• /
• pp.153-161
• /
• 2021

Real-time access is required to handle continuous and unstructured data and should be flexible in management under dynamic state. Platform can be built to allow data collection, storage, and processing from local-server or multi-server. Although the former centralize method is easy to control, it creates an overload problem because it proceeds all the processing in one unit, and the latter distributed method performs parallel processing, so it is fast to respond and can easily scale system capacity, but the design is complex. This paper provides data collection and processing on one platform to derive significant insights from various data held by an enterprise or agency in the latter manner, which is intuitively available on dashboards and utilizes Spark to improve distributed processing performance. All service utilize dockers to distribute and management. The data used in this study was 100% collected from Kafka, showing that when the file size is 4.4 gigabytes, the data processing speed in spark cluster mode is 2 minute 15 seconds, about 3 minutes 19 seconds faster than the local mode.