• 한국컴퓨터정보학회논문지
• /
• 제25권12호
• /
• pp.165-172
• /
• 2020

웹에서 접근하는 정보의 폭발적인 증가에 따라 사용자의 다음 웹 페이지 사용을 예측하는 문제의 중요성이 증가되었다. 사용자의 다음 웹 페이지 접근을 예측하는 방법 중 하나가 딥 러닝 기법이다. 웹 페이지 예측 절차는 데이터 전처리 과정을 통해 웹 로그 정보들을 분석하고 딥 러닝 기법을 이용하여 분석된 웹 로그 결과를 가지고 사용자가 접근할 다음 웹 페이지를 예측한다. 본 논문에서는 웹 페이지 예측을 위한 효율적인 웹 로그 전처리 작업과 분석을 위해 딥 러닝 기법을 사용하는 웹 페이지 예측 프레임워크를 제안한다. 대용량 웹 로그 정보의 전처리 작업 속도를 높이기 위하여 Hadoop 기반 맵/리듀스(MapReduce) 프로그래밍 모델을 사용한다. 또한 웹 로그 정보의 전처리 결과를 이용한 학습과 예측을 위한 딥 러닝 기반 웹 예측 시스템을 제안한다. 실험을 통해 논문에서 제안한 방법이 기존의 방법과 비교하여 성능 개선이 있다는 사실을 보였고 아울러 다음 페이지 예측의 정확성을 보였다.

• 한국식품위생안전성학회지
• /
• 제27권2호
• /
• pp.117-126
• /
• 2012

본 연구는 학교급식에 유통되는 전처리 나물류의 오염도를 조사하기 위하여 서울지역의 초, 중, 고등학교에 납품되는 전처리 나물류 19가지 종류의 총 94개 샘플을 대상으로 일반세균, 대장균군, 대장균, 장내세균, S. aureus 및 B. cereus의 미생물 오염도를 분석하였다. 일반세균의 오염수준은 3.39~8.42 logCFU/g, 대장균군의 오염수준은 3.16~7.84 logCFU/g, 대장균 0~3.62 logCFU/g, 장내세균 2.53~7.55 logCFU/g, S. aureus 0~3.82 logCFU/g, B. cereus 0~4.72 logCFU/g 으로 결론적으로 전처리 나물류의 경우 세척, 데침 등의 전처리를 한 후 유통됨에도 불구하고 공정의 효과가 없이 높은 오염수준을 나타냈다. 6가지 전처리 나물류의 공정과정별 미생물학적 오염도를 확인한 본 연구에서는 나물종류, 균 종류에 따라 차이가 있었지만 침지, 세척과정에서의 미생물 감소 효과가 많이 나타나지 않았고 특히 탈수과정에서 오히려 증가하는 경향을 나타내 세척 공정과정에서의 방법 설정 및 위생관리에 대한 추가 연구가 필요할 것으로 사료된다. 따라서 나물원료의 전처리 과정에 대한 공정방법 및 과정을 재검토하고 보관 및 유통단계에서의 냉장온도 관리를 철저히 하여 최종 유통단계에 이르기까지 안전을 위한 총체적인 위생관리 방안의 수립이 필요할 것으로 사료된다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권9호
• /
• pp.843-849
• /
• 2003

웹 이용 마이닝은 거대한 웹 로그들을 이용하여 웹 사용자의 이용 패턴을 분석하는 데이타 마이닝 기술이다. 이러한 웹 이용 마이닝 기술을 사용하기 위해서는 전처리 과정 중의 사용자와 세션을 정확하게 구분해야 하는데, 표준 웹 로그 형식의 로그 파일만으로는 완전히 구분할 수 없다. 사용자와 세션을 구분하기 위해서는 로컬캐시, 방화벽, ISP, 사용자 프라이버시, 쿠키 등과 같은 많은 문제들이 있지만, 이 문제를 해결하기 위한 명확한 방법은 아직 없다. 특히, 로컬캐시 문제는 웹 마이닝 시스템의 입력으로 사용되는 사용자 세션을 구분하는데 가장 어려운 문제이다 본 연구에서는 참조 로그와 에이전트 로그, 그리고 액세스 로그 둥의 서버측 클릭스트림 데이타만을 이용하여 로컬캐시 문제를 해결하고, 사용자 세션을 구분하고 세션을 보정하는 휴리스틱 방법을 제안한다.

• 한국음향학회지
• /
• 제39권3호
• /
• pp.143-149
• /
• 2020

본 논문에서는 딥러닝(deep learning)을 이용하여 환경음 분류 시 전처리 단계에서 사용하는 특징 추출 방법이 콘볼루션 신경망의 분류 성능에 미치는 영향에 대해서 다루었다. 이를 위해 환경음 분류 연구에서 많이 사용되는 UrbanSound8K 데이터셋에서 멜 스펙트로그램(mel spectrogram), 로그 멜 스펙트로그램(log mel spectrogram), Mel Frequency Cepstral Coefficient(MFCC), 그리고 delta MFCC를 추출하고 각각을 3가지 분포로 스케일링하였다. 이 데이터를 이용하여 4 종의 콘볼루션 신경망과 이미지넷에서 좋은 성능을 보였던 VGG16과 MobileNetV2 신경망을 학습시킨 다음 오디오 특징과 스케일링 방법에 따른 인식률을 구하였다. 그 결과 인식률은 스케일링하지 않은 로그 멜 스펙트럼을 사용했을 때 가장 우수한 것으로 나타났다. 도출된 결과를 모든 오디오 인식 문제로 일반화하기는 힘들지만, Urbansound8K의 환경음이 포함된 오디오를 분류할 때는 유용하게 적용될 수 있을 것이다.

• 한국수산과학회지
• /
• 제48권3호
• /
• pp.284-292
• /
• 2015

We explored preprocessing-mediated quality changes in red snow crab fish sauce. A control (C) group and groups treated with autolysis (A), boiling (B), enzymatic hydrolysis (E), and addition of Aspergillus oryzae (K) were formed. The titratable acidity of the K group increased with storage time, whereas that of groups C, A, B, and E decreased. The total and amino nitrogen contents initially increased on storage of all samples, but decreased in later periods. The total plate count (TPC) of the K group was initially 5.26 log CFU/mL and increased to 7.28 log CFU/mL at 3 months of storage. The TPCs of the C, A, B, and E groups were initially <5.00 log CFU/mL and decreased with storage. The lactic acid bacteria count of the K group was initially 4.80 log CFU/mL and increased until month 5 to approximately 6.06 log CFU/mL. The K group scored higher in terms of sensory attributes than the other groups and maintained marketable scores for all relevant properties (color, flavor, off-odor, and overall acceptance). Furthermore, the free amino acid content of the K group was the highest among all groups at approximately 3,000 mg per 100 g. These results suggest that K treatment may be beneficial in the preparation of fermented fish sauce.

• 한국음향학회지
• /
• 제41권6호
• /
• pp.629-636
• /
• 2022

본 논문은 합성곱 신경망 기반 수중 표적 분류기의 성능 향상을 위한 최적의 전처리 기법을 제시한다. 실제 선박 수중신호를 수집한 데이터 세트의 주파수 분석을 통해 강한 저주파 신호로 인한 특성 표현의 문제점을 확인하였다. 이를 해결하기 위해 다양한 스펙트로그램 기법과 특성 스케일링 기법을 조합한 전처리 기법들을 구현하였다. 최적의 전처리 기법을 확인하기 위해 실제 데이터를 기반으로 합성곱 신경망을 훈련하는 실험을 수행하였다. 실험 결과, 로그 멜 스펙트로그램과 표준화 및 로버스트정규화 스케일링 기법의 조합이 높은 인식 성능과 빠른 학습 속도를 보임을 확인하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제16권1호
• /
• pp.157-163
• /
• 2005

In the Web, the data is generally gathered automatically by Web servers and collected in server or access logs. However, as users access larger and larger amounts of data, query response times to extract information inevitably get slower. A method to resolve this issue is the use of summary tables. In this short note, we design a prototype of summary tables that can efficiently extract information from Web log data. We also present the relative performance of the summary tables against a sampling technique and a method that uses raw data.

• Journal of Computing Science and Engineering
• /
• 제3권1호
• /
• pp.1-4
• /
• 2009

In a given text T of size n, we need to search for the information that we are interested. In order to support fast searching, an index must be constructed by preprocessing the text. Suffix array is a kind of index data structure. The compressed suffix array (CSA) is one of the compressed indices based on the regularity of the suffix array, and can be compressed to the $k^{th}$ order empirical entropy. In this paper we improve the lookup time complexity of the compressed suffix array by using the multi-ary wavelet tree at the cost of more space. In our implementation, the lookup time complexity of the compressed suffix array is O(${\log}_{\sigma}^{\varepsilon/(1-{\varepsilon})}\;n\;{\log}_r\;\sigma$), and the space of the compressed suffix array is ${\varepsilon}^{-1}\;nH_k(T)+O(n\;{\log}\;{\log}\;n/{\log}^{\varepsilon}_{\sigma}\;n)$ bits, where a is the size of alphabet, $H_k$ is the kth order empirical entropy r is the branching factor of the multi-ary wavelet tree such that $2{\leq}r{\leq}\sqrt{n}$ and $r{\leq}O({\log}^{1-{\varepsilon}}_{\sigma}\;n)$ and 0 < $\varepsilon$ < 1/2 is a constant.

• Communications for Statistical Applications and Methods
• /
• 제31권4호
• /
• pp.409-425
• /
• 2024

Logistic regression models are commonly used to explain binary health outcome variable using independent variables such as patient characteristics in medical science and public health research. Although there is no distributional assumption required for independent variables in logistic regression, variables with severely right-skewed distribution such as lab values are often log-transformed to achieve symmetry or approximate normality. However, lab values often have zeros due to limit of detection which makes it impossible to apply log-transformation. Therefore, preprocessing to handle zeros in the observation before log-transformation is necessary. In this study, five methods that remove zeros (shift by 1, shift by half of the smallest nonzero, shift by square root of the smallest nonzero, replace zeros with half of the smallest nonzero, replace zeros with the square root of the smallest nonzero) are investigated in logistic regression setting. To evaluate performances of these methods, we performed a simulation study based on randomly generated data from log-normal distribution and logistic regression model. Shift by 1 method has the worst performance, and overall shift by half of the smallest nonzero method, replace zeros with half of the smallest nonzero method, and replace zeros with the square root of the smallest nonzero method showed comparable and stable performances.

• 정보보호학회논문지
• /
• 제30권1호
• /
• pp.157-167
• /
• 2020

최근 4차 산업혁명 도래의 기반을 제공한 빅데이터와 인공지능 기술은 산업 전반의 혁신을 견인하는 주요 동력이 되고 있다. 정보보안 영역에서도 그동안 효과적인 활용방안을 찾기 어려웠던 대규모 로그 데이터에 이러한 기술들을 적용하여 지능형 보안 체계를 개발 및 발전시키고자 노력하고 있다. 보안 인공지능 학습의 기반이 되는 보안로그 빅데이터의 품질은 곧 지능형 보안 체계의 성능을 결정짓는 중요한 입력 요소라고 할 수 있다. 하지만 다양한 제품 공급자에 따른 로그 데이터의 상이성과 복잡성은 빅데이터 전처리 과정에서 과도한 시간과 노력을 요하고 품질저하를 초래하는 문제가 있다. 본 연구에서는 다양한 방화벽 로그 데이터 포맷 관련 사례와 국내외 표준 조사를 바탕으로 데이터 수집 포맷 표준안을 제시하여 보안 로그 빅데이터를 기반으로 하는 지능형 보안 체계 발전에 기여하고자 한다.