• Title/Summary/Keyword: Batch processing

검색결과 292건 처리시간 0.023초

k-means 클러스터링과 순차 패턴 기법을 이용한 VLDB 기반의 상품 추천시스템 (Product Recommendation System on VLDB using k-means Clustering and Sequential Pattern Technique)

  • 심장섭;우선미;이동하;김용성;정순기
    • 정보처리학회논문지D
    • /
    • 제13D권7호
    • /
    • pp.1027-1038
    • /
    • 2006
  • 대용량 데이터베이스에서의 추천시스템은 많은 문제점들을 지니고 있으므로, 대규모 인터넷 쇼핑몰에 적합한 추천 시스템 구조와 데이터 마이닝 기법의 필요성이 요구되고 있다. 따라서 본 논문에서는 k-mean 클러스터링과 순차 패턴 기법을 이용한 VLDB(very large database) 기반의 상품 추천 시스템을 설계 및 구현한다. 본 논문에서는 사용자의 정보를 일괄처리하고 다양한 카테고리를 계층적으로 정의하며, 탐색엔진에 순차 패턴 마이닝 기법을 이용한다. 예측 모델을 만들기 위하여 사용자의 로그 데이터 중에서 카테고리에 대한 사용자의 선호도를 추출하여 이용한다. 본 논문에서는 실험과 성능 평가를 위하여 국내 인터넷 쇼핑몰에서 30일 동안 수집한 실제 데이터를 이용한다. 또한 성능평가를 위하여 추천 예측 정확율(PRP: Predictive Recommend Precision), 추천 예측 재현율(PRR: Predictive Recommend Recall), 정확도 인수(PF1 : Predictive Factor One-measure)를 제안하여 사용한다. 성능평가 결과 가장 빠른 추천시간 및 학습시간은 O(N)이었고, 다양한 실험에서의 측도들의 값이 상당히 우수하였다.

위상 관측 자료를 이용한 GPS 위성의 정밀 궤도 결정 (PRECISE ORBIT DETERMINATION OF GPS SATELLITES USING PHASE OBSERVABLES)

  • 지명국;최규홍;박필호
    • Journal of Astronomy and Space Sciences
    • /
    • 제14권2호
    • /
    • pp.375-380
    • /
    • 1997
  • GPS(Global Positioning System)에 있어서 궤도의 정밀도는 응용분야의 결과에 영향을 미치는 매우 중요한 파라미터이다. 따라서 GPS 사용자가 얻는 자료의 정밀도는 기준으로 삼고 있는 위성의 위치 자료를 얼마만큼 신뢰할 수 있느냐에 달려 있는데 이들 위성의 위치 자료는 실시간으로 제공되는 항법메세지에 포함된 방송궤도력에 의존할 경우 실제위치와 약 3~10m의 차이가 난다. 그러나 GPS를 이용하여 100km의 기선거리를 수mm의 오차로 측정하기 위해서는 방송궤도력보다 실제 궤도에 매우 가까운 정밀 궤도력을 사용하여야 하는데 이 정밀 궤도력은 오차가 수cm정도로서 현재 이러한 수준의 정밀 궤도력을 계산할 수 있는 능력을 보유한 곳은 전 세계 약 7개 기관이다. 이번 연구에서는 정밀 궤도 결정에 필요한 궤도 모델링과 위상자료 처리 방법을 연구하였고, 직접 전세계 28개 관측소로부터 관측된 위상 관측 자료들을 최소자추정(Least Square Estimation) 하여 국제 GPS 관측망에서 발표하는 궤도자료에 비길 수 있는 정밀 궤도력을 산출하였다.

  • PDF

Spark 기반 빅데이터 처리를 위한 K-최근접 이웃 연결 (K Nearest Neighbor Joins for Big Data Processing based on Spark)

  • 기가기;정영지
    • 한국정보통신학회논문지
    • /
    • 제21권9호
    • /
    • pp.1731-1737
    • /
    • 2017
  • K-최근접 이웃 연결(KNN 연결) 알고리즘은 기계학습에서 매우 효과적인 방법으로, 작은 데이터군에 대해서 널리 사용되어 왔다. 데이터의 수가 증가함에 따라, 단일 컴퓨터에서는 메모리와 수행시간의 제약으로 실제적인 응용프로그램에서는 실행하기에 적합하지 못하였다. 최근에는 대규모 데이터 처리를 위해서, 많은 수의 컴퓨터로 이루어진 클러스터에서 실행될 수 있는 맵리듀스 (MapReduce)로 알려진 알고리즘이 널리 사용되고 있다. 하둡은 맵리듀스 알고리즘을 구현한 프레임워크이지만 스파크라고 하는 새로운 프레임워크에 의하여 그 성능이 월등히 개선되었다. 본 논문에서는, 스파크에 기반하여 구현된 KNN 연결 알고리즘을 제안하였으며, 이는 인메모리(In-Memory) 연산 기능의 장점으로 하둡보다 빠르고 보다 효율적일 것으로 기대한다. 실험을 통하여, 수행시간에 영향을 주는 요소들에 관하여 조사하였으며, 제안한 접근 방식의 우수성과 효율성을 확인하였다.

A Maximum Likelihood Estimator Based Tracking Algorithm for GNSS Signals

  • Won, Jong-Hoon;Pany, Thomas;Eissfeller, Bernd
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2006년도 International Symposium on GPS/GNSS Vol.2
    • /
    • pp.15-22
    • /
    • 2006
  • This paper presents a novel signal tracking algorithm for GNSS receivers using a MLE technique. In order to perform a robust signal tracking in severe signal environments, e.g., high dynamics for navigation vehicles or weak signals for indoor positioning, the MLE based signal tracking approach is adopted in the paper. With assuming white Gaussian additive noise, the cost function of MLE is expanded to the cost function of NLSE. Efficient and practical approach for Doppler frequency tracking by the MLE is derived based on the assumption of code-free signals, i.e., the cost function of the MLE for carrier Doppler tracking is used to derive a discriminator function to create error signals from incoming and reference signals. The use of the MLE method for carrier tracking makes it possible to generalize the MLE equation for arbitrary codes and modulation schemes. This is ideally suited for various GNSS signals with same structure of tracking module. This paper proposes two different types of MLE based tracking method, i.e., an iterative batch processing method and a non-iterative feed-forward processing method. The first method is derived without any limitation on time consumption, while the second method is proposed for a time limited case by using a 1st derivative of cost function, which is proportional to error signal from discriminators of conventional tracking methods. The second method can be implemented by a block diagram approach for tracking carrier phase, Doppler frequency and code phase with assuming no correlation of signal parameters. Finally, a state space form of FLL/PLL/DLL is adopted to the designed MLE based tracking algorithm for reducing noise on the estimated signal parameters.

  • PDF

SKL 알고리즘을 이용한 얼굴인식 후보의 점진적 등록 (Sequential Registration of the Face Recognition candidate using SKL Algorithm)

  • 한학용;이생목;곽부동;최원태;강봉순
    • 융합신호처리학회논문지
    • /
    • 제11권4호
    • /
    • pp.320-325
    • /
    • 2010
  • 본 논문은 주성분 분석을 이용하는 얼굴인식 시스템에서 인식후보를 점진적으로 등록하기 위한 방법과 절차에 관한 연구이다. 점진적인 주성분 갱신 방법으로 R-SVD알고리즘을 변형한 SKL 알고리즘을 이용한다. SKL 알고리즘을 이용하면 주성분을 이용하는 얼굴 인식의 문제점으로 지적되어 왔던 인식 후보의 점진적 증가에 따른 재학습 문제를 해결할 수 있다. 또한 이 방법은 밝기 변화에 견고한 객체 트랙킹 분야에도 이용될 수 있다. 본 논문에서는 얼굴인식 시스템에서 SKL 알고리즘을 이용하여 주성분을 점진적으로 갱신하며 적용하는 절차를 제안하고, 표준 KL 변환에 의하여 주성분을 일괄적으로 계산하는 결과와 얼굴 인식성능을 비교한다. 그리고 SKL 알고리즘에 포함된 망각 인자(forgetting factor)가 얼굴인식 성능에 미치는 효과를 실험적으로 확인한다.

사진현상폐수의 UV-자유반사 반응조에서의 UV/H2O2 고급산화처리 (UV/H2O2 Advanced Oxidation of Photo Processing Chemicals in a UV-free Reflecting Reactor)

  • 최경애;김영주
    • 대한환경공학회지
    • /
    • 제22권2호
    • /
    • pp.241-249
    • /
    • 2000
  • 난분해성 폐수인 사진현상폐수의 $UV/H_2O_2$$H_2O_2$의 고급산화에 의한 오염물질의 제거 실험을 실시하였다. $UV/H_2O_2$ 산화에서 $H_2O_2$의 분해로 $OH^-$ 라디칼이 발생되는데 파장 190~300 nm의 UV가 반응의 촉매 역할을 한다. $OH^-$ 라디칼은 수명은 짧으나 강력한 산화력을 갖고 있는데, 이 산화력은 폐수처리에서 폐수나 액상 폐기물의 유기물질을 제거하는데 이용된다. 본 연구에서 기존의 tube형 반응조의 단점을 보완한 UV-자유반사 반응조를 제작하여 사용하였으며 UV원으로는 수은 고압램프가 이용되었다. 본 실험에서는 반응시간과 $H_2O_2$ 주입량 및 pH 변화에 따른 오염물의 처리효율의 변화를 조사하였는데 $H_2O_2$의 주입량이 증가할수록 처리효율이 높았으나 그 차이는 미미하였으며, pH 8에서 보다는 3에서 처리효율이 약간 높았으나 그 차이 역시 크지 않았다. 본 연구에서 사진현상폐수 처리의 적정 운전조건은 pH 8, $H_2O_2$ 주입량은 유입수의 COD를 기준으로 한 1.3배 화학량론적 주입으로 나타났는데, 5시간의 처리에서 $COD_{Cr}$, TOC 및 색도의 제거효율은 각각 약 47.5%, 75.0% 및 91.5%로 나타났다. 반응 후 생분해성의 지표인 BOD/COD 비는 초기 0.04에서 0.21로 약 5.3배 증가하였다.

  • PDF

고정밀 중기선 동적측위 분야 응용을 위한 GPS 관측데이터 준실시간 연속 처리절차의 실험적 구현 (Experimental Implementation of Continuous GPS Data Processing Procedure on Near Real-Time Mode for High-Precision of Medium-Range Kinematic Positioning Applications)

  • 이흥규
    • 한국산학기술학회논문지
    • /
    • 제18권3호
    • /
    • pp.31-40
    • /
    • 2017
  • 본 논문은 해상구조물 혹은 지각변동 모니터링 분야에 응용할 수 있는 중기선 GPS 데이터의 준실시간 연속처리를 통한 동적좌표 정밀추정 방안도출과 실험적 구현에 관한 내용을 다루고 있다. GPS 이중주파수 중기선 관측데이터 함수모형, IGS 초신속 해석결과물 제공현황 및 해외 유사사례 조사와 상시관측인프라 현황 조사를 바탕으로 정적 및 동적 처리모드로 이루어진 GPS 연속처리 시스템 설계 그리고 관측데이터 처리절차와 그 전략을 도출하였다. 시스템을 데이터 취득부와 시각화를 포함하는 처리부로 구성 하였으며, 관측소가 Ntrip을 통해 송출하는 GPS 데이터를 최소 지연시간으로 처리하여 모니터링 대상 안테나의 동적좌표를 추정하도록 하였다. 데이터 취득부는 DOS 배치파일, 펄 스크립트 그리고 BKG BNC 프로그램을 통해 그리고 처리부는 슬라이딩 윈도기법에 의한 관측데이터 선택과 BPE에 의해 순차처리 절차를 스크립트 파일로 정의하여 구현하였다. 국 내외에 7점의 상시관측소에 의해 구성한 네트워크로부터 GPS 관측데이터를 취득하여 후처리모드에서 시스템 동작실험을 수행하였다. 이를 통하여 본 연구에서 제안한 GPS 데이터 연속처리 절차의 동작 적절성과 신뢰수준 95%에 추정좌표 정밀도가 센티미터 수준 이상이 됨을 확인하였다.

JPEG2000 이미지에서 적응적 코드블록 판별 알고리즘을 이용한 동적 고속 관심영역 코딩 방법 (A Fast and Dynamic Region-of-Interest Coding Method using the Adaptive Code-Block Discrimination Algorithm in JPEG2000 Images)

  • 강기준;서영건;박재흥;유창열;박순화;이점숙;이부권
    • 정보처리학회논문지B
    • /
    • 제14B권5호
    • /
    • pp.321-328
    • /
    • 2007
  • 본 논문에서는 묵시적 ROI 코딩 방법과 수정된 묵시적 ROI 코딩 방법을 보완한 JPEG2000 이미지에서 적응적 코드블록 판별 알고리즘을 이용한 동적 고속 관심영역 코딩 방법을 제안한다. 제안한 방법에서는 코드 블록 판별 시간을 줄이기 위하여 ROI 모양의 특징을 고려하여 몇 가지의 경계 모양을 만들고, 이 모양 패턴으로 한정하여 코드블록 판별 알고리즘을 만들었다. 그리고 ROI 임계값과 배경 임계값을 이용하여 ROI 코드블록 내의 배경 웨이블릿 계수의 포함율에 따라 적응적인 코드블록 판별을 함으로서 ROI 코드블록 내의 배경 웨이블릿 계수의 우선적 처리와 손실 문제를 개선하였다. 또한 ROI 코드블록 내의 배경 웨이블릿 계수의 우선권 조절은 웨이블릿 계수 단위로 처리하는 기존의 방법과는 달리 패턴을 기반으로 하여 일괄처리를 함으로서 빠른 ROI 코딩이 가능하다. 제안한 방법의 유용성을 보이기 위해 기존의 방법들과 비교 실험한 결과, 제안한 방법이 기존의 방법들과 성능 평가에 있어서 큰 차이가 없으면서 처리 속도는 매우 빠름을 확인하였다.

큰느타리버섯에서 석충 페리틴 단백질 유전자의 발현 최적화 및 생물학적 활성 (Optimization of the Expression of the Ferritin Protein Gene in Pleurotus eryngii and Its Biological Activity)

  • 우연정;오시윤;최장원
    • 한국균학회지
    • /
    • 제47권4호
    • /
    • pp.359-371
    • /
    • 2019
  • 큰느타리버섯에서 철 저장과 관련된 페리틴 단백질의 발현 및 분비를 최적화하기 위해, T-Fer 벡터에 EcoRI 및 HindIII처리를 해 페리틴 유전자를 얻은 후, BamHI으로 처리된 선형의 pPEVPR1b 분비 벡터에 클로닝하여pPEVPR1b-Fer 재조합 벡터를 구축한 다음 Agrobacterium tumefaciens LBA4404 로 도입하였다. Agrobacterium tumefaciens-mediated transformation 방법에 의해 Pleurotus eryngii로 형질전환하고 kanamycin함유된 MCM 배지에서 올바른 형질전환체를 선별하였고, 단백질 발현은 SDS-PAGE 및 항원항체 반응에 의한 western blot으로 확인하였다. 페리틴 단백질의 분비 발현은 batch culture 및 20 L airlift type fermenter에서 배양 시간 및 온도와 같은 배양 조건에 의해 최적화되었다. 페리틴 생산을 위한 배양 조건은 MCM 배지에서 25℃ 및 8 일 배양에 의해 최적화되었다. 페리틴 단백질의 양은 정량적 단백질 분석에 의해 2.4 mg/g mycelium으로 측정되었다. 그러나, PR1b (32 amino acid)의 분비서열은 큰느타리버섯 내부의 peptidase에 의해 정확하게 processing되지 않았지만, 페리틴 단백질은 균사체에서 최대로 전체단백질의 24.7% 발현되었고, 배양액에서는 검출되지 않았다. 철 결합 활성은 7.5% non-denaturing gel에서 Perls' staining에 의해 확인되었으며, 다량체 페리틴(24 subunits)이 P. eryngii 균사체에서 형성되었음을 보여준다. 생물학적 활성 측정을 위하여 페리틴을 함유한 분말을 제조하여 육계의 사료 첨가제로서의 사용 가능성에 대해 시험하였으며, 결과적으로 페리틴은 육계의 성장을 촉진하고 사료 효율 및 생산 지수를 향상시키는것으로 확인되었다.

생물학적 인 방출시 유기물 및 슬러지 적응에 따른 온도의 영향 (The Effect of Temperature with Substrate and Sludge Adaptation on Biological Phosphorus Release)

  • 민경국;원성연;박승국;이상일
    • 대한환경공학회지
    • /
    • 제22권7호
    • /
    • pp.1205-1212
    • /
    • 2000
  • 본 연구는 생물학적 인 방출시 유기물 종류 및 대상슬러지가 acetate에 사전 적응여부에 따른 온도의 영향을 관찰하기 위한 연구이다. 실험에 이용된 슬러지는 축산폐수를 처리하는 연속 회분식 반응조(sequencing batch reactor)로부터 채취하였다. 온도는 인의 방출시 크게 영향을 미치는 인자이며 유기물 종류별로 온도가 $5{\sim}30^{\circ}C$로 증가함에 따라 인 방출속도는 증가함이 관찰되었다. 혐기성 상태에서 주입유기물로 acetate, propionate, glucose 및 도시하수를 이용할 경우 인의 방출시 활성화에너지($E_a$) 값들은 각각 49.83, 55.82, 54.61 및 45.44 KJ/mol이었다. 또한 온도보정계수($\theta$)는 각각 1.0676, 1.0826, 1.0748 및 1.0698이었다. 따라서 인이 방출될 때 온도가 증가함에 따라 반응속도는 크게 증가하지만 활성화에너지 및 온도보정계수를 고려한 유기물 종류별 온도의 영향은 큰 차이가 없었다. 대상슬러지로 사전에 acetate에 적응된 슬러지를 이용할 경우 활성화에너지 값 및 온도보정계수는 각각 44.94 KJ/mol 및 1.0570이었다. 이는 적응되지 않은 슬러지로 부터 얻어진 각각의 값(49.83 KJ/mol 및 1.0676)보다 상대적으로 낮음이 관찰되어 슬러지가 acetate에 서전에 적응된 것이 적응되지 않은 것보다 상대적으로 온도의 영향을 적게 받음을 알 수 있었다.

  • PDF