• 제목/요약/키워드: K-means 군집화

검색결과 274건 처리시간 0.022초

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

소셜 로봇과 노년층 사용자 간 대화 분석 기반의 사용자 특성 연구: 현상학적 분석 방법론과 군집 분석을 중심으로 (Study on User Characteristics based on Conversation Analysis between Social Robots and Older Adults: With a focus on phenomenological research and cluster analysis)

  • 최나래;박도형
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.211-227
    • /
    • 2023
  • 인구의 고령화와 기술의 성장으로 등장한 소셜 로봇의 한 유형인 개인형 서비스 로봇은 최근 가정에서 노년층의 독립 생활 연장에 도움이 될 수 있는 기술을 중심으로 변화하고 있다. 노년층이 일상 생활에서 소셜 로봇 신기술을 수용하고, 장기적으로 사용하기 위해서는 사용자 관점의 맥락과 감정을 보다 심층적으로 이해하는 능력이 필요하다. 본 연구에서는 정량 데이터와 정성 데이터를 통합한 혼합 방법(mixed-method)을 활용하여 노년층 사용자를 깊이 있게 이해하는 것을 목적으로 한다. 구체적으로 노년층 사용자와 소셜 로봇 간 음성 대화 기록을 감정과 대화 주체를 주요 변수로 하여 현상학적 방법론 중 하나인 Van Kaam 방법론을 활용하여 그룹핑함으로써 9개 유형으로 대화를 구분하고, 이를 개인화한 대화의 빈도와 비중을 기반으로 사용자를 세분화하였다. 그리고 인구 통계적 데이터와 건강지표에 관한 사전 설문조사 결과를 사용하여 프로파일링 분석을 진행하였다. 이어서 대화 분석을 토대로 K-means 군집분석을 실시하여 노년층 사용자를 3개의 집단으로 분류하고, 각 집단별 특성을 확인하였다. 본 연구에서 제시한 모형은 향후 일상 생활에서 돌봄 기능이 있는 소셜 로봇 제공을 위해 노년층 사용자의 이해를 필요로 하는 기업에게 노년층 사용자 세분화에 관한 방법론을 제공함으로써 사용자 이해를 위한 인사이트 도출과 관련 사업을 성장시키는데 기여할 것으로 기대된다.

호기성 생물막 반응기에서 Ammonia Oxidizing Bacteria에 대한 DO 농도의 영향 (Effect of DO Concentration on Ammonia Oxidizing Bacteria in Aerobic Biofilm Reactor)

  • 유재철;박정진;허성호;김유진;변임규;이태호;박태주
    • 대한환경공학회지
    • /
    • 제29권1호
    • /
    • pp.106-112
    • /
    • 2007
  • Ammonia oxidizing bacteria(AOB)는 $NH_4^+-N$$NO_2^--N$으로 산화시키며, 생물학적 질산화 단계에서 율속 단계로 작용하기 때문에 중요한 미생물이다. AOB의 성장은 용존산소, 온도, pH 등의 환경 인자에 영향을 받는다. 본 연구에서는 DO 농도가 AOB에 미치는 영향을 조사하기 위해 세라믹 메디아가 충전된 4개의 호기성 생물막 반응기의 DO 농도를 각각 1, 3, 5, 7 mg/L로 운전하였다. 운전결과, 5 mg/L 이상에서 안정적인 질산화 효율을 얻을 수 있었다. AOB의 특성을 조사하기 위해 AOB의 16S rRNA와 amoA gene을 target으로 PCR을 이용한 DGGE와 cloning을 실시하였으며, 이들의 활성을 조사하기 위해 INT-DHA를 측정하였다. DO 농도 변화에 따른 각 반응기별 질산화 효율에 차이가 있었음에도 불구하고, DGGE 및 cloning 결과, AOB 군집 및 Nitrosomonas sp.의 비율의 변화는 거의 없었다. DO 농도가 감소함에 따라 AOB의 활성도가 감소한다는 것을 INT-DHA 측정으로 확인할 수 있었다. 따라서 DO 농도는 AOB 군집의 변화 보다는 활성에 영향을 미치는 것으로 판단되었다.

TYPE-2 퍼지 추론 구동형 RBF 신경 회로망 설계 및 최적화 (Design of Radial Basis Function Neural Network Driven to TYPE-2 Fuzzy Inference and Its Optimization)

  • 백진열;김웅기;오성권;김현기
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2008년도 학술대회 논문집 정보 및 제어부문
    • /
    • pp.247-248
    • /
    • 2008
  • 본 논문에서는 TYPE-2 퍼지 추론 기반의 RBF 뉴럴 네트워크(TYPE-2 Radial Basis Function Neural Network, T2RBFNN)를 설계하고 PSO(Particle Swarm Optimization) 알고리즘을 이용하여 모델의 파라미터를 동정한다. 제안된 모델의 은닉층은 TYPE-2 가우시안 활성 함수로 구성되며, 출력층은 Interval set 형태의 연결가중치를 갖는다. 여기에서 규칙 전반부 활성함수의 중심 선택은 C-means 클러스터링 알고리즘을 이용하고, 규칙 후반부 Interval set 형태의 연결가중치 결정에는 경사 하강법(Gradient descent method)을 이용한 오류 역전파 알고리즘을 사용하여 학습한다. 또한, 최적의 모델을 설계하기 위한 학습율 및 활성함수의 활성화 영역 결정에는 입자 군집 최적화(PSO; Particle Swarm Optimization) 알고리즘으로 동조한다. 마지막으로, 제안된 모델의 평가를 위하여 모의 데이터 집합(Synthetic dadaset)을 적용하고 근사화 및 일반화 능력에 대하여 토의한다.

  • PDF

특허 등록 예측을 위한 특허 문서 분석 방법 (Analysis method of patent document to Forecast Patent Registration)

  • 구정민;박상성;신영근;정원교;장동식
    • 한국산학기술학회논문지
    • /
    • 제11권4호
    • /
    • pp.1458-1467
    • /
    • 2010
  • 최근 지식재산권의 모방과 권리 침해는 국가 산업발전의 저해요소로 인식되고 있다. 많은 연구자들은 이러한 저해요소로 인하여 발생하는 막대한 손실을 막기 위해 지식재산권의 보호와 효율적 관리에 관한 연구를 다양하게 진행 중이다. 특히, 특허 등록 예측은 지식재산권 보호와 권리 주장을 위해 매우 중요한 연구이다. 본 연구는 텍스트 마이닝 기법을 이용한 특허문서 분석을 통하여 특허 등록 및 거절 여부를 예측하는 방법을 제안한다. 먼저 거절된 특허문서들의 단어 빈도수를 이용하여 데이터베이스를 생성한다. 그리고 생성한 데이터베이스와 다른 특허문서들을 비교하여 각 문서와 데이터베이스와의 유사한 정도를 판단하는 유사치를 도출한다. 본 논문에서는 특허 거절 기준 값을 선정하기 위하여 분할 군집화 알고리즘인 k-means 사용하였다. 그 결과로 거절된 특허 문서와 유사한 특허 문서는 거절될 가능성이 높다는 결론을 얻을 수 있었다. 실험을 위한 데이터는 현재 미국에 출원되어 있는 블루투스 기술, 태양전지 기술 그리고 디스플레이에 관한 특허 문서를 이용하였다.

다중 클래스 이상치 탐지를 위한 계층 CNN의 효과적인 클래스 분할 방법 (Effective Classification Method of Hierarchical CNN for Multi-Class Outlier Detection)

  • 김지현;이세영;김예림;안서영;박새롬
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.81-84
    • /
    • 2022
  • 제조 산업에서의 이상치 검출은 생산품의 품질과 운영비용을 절감하기 위한 중요한 요소로 최근 딥러닝을 사용하여 자동화되고 있다. 이상치 검출을 위한 딥러닝 기법에는 CNN이 있으며, CNN을 계층적으로 구성할 경우 단일 CNN 모델에 비해 상대적으로 성능의 향상을 보일 수 있다는 것이 많은 선행 연구에서 나타났다. 이에 MVTec-AD 데이터셋을 이용하여 계층 CNN이 다중 클래스 이상치 판별 문제에 대해 효과적인지를 탐구하고자 하였다. 실험 결과 단일 CNN의 정확도는 0.7715, 계층 CNN의 정확도는 0.7838로 다중 클래스 이상치 판별 문제에 있어 계층 CNN 방식 접근이 다중 클래스 이상치 탐지 문제에서 알고리즘의 성능을 향상할 수 있음을 확인할 수 있었다. 계층 CNN은 모델과 파라미터의 개수와 리소스의 사용이 단일 CNN에 비하여 기하급수적으로 증가한다는 단점이 존재한다. 이에 계층 CNN의 장점을 유지하며 사용 리소스를 절약하고자 하였고 K-means, GMM, 계층적 클러스터링 알고리즘을 통해 제작한 새로운 클래스를 이용해 계층 CNN을 구성하여 각각 정확도 0.7930, 0.7891, 0.7936의 결과를 얻을 수 있었다. 이를 통해 Clustering 알고리즘을 사용하여 적절히 물체를 분류할 경우 물체에 따른 개별 상태 판단 모델을 제작하는 것과 비슷하거나 더 좋은 성능을 내며 리소스 사용을 줄일 수 있음을 확인할 수 있었다.

  • PDF

계층적 X-means와 가중 F-measure를 통한 시뮬레이션 모델 검증 기법 (Validation Technique of Simulation Model using Weighted F-measure with Hierarchical X-means (WF-HX) Method)

  • 양대길;황보훈;천현재;이홍철
    • 한국산학기술학회논문지
    • /
    • 제13권2호
    • /
    • pp.562-574
    • /
    • 2012
  • 기존 대부분의 연구에서 사용하고 있는 시뮬레이션 검증 기법은 통계적 분석기법으로, 총 처리량이나 자원 이용률의 평균 및 분산을 통해 분석하여 왔다. 그러나 이러한 방식은 모델의 개별적인 요소들에 대한 신뢰성을 보장하기 어려웠다. 이를 해결하기 위해 제시된 방법이 가중 F-measure를 사용한 검증이다. 하지만 가중 F-measure는 Tact time 값 하나에 대해 하나의 클래스를 할당하기 때문에 수많은 Tact time 값들을 갖는 복잡한 시스템에 적용하기 어려운 문제를 가지고 있다. 한편, 가중치의 범위가 정해져 있지 않기 때문에 평가기준(Threshold)의 선정에 있어서 어느 정도의 수준이 만족할만한 수준인지 정하기가 어려웠다. 따라서 본 논문에서는 이러한 문제점을 개선하기 위해 군집분석을 적용한 가중 F-measure를 제시한다. 군집의 클래스화를 통해 클래스의 수를 현저히 줄일 수 있고 다양한 시스템으로의 적용 또한 가능해진다. 또한 객관성을 저하시키지 않는 범위 내에서 최소한의 가중치를 부여하는 방식으로 가중치의 범위를 지정하여 검증 방법을 향상시켰다. 이를 입증하기 위해 국내 'L사'의 LCD공정설비를 대상으로 시뮬레이션 모델링 및 환경을 구축하였고, 그 결과를 통해 타당성을 증명하였다.

마이닝과 FRAT기반 가중치 선호도 군집을 이용한 추천 기법에 관한 연구 (A Study on Recommendation Technique Using Mining and Clustering of Weighted Preference based on FRAT)

  • 박화범;조영성;고형화
    • 디지털콘텐츠학회 논문지
    • /
    • 제14권4호
    • /
    • pp.419-428
    • /
    • 2013
  • 유비쿼터스 컴퓨팅 환경의 전자상거래에서 실시간성과 추천의 정확도를 높이는 연구가 활발히 진행되고 있다. 대부분의 기존 추천기법들은 프로파일 방식의 문제로 고객의 관심도나 고객성향을 분석하기에는 많은 어려움과 비용의 문제가 있으며 고객은 여전히 만족하지 못하고 있다. 이는 구성되어있는 데이터베이스들의 문제가 아니라 기존 자료를 분석하기 위한 평가 자료인 신규로 프로파일을 생성하거나 다양한 프로파일을 생성하는데 문제가 있다. 또한 기존 추천기법에서는 다양한 특성을 가진 각 사용자 계층별로 차별화된 개인화 추천이 어렵다. 따라서 이 논문에서 기존의 평가 자료 방식과 다르게 구매로 인해 발생되어진 자료를 기반으로 사용자에게 번거로운 질의 응답 과정이 없이 묵시적인 방법을 이용하였다. 다양한 개인화 성향과 정확한 고객성향의 내용 분석이 가능한 FRAT 기법을 적용하였다.

Analysis of the Difference on Elementary Students' School Adaptation and Academic Performance by Dependence on Smart Devices

  • Lee, KyungHee;Park, Hye-Young
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권4호
    • /
    • pp.213-221
    • /
    • 2022
  • 본 연구의 목적은 아동의 스마트폰 의존도에 따른 학교생활 적응과 학업수행능력 차이를 분석함으로써 스마트기기 과의존 문제를 예방하고 개선할 수 있는 방안을 모색하는 데 있다. 이를 위해 한국아동패널조사 중 12차 년도 초등학교 5학년 학생의 자료를 추출하여 활용하였다. 수집된 자료는 비계층적 군집화분석(K-means), 일원변랑분석(One-way ANOVA)과 사후검증(Scheffé test)를 실시하여 분석하였다. 연구결과는 다음과 같다. 첫째, 스마트기기 의존과 학교적응 및 학업수행능력은 부적 상관관계가 있는 것으로 나타났다. 둘째, 스마트기기의 의존도가 높은 잠재적 위험군과 고위험군의 학생이 안전군의 학생과 비교해 학교적응이 유의하게 낮은 것으로 나타났다. 셋째, 고위험군의 학생이 잠재적 위험군과 일반군의 학생과 비교해 학업수행능력이 유의하게 낮게 나타났다. 이와 같은 연구결과를 바탕으로 스마트기기 과의존 초등학생을 위해서는 다양한 학습지원과 더불어 학교생활 적응 상담 지원 같은 국가 차원의 노력이 필요함을 제언하였다.

서울시 토지피복에 따른 계절별 미세먼지 농도 차이 분석 - 산림과 시가화지역을 중심으로 - (Analysis of the Seasonal Concentration Differences of Particulate Matter According to Land Cover of Seoul - Focusing on Forest and Urbanized Area -)

  • 최태영;문호경;강다인;차재규
    • 환경영향평가
    • /
    • 제27권6호
    • /
    • pp.635-646
    • /
    • 2018
  • 본 연구는 도시의 미세먼지 배출과 저감에 관련된 토지피복 유형인 산림과 시가화지역의 영향에 의한 계절별 미세먼지 농도 특성을 파악하고자 하였다. 서울시 23개 도시대기 측정소의 2016년 PM10, PM2.5 농도자료를 수집하였고, 측정소 주변 반경 3km 내 시가화지역과 산림 비율을 기준으로 3개 그룹으로 측정소를 구분하여 그룹간의 미세먼지 농도 차이를 계절별로 분석하였다. 그룹별 시가화지역과 산림의 중심값은 Group A에서 각각 53.4%, 34.6%, Group B는 61.8%, 16.5%, Group C는 76.3%, 6.7%이었다. 계절별 PM10과 PM2.5의 그룹별 농도는 산림 비율이 높은 Group A의 농도가 모든 계절에서 가장 낮았고, 시가화지역 비율이 높은 Group C의 농도는 봄부터 가을까지 가장 높았다. 이상의 그룹간 차이는 통계적으로 유의하였다. Group C 농도는 겨울철에만 Group B보다 낮아졌는데, 겨울철 Group B-C간의 차이는 통계적으로 유의하지 않았다. 계절별 고농도 그룹의 농도 대비 Group A의 농도는 PM10에서 봄, 여름, 가을, 겨울 각각 8.5%, 11.2%, 8.0%, 6.8%, PM2.5에서 3.5%, 10.0%, 4.1%, 3.3% 낮은 수치이었다. PM10과 PM2.5 모두 그룹간 농도 격차가 여름에 가장 크고, 겨울로 가면서 작아졌는데, 이는 산림의 미세먼지 저감기능이 여름에 크고, 겨울에 작기 때문인 것으로 판단되었다. 산림과 비교해 시가화지역이 미세먼지 농도에 끼치는 영향은 작았다. 본 연구를 통해 산림 비율이 높은 지역에서 미세먼지 농도가 낮은 효과가 입증되었으며, 도시의 미세먼지 관리를 위해 녹지의 기능을 규명하는 지속적인 연구가 필요하였다.