• 제목/요약/키워드: 데이터 밀도

검색결과 907건 처리시간 0.038초

프라이버시를 보존하는 군집화 (Privacy Preserving Clustering)

  • 유현진;김민호;라마크리쉬나
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.473-476
    • /
    • 2004
  • 본 논문에서는 프라이버시를 침해 하지 않는 데이터 마이닝에 대해 다룬다. 방대한 데이터에서 유용한 정보를 추출하는 데이터 마이닝분야에서 데이터로부터 프라이버시 보존의 중요성이 부각되고 있다. 그래서 프라이버시의 침해를 막기 위한 방법으로 실제 데이터를 사용하지 않고 잡음이 들어간 데이터를 사용한다. 그리고 프라이버시를 침해하지 않기 위해 잡음이 들어간 데이터로부터 데이터의 확률 밀도 함수(PDF)만을 복원한다. 이렇게 복원된 확률 밀도 함수만을 이용하여 데이터 마이닝기술, 예를 들면 분류화에 곧바로 적용함으로써 프라이버시를 보존하는 것이다. 하지만 분류화에 사용되는 데이터의 1차원적인 확률 밀도 함수만 가지고는 군집화에 사용하기가 부적절하다. 따라서 본 논문에서는 군집화를 하기 위해 잡음이 들어간 데이터로부터 결합 확률 밀도 함수(Joint PDF)를 복원하고, 복원된 결합 확률 밀도 함수만 가지고 군집화를 할 수 있는 방법을 다룬다.

  • PDF

보건 데이터 활용에 관한 연구(II) (A study of the Health Data Application)

  • 임기영;조은희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (하)
    • /
    • pp.1213-1216
    • /
    • 2001
  • 정규분포 등의 가정이 곤란한 복잡한 밀도 분포에 대해 데이터의 선험적인 지식 없이 해석하기 위해 다수의 항목이 되고 복잡한 밀도 분포를 가진 데이터를 보다 소수의 단순한 밀도 분포가 되는 그룹으로 분류하는 방법을 나타내었고 데이터를 그룹으로 분류하는데 표본에 의한 분류와 항목에 의한 분류를 할 수 있다. 선험지식을 사용하지 않고 데이터를 분류하면 Parzen의 창함수에 의한 추정과 대수우도에 의한 평가함수를 사용하는 것으로 복잡한 형상을 가진 밀도분포도 선험지식 없이 해석이 가능하다. 표본의 밀도 분포와 항목의 밀도분포를 나타내기 위하여 다수의 밀도 분포의 합과 곱의 형으로 전개하는 방법을 보였고 제안하는 방법을 의도적으로 생성한 데이터에 적용하여 원래의 밀도분포에 따라 분류결과를 얻을 수 있었다.

  • PDF

통계적 분석에 의한 정상상태조건을 만족하는 교통량-밀도 관계 도출 (Flow-density Relations Satisfying Stationary Conditions using Statistical Analysis)

  • 김영호
    • 대한교통학회지
    • /
    • 제24권5호
    • /
    • pp.135-142
    • /
    • 2006
  • 교통류 이론에서 fundamental diagram이라고 불리는 교통량-밀도 관계는 stationary 상태에서의 교통량과 밀도사이의 평형관계 (equilibrium relation)를 나타낸다 본 연구에서는 개별차량 데이터를 이용하여 교통량-밀도 관계의 전제조건인 stationary 조건을 만족하는 데이터를 추출하는 방법을 제시하였고, stationary 조건을 만족하는 데이터를 교통량-밀도 평면에 도시하였다. 개별차량의 흐름이 자유교통류상태와 혼잡교통류상태에서 상이하며 지점에서 관측된 데이터가 서로 다른 특성의 시계열특성을 보인다는 점에 근거하여 두 가지 상태에 따라 서로 다른 stationary조건을 제시하였다. 본 논문에서 제시된 stationary 조건을 실제로 관측된 데이터에 적용한 결과 자유교통류상태의 stationary조건을 만족하는 데이터는 현재까지 알려진 바와 같이 교통류-밀도 관계의 왼쪽가지에 위치하고. 혼잡교통류상태의 stationary조건을 만족하는 데이터는 교통류-밀도관계의 오른쪽 가지에 위치한다. 또한 본 연구에서 제시된 방법론에 따라 교통류-밀도관계의 전범위에 걸쳐 stationary조건을 만족하는 데이터를 구별하여 교통류-밀도평면에 도시한 결과 교통류의 거의 전영역에 걸쳐 재현 가능한 관계가 나타나는 것을 확인할 수 있었다.

데이터 출현 빈도를 이용하여 코드 밀도를 조절하는 데이터 스크램블링 기법 (Data Scrambling Scheme that Controls Code Density with Data Occurrence Frequency)

  • 현철승;정관일;유수원;이동희
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권9호
    • /
    • pp.235-242
    • /
    • 2021
  • 기존 데이터 스크램블링 기법은 랜덤한 코드를 생성한다. 이와 다르게 우리는 생성하는 코드의 밀도를 다르게 만드는 가변 밀도 스크램블링 기법을 제안한다. 먼저 코드 밀도를 다르게 만드는 조건과 방법에 대해 설명한다. 다음으로 가변 밀도 스크램블링 기법을 플래시 메모리에 적용하여 특정 셀 상태가 더 많이 발생하도록 한다. 특히 플래시 메모리의 에러율을 제한하기 위하여, 가변 밀도 스크램블링 기법은 코드의 밀도를 조절하여 모든 셀 상태 중 중간 상태를 가지는 셀 비율을 높일 수 있다. 윈도우즈와 리눅스 시스템의 데이터에 가변 밀도 스크램블링 기법을 적용하였으며, 실험 결과는 가변 밀도 스크램블링 기법이 중간과 가까운 상태를 가지는 셀의 비율을 증가시킴을 보여준다.

Lidar 데이터의 점밀도에 따른 지물의 3D모델링 (3D Modeling of Terrain Objects according to the Point Density of Lidar Data)

  • 한동엽;김용일;유기윤
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2003년도 공동 춘계학술대회 논문집
    • /
    • pp.550-555
    • /
    • 2003
  • 최근에 Lidar 데이터를 이용한 3차원 위치 정보와 지표면 속성 정보를 취득하는 연구가 많이 진행되고 있다. 높은 위치 정확도, 3차원 데이터 동시 취득, 기존 측정 방식에 비하여 점 데이터 취득의 자동화, 데이터 정확도의 안정성 등으로 인하여 복잡한 지형 및 인공구조물이 존재하는 지역에서 Lidar 데이터의 응용 사례가 많이 나타나고 있으며, 특히 건물 모델링에서 반자동 방식의 디지털 사진측량에 비하여 자동 모델링의 가능성을 보여주고 있다. 일반적으로 Lidar 데이터의 점밀도는 1점/㎡이내이며, 촬영된 스트립을 중복시켜 점밀도를 높이기도 한다. 건물은 크기와 형태가 다양하기 때문에 모델링에 필요한 점밀도를 제시하기는 어렵지만 5점 내외에서 모델링이 가능하다고 알려져 있으며 건물이외에 다른 지형지물에 대한 모델링 연구는 거의 이루어지지 않고 있다. 따라서 본 논문에서는 Lidar 데이터의 점밀도에 따라 지물의 모델링 가능성을 평가하고 효율적인 데이터 취득 방안을 제시하고자 한다.

  • PDF

밀도 기반의 퍼지 C-Means 알고리즘을 이용한 클러스터 합병 (Cluster Merging Using Density based Fuzzy C-Means algorithm)

  • 한진우;전성해;오경환
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2003년도 춘계 학술대회 학술발표 논문집
    • /
    • pp.235-238
    • /
    • 2003
  • Fuzzy C-Means(FCM) 알고리즘은 초기 군집 중심의 개수와 위치에 따라 군집 결과의 성능차이가 많이 나타난다. 하지만 일반적인 경우에 군집 중심의 개수는 분석가의 주관에 의해 결정되고, 임의적으로 결정되기 때문에 원래 데이터의 구조와는 무관하게 수행되어 최적화된 군집화 수행을 실행하지 못하는 경우가 발생하게 된다. 따라서 본 논문에서는 원래의 데이터의 구조에 좀더 근접한 퍼지 군집화를 수행하기 위하여 격자를 바탕으로 한 데이터의 밀도를 이용한 FCM을 제안하고, 이러한 밀도 기반 FCM에 의해 결정된 군집의 합병 기법을 제안하였다. N-차원의 데이터 공간을 N-차원의 격자로 나누고, 초기 군집 중심의 개수와 위치는 각 격자의 밀도를 바탕으로 결정된다. 초기화 이후에 각 격자 내부에서 FCM을 이용하여 군집화를 수행하고, 계속해서 이웃 격자의 군집결과에 대하여 군집간의 유사도 측도를 이용하여 군집 합병을 수행함으로써 데이터의 자연적인 구조에 근접한 군집화를 수행하였다. 제안된 군집화 합병 기법의 향상된 성능은 UCI Machine Learning Repository 데이터를 이용하여 확인하였다.

  • PDF

교육데이터 정제를 위한 다양한 밀도분포를 고려한 개선된 DBSCAN 알고리즘 (An Enhanced DBSCAN Algorithm to Consider Various Density Distributions for Educational Data)

  • 김정훈;나스리디노프 아지즈
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2018년도 동계학술대회
    • /
    • pp.41-44
    • /
    • 2018
  • 교육데이터마이닝은 다양한 교육 환경에서 생성되는 막대한 양의 데이터를 활용하여 학습자들의 학습 유형, 학습 진도를 분석, 예측하고 교육 성취를 효과적으로 향상시키는 것을 목적으로 한다. 효과적인 교육데이터마이닝 결과를 얻기 위해서는 교육데이터에 대한 정제 과정이 필요하며 DBSCAN 클러스터링을 통해 교육데이터에 포함된 노이즈 데이터를 제거하고 생성된 각 클러스터에서 동일한 비율로 데이터를 추출함으로써 편향되지 않은 표본 데이터를 생성할 수 있다. 하지만 DBSCAN은 두 개의 전역 매개변수에 의해 다양한 밀도분포를 가지는 클러스터를 생성할 수 없다는 문제점이 있으며 이는 교육 데이터를 정제함에 있어 치명적인 문제점이 될 수 있다. 본 논문에서는 DBSCAN의 문제점을 개선하고 클러스터링 정확도를 향상시키기 위해 고정된 매개변수를 사용하지 않고 각 밀도분포에 대해 최적의 입력 매개변수를 결정함으로써 다양한 밀도분포를 가지는 클러스터들을 효과적으로 생성하는 C-DBSCAN을 제안한다.

  • PDF

다목적 실용위성 1호로 관측한 저위도 상부이온층의 태양 활동에 따른 전자 온도 및 밀도의 변화

  • 김희준;이재진;박재흥;민경욱
    • 한국우주과학회:학술대회논문집(한국우주과학회보)
    • /
    • 한국우주과학회 2003년도 한국우주과학회보 제12권2호
    • /
    • pp.102-102
    • /
    • 2003
  • 다목적 실용위성 1호로 2000년 6월 28일에서 2001년 8월 1일까지의 고도 685 Km, 22:50LT 지역시(Local Time)인 상부 이온층을 조사하였다. 위성에 탑재된 이온층 측정 센서(Ionospheric Measurement Sensor)로부터 전자 온도와 전자 밀도 데이터를 얻었으며, 자기 위도로 -60$^{\circ}$ ~ +60$^{\circ}$사이의 중ㆍ저위도의 데이터를 분석하였다. 관측 기간은 지자기 변화를 나타내는 Kp index나 태양 활동을 나타내는 F10.7이 크게 변화한 태양 극대기 기간으로, 특히 일변화의 F10.7을 통해 전자 온도와 전자 밀도의 변화를 조사하였다. 측정 시간이 야간(22:50)임에도 불구하고 태양 활동을 나타내는 F10.7에 따라 전자 온도와 전자 밀도가 변화하는 것으로 나타났다. F10.7이 250이하일 때는 F10.7이 커질수록 전자밀도는 거의 선형적으로 증가하였으며 전자온도도 증가는 하나 그 정도는 전자 밀도보다 작게 나타났다. F10.7이 250을 넘어가면 전자 밀도가 일정하거나 감소하는 경향을 나타냈다. 부가적으로 비슷한 고도의 DMSP-F15의 데이터와 비교를 통해 다목적 실용위성 1호의 관측결과의 신뢰성을 높였다.

  • PDF

One-Class 서포트 벡터 머신을 이용한 레벨 셋 트리 생성 (Creating Level Set Trees Using One-Class Support Vector Machines)

  • 이계민
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.86-92
    • /
    • 2015
  • 레벨 셋 트리는 다차원에 정의된 확률 밀도 함수를 표현하는데 유용하다. 복잡한 데이터의 구조를 트리 형태로 시각화하여 데이터의 형태를 효율적으로 파악할 수 있으며 클러스터링 분석에 효과적으로 이용할 수 있다. 본 논문에서는 미지의 확률 밀도 함수에서 생성된 데이터 샘플로부터 레벨 셋 트리를 생성하는 알고리즘을 제안한다. 제안된 알고리즘은 레벨을 0에서부터 무한대로 증가시키며 밀도 함수의 각 레벨 셋을 추정하고, 이로부터 레벨 셋 트리를 생성한다. 이를 위해 본 논문에서는 one-class 서포트 벡터 머신 (OC-SVM)을 이용하여 직접적으로 레벨 셋을 추정한다. 이때 다양한 레벨 값에 대해 OC-SVM 학습을 반복해야 하는데, OC-SVM 솔루션 path 알고리즘을 통해 빠른 시간 안에 모든 레벨값에 해당하는 레벨 셋를 추정할 수 있다.

무선 센서 네트워크에서 노드 밀도를 고려한 효율적인 클러스터링 알고리즘 (An Efficient Clustering Algorithm Considering Node Density in Wireless Sensor Networks)

  • 김창현;김건우;이원주;전창호
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2008년도 제39차 동계학술발표논문집 16권2호
    • /
    • pp.301-304
    • /
    • 2009
  • 무선 센서 네트워크는 제한된 에너지로 동작하는 다수의 센서 노드로 구성되기 때문에 효율적으로 에너지를 사용 것이 중요하다. 기존의 클러스터 기반 알고리즘은 지역적으로 인접한 다수의 노드들을 클러스터로 구성하고 멤버 노드로부터 수신된 데이터를 병합하여 전송함으로써 에너지 소모를 줄였다. 하지만 클러스터링 과정에서 노드의 밀도를 고려하지 않았기 때문에 불균등한 노드 분포상에서 데이터 병합의 효과를 얻을 수 없는 클러스터를 생성할 수 있다. 따라서 본 논문에서는 클러스터링과정에 노드의 밀도를 고려하여 데이터 병합 효과를 최대화하고, 에너지 소모를 줄일 수 있는 새로운 클러스터링 알고리즘을 제안한다.

  • PDF