• 제목/요약/키워드: 의미화

검색결과 4,330건 처리시간 0.033초

광고성 메일을 자동으로 구별해내는 Text Mining 기법 연구 (Detecting spam mails using Text Mining Techniques)

  • 이종호
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2002년도 춘계학술대회
    • /
    • pp.35-39
    • /
    • 2002
  • 광고성 메일이 개인 당 하루 평균 10통 내외로 오며, 그 제목만으로는 광고메일을 효율적으로 제거하기 어려운 현실이다. 이러한 어려움은 주로 광고 제목을 교묘히 인사말이나 답신처럼 변경하는 데에서 오는 것이며, 이처럼 제목으로 광고를 삭제할 수 없도록 은폐하는 노력은 계속될 추세이다. 그래서 제목을 통한 변화에 적응하면서, 제목뿐만 아니라 내용에 대한 의미 파악을 자동으로 수행하여 스팸 메일을 차단하는 방법이 필요하다. 본 연구에서는 정상 메일과 스팸 메일의 범주화(classification) 방식으로 접근하였다. 이러한 범주화 방식에 대한 기준을 자동으로 알기 위해서는 사람처럼 문장 해독을 통한 의미파악이 필요하지만, 기계가 문장 해독을 통해서 의미파악을 하는 비용이 막대하므로, 의미파악을 단어수준 등에서 효율적으로 대신하는 text mining과 web contents mining 기법들에 대한 적용 및 비교 연구를 수행하였다. 약 500 통에 달하는 광고메일을 표본으로 하였으며, 정상적인 편지군(500 통)에 대해서 동일한 기법을 적용시켜 false alarm도 측정하였다. 비교 연구 결과에 의하면, 메일 패턴의 가변성이 너무 커서 wrapper generation 방법으로는 해결하기 힘들었고, association rule analysis와 link analysis 기법이 보다 우수한 것으로 평가되었다.

  • PDF

잠재적 의미와 k-means 군집화를 이용한 개념추출 검색 (Extraction of Concept by Latent Semantic Indexing and k-means Clustering)

  • 장유진;임호섭;박기림;김민구
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.22-24
    • /
    • 2001
  • 정보검색 시스템에서 사용자의 질의어가 불완전함에 따라 생기는 검색 효율의 저하를 줄이기 위하여 용어의 상호관련성을 반영함과 동시에 벡터의 공간을 축소하는 LSI 모델을 사용하여 문서 집합으로부터 잠재적 의미 공간을 구축하였다. 또한 의미 공간상에 있는 문서의 분포에 따라 \"개념\"을 추출하기 하기 위해 k-means algorithm을 사용하여 군집화 시켰다. 이로부터 불완전한 초기 사용자 질의어를 의미 공간에 구축된 클러스터링 정보로 수정하여 새로운 질의어를 생성함으로 검색의 효율을 높이고자 하였다. 검색 효율을 측정하기 위해 TREC 데이터를 이용하여 분석하였으며 결과는 질의어의 성격에 따라 달라졌으나 대체적으로 우수한 성능을 보였다.한 성능을 보였다.

  • PDF

퍼지 집합의 소속함수에 대한 가중치 함수와 비퍼지화에서의 적용 (Weight Function on the Fuzzy Set membership and its Application to the Defuzzification)

  • 정성원;이광형
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.331-333
    • /
    • 2001
  • 본 논문에서는 퍼지집합의 소속함수에 대한 가중치 함수를 제안한다. 제안하는 가중치 함수는 퍼지집합의 소속함수에 곱해지는 형태로서 적용되어지며, 이것은 소속함수에 대한 사용자의 선호도를 의미한다. 제안하는 가중치 함수의 개념은 기본적으로 소속함수를 사용하는 어떤 퍼지 집합의 응용에서도 적용될 수 있을 것으로 보이나, 본 논문에서는 그 중 한가지 경우로 비퍼지화 방법을 적용 대상으로 선택하였다. 제안하는 가중치 함수가 비퍼지화 방법에 있어서 가지는 의미를 보이며, 기존의 비퍼지화 방법들에서 이러한 가중치 함수의 개념이 어떻게 적용되어 왔는지를 보인다. 또한 기존의 비퍼지화 방법들이 개녀멩 적용되지 않은 형태의 가중치 함수를 선택하여, 비퍼지화 방법에 특정 가중치 함수를 적용하였을 때의 특성 변화를 보인다. 이러한 일반적인 형태의 가중치 함수를 퍼지집합의 소속함수에 적용함으로서, 다양한 형태의 선호도를 퍼지집합의 형태에 반영할 수 있을 것으로 보인다.

  • PDF

데이터 표현 강조 기법을 활용한 부분 공간 군집화 (Deep Subspace clustering with attention mechanism)

  • 백상원;윤상민
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.721-723
    • /
    • 2020
  • 부분 공간 군집화는 고차원 데이터에서 의미 있는 특징들을 선별 및 추출하여 저차원의 부분 공간에서 군집화 하는 것이다. 그러나 최근 딥러닝 활용한 부분 공간 군집화 연구들은 AutoEncoder을 기반으로 의미있는 특징을 선별하는 것이 아닌 특징 맵의 크기를 증가시켜서 네트워크의 표현 능력에 중점을 둔 연구되고 있다. 본 논문에서는 AutoEncdoer 네트워크에 Channel Attention 모델을 활용하여 Encoder와 Decoder에서 부분 공간 군집화를 위한 특징을 강조하는 네트워크를 제안한다. 본 논문에서 제안하는 네트워크는 고차원의 이미지에서 부분 공간 군집화를 위해 강조된 특징 맵을 추출하고 이를 이용해서 보다 향상된 성능을 보여주었다.

  • PDF

한국어 관계관형절의 전산처리 (Processing Korean Relative Adnominal Clauses)

  • 홍정하;이기용
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.265-271
    • /
    • 1999
  • 이 논문은 한국어 관계관형절(relative adnominal clause)의 전산처리에 적합한 통사 의미 표상 모형을 제시하고, 그 결과를 전산적 구현을 통해서 검증하는 것이 목적이다. 이를 위해 이 논문에서는 다음의 두 가지 문제를 중심으로 관계관형절의 통사 의미 표상과 전산적 구현 문제를 다룬다. 첫째, 관계관형절의 수식을 받는 머리 명사(head noun)는 관계관형절과 모문(matrix sentence)에서 각각 다른 의미역할을 하는 논항이다. 즉, 하나의 논항이 두 개의 의미역을 표상한다. 이 논문의 첫째 과제는 이러한 관계관형절 구문에서 머리 명사의 이중의미역을 표상하는 방법을 모색하는 것이다. 둘째, 관계관형절이 일항술어로 구성될 때, 서술어 단독으로 머리 명사를 수식할 수 있을 뿐만 아니라, 주격중출 구문을 관계화하여 미리 명사를 수식할 수도 있다. 그러나 모든 일항술어가 주격중출 구문을 구성할 수 있는 것은 아니기 때문에 주격중출 구문의 관계화가 가능한 경우와 그렇지 않은 경우를 구별할 필요가 있다. 이 논문의 둘째 과제는 이러한 주격중출 구문의 관계화와 그 표상의 문제를 다루는 것이다. 이 논문에서는 이러한 문제들을 단순히 기술하는 데 그치지 않고 전산 구현을 통해 문제해결을 제시한다. 이를 위해 구현 도구로 C-언어를 보강하여 개발한 문법개발 도구언어인 말라가(Malaga)를 사용하며, 분석결과를 자질구조(feature structure)로 명시하여 그 타당성을 검토한다.

  • PDF

공기정보 벡터를 이용한 한국어 명사의 의미구분 (Word Sense Disambiguation Using of Cooccurrence Information Vectors)

  • 신사임;이주호;최용석;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.472-478
    • /
    • 2001
  • 본 논문은 문맥의 공기정보를 사용한 한국어 명사의 의미구분에 관한 연구이다. 대상 명사에 대한 문맥의 지엽적인 단어분포는 명사의 의미구분을 위한 의미적 특성을 표현하는데 충분하지 못하다. 본 논문은 의미별로 수집한 문맥 정보를 기저 벡터화 하는 방법을 제안한다. 정보의 중요도 측정을 통하여 의미구분에 불필요한 문맥정보는 제거하고, 남아있는 문맥의 단어들은 변별력 강화를 위하여 상의어 정보로 바꾸어 기저벡터에 사용한다. 상의어 정보는 단어의 형태와 사전 정의문의 패턴을 통해 추출한다. 의미 벡터를 통한 의미구분에 실패하였을 경우엔 훈련데이터에서 가장 많이 나타난 의미로 정답을 제시한다. 실험을 위해 본 논문에서는 SENSEVAL 실험집합을 사용하였으며, 제시한 방법으로 공기정보의 가공 없이 그대로 실험한 방법과 비교하여 최고 42% 정도의 정확률 향상을 나타내었다.

  • PDF

의미주석말뭉치와 전자사전의 의미기술정보 (Sense tagged Corpus and Definition Information in MRD)

  • 서상규;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.252-259
    • /
    • 2001
  • 의미주석말뭉치는, 문맥에 출현하는 각 어휘의 의미를 특정 사전의 세부의미항목(sense)에 대응시켜 주석함으로써 구축한 말뭉치이다. 이 말뭉치 구축에 있어서의 태그셋은, '연세 한국어 전자사전'의 각 의미기술정보를 기호화하여 사용하였다. 사람에 의한 실제 주석 작업 단계에서, 전자사전 정보의 불완전함 때문에 발생한 문제를 해결함으로써 본래의 사전 정보가 대폭 수정되었다. 즉, 의미 주석 과정에서 문제가 되는 요소에 대한 검토를 통해서 품사 정보, 문법 정보 등을 수정하고 기존 sense를 통합, 추가, 재배열함으로써 기존의 사전 정보를 개선할 수 있었다. 이와 같은 말뭉치와 전자사전, 자연언어 처리 시스템의 활발한 상호 작용을 통해서 언어정보처리 분야 연구의 질적 향상이 가능하다. 나아가, 인간이 직접 판단하여 주석한 대규모의 의미주석말뭉치를 분석하여 응용함으로써 텍스트내의 단어와 전자사전의 세부의미항목을 연결시키는 태거를 개발할 수 있을 것이다.

  • PDF

한국어 어휘의미망을 활용한 의미 오류 검사 규칙 일반화 연구 (A Study on Generalization of Semantic Error Detection Rules in a Grammar Checker for Korean Using Korean WordNet 『KorLex』)

  • 소길자;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.640-643
    • /
    • 2010
  • 영어권에서는 통계적 기반 의미 오류 검사기에 대한 연구가 활발하게 진행되었으나 한국어에서는 자주 나타나는 오류를 중심으로 오류 단어를 검사할 문맥이나 공기정보를 갖는 규칙 기반의 연구가 이루어져왔다. 본 논문에서는 표제어나 사전 기반 범주화 정보로 표현되고 있는 기존 문법 검사기의 성능을 개선하는 방안으로 한국어 명사 어휘 의미망인 KorLex를 활용하는 방법을 연구한다. 특히, 용언은 목적어나 주어에 사용되는 명사의 표제어가 의미 제약 조건으로 사용되는 예가 많다. 본 논문에서는 용언의 의미 제약 조건을 명사 표제어 단위에서 명사 의미 그룹(class) 단위로 확대하여 문법 검사기의 의미 오류 검사 규칙의 의미 오류 제약 조건을 일반화 하는 방안을 연구한다.

마음이 들려주는 이야기 - 드라마가 마음을 치유한다

  • 선안남
    • 건강소식
    • /
    • 제37권6호
    • /
    • pp.22-23
    • /
    • 2013
  • 우리는 이야기가 우리에게 중요한 역할을 한다는 것을 알고 있다. 우리의 일상은 이야기로 채워져 있고 우리는 지금 이 순간에도 우리의 이야기를 만들어가고 있다. 그리고 우리를 둘러싼 이야기를 어떻게 해석하고 의미화하는가에 따라 우리의 삶은 완전히 달라진다.

  • PDF

하위범주화 사전의 구축 및 자동 확장 (Development and Automatic Extraction of Subcategorization Dictionary)

  • 이수선;박현재;우요섭
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.179-181
    • /
    • 2000
  • 한국어의 통사적, 의미적 중의성 해결을 위해 하위범주화 사전을 구축하였다. 용언에 따라 제한될 수 있는 문형 패턴과 의미역(semantic roles) 정보의 표준을 정하여 이를 부가하였고 구축한 하위범주화 사전이 명사에 대한 의미를 갖고 있는 계층 시소러스 의미사전과 연동하도록 용언과 명사와의 의미적 연어 관계에 따라 의미마커를 부여했다. 논문에서 구현된 하위범주화 사전이 구문과 어휘의 중의성을 어느 정도 해소하는지 확인하기 위해 반자동적으로 의미 태깅(Sense Tagging)된 말뭉치와 구문분석된 말뭉치를 통해 검증 작업을 수행했다. 이 과정에서 자동으로 하위범주 패턴에 대한 빈도 정보나, 연어정보, 각 의미역과 용언의 통계적 공기 정보 등을 추출하여 하위범주화사전에 추가시켰다. 또한 여기서 얻은 정보를 기준으로 하위범주화 사전을 자동으로 확장하는 알고리즘을 적용하여 확장시켰다.

  • PDF