• 제목/요약/키워드: 검색어 추출

검색결과 328건 처리시간 0.024초

디지털 성범죄 추적을 위한 트위터 크롤링 기법 연구 (A Study on Twitter Crawling Techniques for Tracking Digital Sexual Crimes)

  • 이현우;이수빈;안동휘;김지연;김창훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.203-205
    • /
    • 2023
  • 소셜미디어 사용이 증가하면서 성 착취물, 불법 촬영물과 같은 디지털 성범죄 또한 확산되는 추세이다. 소셜미디어에서 검색어 차단 정책 등을 통해 디지털 성범죄를 제재하기 위한 노력이 이루어지고 있으나, 은어 및 다양한 변형어를 사용한 우회 검색을 모두 차단하는 것이 어려울 뿐 아니라, 단시간에도 방대한 양의 데이터가 생성되는 소셜미디어 특성상 범죄 관련 게시글을 모두 식별해 내는 것이 현실적으로 불가능하다. 따라서 능동적이고 고도화된 크롤링 기술 개발을 통해 소셜미디어상의 범죄를 실시간 탐지하는 연구가 필요하다. 본 논문에서는 디지털 성범죄 관련 데이터가 빈번하게 관찰되는 트위터를 대상으로 성 착취물 및 불법 촬영물 정보를 수집하기 위한 검색 키워드를 정의하고, 실제 트위터 크롤링을 수행하여 텔레그램, 디스코드, 라인 등과 같은 다른 소셜미디어에 성범죄물이 유포되는 정황을 URL, 코드, 해시태그 추출을 통해 확보하는 수사 기술을 개발한다.

  • PDF

특허정보 검색을 위한 벡터스페이스 검색모텔의 적용 (Vector Space Model for Patent Information Retrieval System)

  • 원상훈;노태길;손기준;박정희;이상조
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
    • /
    • pp.516-518
    • /
    • 2003
  • 본 논문은 특허 문서에 맞게 벡터스페이스 모델을 적용하여 특허정보 검색기를 구현한다. 기존의 상용 특허 검색 시스템의 문제점을 제시하고, 특허 문헌의 특징을 분석하여, 이를 반영한 특허 문헌 검색등의 벡터 스페이스 모델을 제시한다. 하나의 특허 문서는 서로 상이한 특성을 지닌 텍스트와 데이터의 조합으로 이루어져 있다. 따라서 이를 하나의 벡터로 표현하는 것이 용이하지 않다. 이에 대해 본 연구에서는 내용 필드들을 특성에 따라 둘 이상의 벡터로 표현하고, 수치 및 고유명 필드는 불린검색형태로 처리되는 혼합형 벡터 모델을 제안한다. 각 필드의 특징에 맞게 색인어를 추출하며, 텍스트 필드의 색인어률 벡터로 표현하는 과정에서는 잘 알려진 TF-IDF 가중치를 사용하되, 특허 문서가 IPC 특허 분류 기준에 따라 완전 분류되어 있는 문서라는 특징을 이용, 보다 정확한 가중치를 부여한다. 실험과 성능평가를 통하여 제안한 특허 모델의 유용성을 보인다.

  • PDF

이용자 중심의 이미지 접근과 이용 분석을 통한 차세대 멀티미디어 검색 패러다임 요소에 관한 연구 (Towards Next Generation Multimedia Information Retrieval by Analyzing User-centered Image Access and Use)

  • 정은경
    • 한국문헌정보학회지
    • /
    • 제51권4호
    • /
    • pp.121-138
    • /
    • 2017
  • 멀티미디어 정보환경의 발전과 다양한 요구를 지닌 정보이용자는 멀티미디어의 접근과 이용에 있어서 기존 정보검색 패러다임에서 중요시하지 않았던 요소를 사용하는 추세이다. 특히 이미지를 포함한 멀티미디어의 감정 접근과 이용은 다양한 정보환경에서 이루어지고 있다. 따라서 효율적으로 추상적 개념인 감정을 이용자에게 접근점으로 제공할 필요성이 증가한다. 본 연구는 감정으로 접근이 가능한 게티 이미지 뱅크의 이미지를 5가지 기본 감정으로 검색하여 부여된 색인어 총 22,675건을 추출하였다. 추출된 색인어는 전체감정, 긍정감정, 부정감정의 세 가지 데이터셋으로 구분하여 분석되었다. 분석을 위해서는 동시출현단어행렬로 작성되어 가중 네트워크와 군집화기법으로 시각화되었다. 분석결과를 살펴보면, 전체감정은 대분류로써 긍정감정, 부정감정, 가족의 3개 군집과 하위 20개의 군집으로 나타났다. 긍정감정은 10개의 군집이며, 부정감정은 10개의 군집으로 구성되었다. 이와 같은 가중 네트워크와 군집구성 분석을 통해, 세 가지 중요한 차세대 멀티미디어 검색을 위한 요소로 논의하였다. 첫째는 이미지 감정 표현을 위한 인물 색인어 특성이다. 둘째는 명시적 단어와 감정을 표현하는 함축적 단어와의 네트워크 구성을 통해서 상대적으로 색인이 용이한 명시적 단어만으로도 함축적 단어 추론 가능성이다. 셋째는 감정으로 표현하는 함축적 단어의 유사어/동의어로의 확장은 이용자 중심의 접근을 제공하는 측면에서 중요하다는 점이다.

제한된 영역에서의 폼 기반 자연언어 대화 인터페이스 (Form-based Natural Langauge Dialogue Interface in a Restricted Domain)

  • 김용재;서정연;박재득
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.463-468
    • /
    • 1997
  • 자연언어 대화는 사람들이 사용하는 가장 자연스러운 의사소통 수단이다. 따라서, 자연언어 대화 인터페이스를 통해서 사용자와 시스템이 편리하고 자연스러운 방법으로 의사를 교환할 수 있다. 본 논문에서는 대화 인터페이스의 필요성과 폼에 기반한 대화 인터페이스 기법에 대해서 설명한다, 폼 기반 인터페이스란 데이터베이스 검색을 위해서 질의어를 생성할 때 검색에 대한 제한 조건을 폼(form)의 형태로 나타내어, 사용자와의 대화를 통해서 폼 정보를 추출하고, 이렇게 완성된 폼을 이용하여 질의어를 생성하는 것을 말한다. 본 논문에서는 이러한 폼 기반 대화 인터페이스에서 시스템이 대화를 적절히 유도하고 사용자의 응답이나 질문에 대해 적절히 대응하기 위한 폼과 재귀적 대화 전이망(recursive dialogue transition networks)을 이용한 대화 모델에 대해 제안한다.

  • PDF

웹과 GIS를 통합한 ″Kyonggi21Search″ 구현 : 색인어간 연관도 생성 및 최적화 (Implementation of ″Kyonggi21Search″ combining GIS with The Web : Optimization of Index Association)

  • 장정훈;이룡;상임미언;권용진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.79-81
    • /
    • 2003
  • Kyonggi21Search시스템은 GIS와 웹을 통합한 지역정보 검색 시스템이다. 웹과 GIS를 연동하여 지리정보를 검색하기 위해 웹 문서에서 지역관련 색인어를 추출하고, 색인어간의 관련성을 계산한다. "Kyonggi21Search"시스템에서는 웹 문서에 많이 나타나는 일반적인 단어보다는, 많은 문서에 나타나지 않는 지리적 문화적인 단어들 간의 관련성을 찾는 것이 더 중요한데, 본 연구에서는 단어들 간의 관련성을 찾는데 연관규칙과 연관클러스터를 이용하여 연관도를 계산한다. 그리고 이런 단어들의 관련성을 찾는데는 연관 클러스터를 이용하는 것이 더 적합하다는 것을 보여준다. 한편 웹 문서와 색인어를 이용하여 만든 행렬은 희소행렬이라는 점을 이용하여 연관 클러스터 방법의 단점인 높은 계산량을 줄이는 최적화 방법을 제안한다.

  • PDF

효율적인 색인어 추출을 위한 복합명사 분석 방법 (A Korean Compound Noun Analysis Method for Effective Indexing)

  • 장동현;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.32-35
    • /
    • 1996
  • 정보 검색 기술은 적용 분야, 질의어, 데이터가 달라질 경우, 결과 또한 달라질 수 있음을 최근의 연구 결과로부터 알 수 있다. 사용되는 언어에 따라서도 고유한 문제가 제기될 수 있는데, 특히 한국어의 경우 복합명사는 명사끼리의 조합이 자유롭고 길이에 제한이 없기 때문에 이를 단위 명사로 분할하는 작업이 어렵다. 또한 영어와는 달리 복합명사가 문서 내에서 많은 부분을 차지하며 문서의 내용을 대표하는 경우가 많이 있기 때문에, 정보 검색 기술을 한국어에 적용하기 위해서는 수정, 보완하는 노력이 필요하다. 본 연구에서는 어휘에 관한 사전 및 코퍼스 정보를 트라이(trie)에 저장한 후 어휘들간의 공통 부분에 더미 노드(dummy node)를 삽입하여 복합명사를 단위 명사로 분할하는 기법을 제시하였다.

  • PDF

Competitive Unit을 사용한 Helmholtz Machine에 의한 문서 클러스터링 (Topical Clustering of Documents using Helmholtz Machines with Competitive Units)

  • 장정호;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.292-294
    • /
    • 2001
  • 문서 클러스터링은 정보검색 시스템에서 검색과정의 효율성을 향상시키기 위해서 많이 사용된다. 기존의 K-means 클러스터링과 같은 거리-기반 접근 방법은 거리에 대한 척도를 정해야 하는 문제가 있고, 또한 전체 자질 공간에서 지역적 특성에 민감하기 때문에 문서 내에 노이즈가 존재할 경우 만족스러운 결과를 내지 못할 수 있다. 그리고 기본적으로 문서 데이터는 희소성(sparseness)을 가기 때문에 정규 분포를 가정한 mixture 모델을 적용하기도 어려움이 있다. 본 논문에서는 Helmoholtz machine에 의한 문서 클러스터링 방법을 제안한다. 제안되는 방법에서는 하나의 문서를 어떤 내재적인 요인(factor)들의 다양한 결합에 의한 결과로 가정하는데, 이 때의 요인은 주제어 집합 또는 적어도 의미적으로 유사한 단어들의 집합이다. 그리고 기본적으로 Helmholtz machine은 이진 데이터를 다루는데, 텍스트 문서에 나타나는 단어들의 빈도를 고려하기 위해 수정된 Helmholtz machine을 제시한다. TREC-8 adhoe 데이터와 20 Newsgroup 문서 집합에 대한 클러스터링 실험 결과, 제안된 방법이 K-means 알고리즘에 비해 우수한 성능을 보였으며 주제어 추출을 통해 문서 집합의 전체 내용 파악을 용이하게 하는 특성이 있었다.

  • PDF

비감독 학습 기법에 의한 한국어의 키워드 추출 (Keyword Extraction in Korean Using Unsupervised Learning Method)

  • 신성윤;이양원
    • 한국정보통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.1403-1408
    • /
    • 2010
  • 한국어 정보검색에서는 문서를 대표하는 색인어 또는 키워드로서 명사를 사용하는데, 이러한 명사 및 키워드 추출이란 문서 내에 존재하는 모든 명사를 찾아내는 작업이다. 본 논문에서는 기 구축된 사전을 이용하여 키워드를 추출하는 방법을 제시한다. 이 방법은 불필요한 연산을 줄여서 수행 시간을 단축시켰다. 그리고 대용량의 문서에서도 정확도에 크게 영향을 미치지 않으면서 명사를 추출할 수 있다. 본 논문에서는 명사의 출현 특성을 이용한 명사추출 방법 및 비감독 학습 기법에 의한 키워드 추출 방법을 제시한다.

위치 검색 지도 서비스를 위한 k관심지역 검색 기법 (k-Interest Places Search Algorithm for Location Search Map Service)

  • 조성환;이경주;유기윤
    • 한국측량학회지
    • /
    • 제31권4호
    • /
    • pp.259-267
    • /
    • 2013
  • 최근 인터넷의 발달과 더불어 지리정보시스템(GIS, Geographic Information System)에 대한 인식이 저변 확대되면서 일반인들도 위치 검색 기능을 제공하는 웹GIS를 쉽게 이용할 수 있게 되었다. 현재 서비스되고 있는 모든 위치 검색 기능은 사용자가 하나의 검색어를 입력하고 그에 대한 결과를 보여주는 서비스에 한정되어 있다. 하지만 사용자의 검색 목적이 다양해짐에 따라, 여러 가지 행위를 동시에 할 수 있는 장소를 검색하는 서비스는 없었다. 예를들어, 점심을 먹은 후, 은행에서 업무를 보고, 영화 한 편을 보고자 할 때 이러한 관심 지역(POI, Point of Interest)들이 모여 있는 장소를 필요로 할 수 있다. 따라서 본 논문에서는 사용자로부터 여러 장소를 입력받아 입력된 장소가 모여 있는 곳을 검색해주는 k-IPS 기법을 제안하고자 한다. 여기서 k는 다양한 행위를 할 수 있는 관심의 개수이다. 이 방법은 최소경계사각형(MBR, Minimum Bounding Rectangle)의 계층적 트리 구조인 $R^*$-tree 색인 기법을 이용하여 공간을 분할하고, 기존 공간 Join 연산의 성능 개선을 위하여 $R^*$-tree간의 겹치는 영역 추출하는 재귀적 공간 Join 연산을 구현하였다. k-IPS 기법의 성능 평가는 159개의 다양한 검색어 집합을 구성하여 k=2,3,4,6에 대한 검색 결과를 확인하였다. 실험 결과의 약 90%에 대해서 예상한대로 k개의 검색어 장소가 모여 있는 위치를 얻을 수 있었고, k=2,3,4의 처리 시간은 0.1초 이내의 응답을 얻을 수 있었다. k-IPS 서비스를 통하여 현대인의 순차적 생활 패턴에 맞춘 검색 서비스가 가능할 것으로 판단된다.

분야연상어의 수집과 추출 알고리즘 (Collection and Extraction Algorithm of Field-Associated Terms)

  • 이상곤;이완권
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.347-358
    • /
    • 2003
  • 인간은 문서전체를 읽지 않고 대표적인 단어를 보는 것만으로 정치나 스포츠 등의 분야를 정확히 인지할 수 있다. 문서전체를 대상으로 하지 않고 부분텍스트에서 출현하는 소수의 단어정보에서 문서의 분야를 정확히 결정하기 위해 분야연상어의 구축은 중요한 연구과제이다. 인간이 미리 분야체계를 정의하고, 각 분야에 해당하는 문서를 인터넷이나 서적을 통해 수집한다. 본 논문은 수집문서의 분야를 정확히 지시하는 분야연상어를 수집하는 방법을 제안한다. 문서의 분야결정 시점을 고려하여 분야연상어의 수준과 안정성 랭크에 대하여 논의한다. 학습데이터에서 분야연상어 후보의 각 수준을 자동으로 결정하고, 컴퓨터가 제시하는 분야연상어의 수준, 안정성 랭크, 집중률, 빈도정보를 이용하여 단일 분야연상어를 수집하는 방법을 제안한다.