• 한국정보통신학회논문지
• /
• 제27권1호
• /
• pp.1-7
• /
• 2023

심층 웹 수집은 검색 양식에 질의어를 입력하고 응답 결과를 수집하는 것을 의미한다. 심층 웹이 가진 정보는 정적으로 구성되는 표면 웹보다 약 450~550배 이상의 정보를 가지고 있을 것으로 추산한다. 정적인 방식에서는 웹페이지가 새로 고쳐지기 전까지 변화된 정보를 보여주지 못한다. 동적 웹페이지 방식은 실시간으로 필요한 정보가 갱신되어 웹페이지를 새로 불러오지 않아도 실시간 정보 제공이 가능한 장점이 있지만, 일반적인 크롤러는 갱신된 정보에 접근하는 데 어려움이 있다. 따라서 이들 심층 웹에 있는 정보들을 크롤러를 이용해 자동으로 수집할 방안이 필요하다. 이에 본 논문은 스크립트를 일반적인 링크로 활용하는 방법을 제안하였으며, 이를 위해 클라이언트 스크립트를 일반 URL처럼 활용이 가능한 알고리즘을 제안하고 실험하였다. 제안된 알고리즘은, 검색 양식에 데이터를 입력하는 일반적인 방법 대신 메뉴 탐색 및 스크립트 실행으로 웹 정보를 수집하는 데 중점을 두었다.

• 한국산업정보학회논문지
• /
• 제14권5호
• /
• pp.11-18
• /
• 2009

자바스크립트 기반의 Ajax는 ActiveX 기술의 대안으로 주목받고 있는데, 대부분의 웹 브라우저에서 기본으로 지원되고, 비동기 상호작용을 통한 빠른 속도와 뛰어난 트래픽 절감 효과, 그리고 화려한 인터페이스 등의 장점들로 인해, 현재 국내 대형 포털 사이트들에서도 이 기술을 접목시켜 기존의 서비스를 재오픈 하는 추세이기도 하다. 본 연구에서는 이러한 Ajax 기술과 국내외 주요 사이트에서 제공하는 오픈 API들을 이용하여 다국어 메타검색 시스템을 모델링하고 구현하였다. 사용자로부터 입력받은 한국어 질의어를 구글 번역 API를 이용하여 저 세계 54개국 언어 중 하나의 언어로 번역한 후, 대표적인 소셜 웹 사이트(Flickr, Youtube, Daum, Naver 등)의 정보를 통합 검색한다. 검색된 결과는 Ajax 기술을 통해 화면의 일부분만 동적 로딩하여 빠른 속도로 출력해주는 동시에, 불필요한 정보의 중복 전송을 방지하여 서버의 트래픽과 패킷당 통신 요금을 절감하는 효과를 가져왔다.

• 한국정보과학회논문지:데이타베이스
• /
• 제34권5호
• /
• pp.409-419
• /
• 2007

허밍을 통한 유사 검색 질의가 주어질 때 효과적으로 음악 데이타베이스를 검색하는 시스템에 대한 연구는 다양한 방향으로 진행되어 왔다. 최근에는 음악 데이타베이스와 허밍 질의를 시계열 데이터로 변환하여 시계열 데이타의 유사 검색과 관련하여 제안되어 왔던 여러 가지 거리 척도(distance measure)나 인덱싱 기법등을 적용하여 효과적으로 질의를 처리하려는 시도가 계속 되고 있다. 허밍 질의의 특성을 고려하여 균일 스케일링(Uniform Scaling)과 동적 프로그래밍을 사용한 타임 워핑(Dynamic Time Warping)을 함께 고려한 스케일드 앤 워프트 매칭(Scaled and Warped Matching) 거리를 사용하여 효과적인 유사 검색을 하는 방법은 가장 최근 제시된 방법 중 하나이다. 본 논문에서는 허밍을 통한 유사 검색 시스템인 Humming BIRD(Humming Based sImilaR miDimusic retrieval system)를 제안하고 구현하였다. 슬라이딩 윈도우를 사용하여 음악의 임의의 부분에 대한 허밍 질의를 처리할 수 있도록 하였으며 더 효율적으로 검색하기 위해 이전의 균일 스케일링을 변형하여 중심을 일치시킨(center-aligned) 균일 스케일링을 제안하고 이와 타임 워핑을 결합한 형태의 스케일드 앤워프트 매칭을 제안하였다. 이 거리의 좀 더 타이트한 하한을 계산하는 하계 함수를 사용하여 탐색 공간(search space)을 효과적으로 줄여 더 빠르고 효과적인 유사 검색을 가능하도록 하였다. 마지막으로 실험을 통해 개선된 스케일드 앤 워프트 매칭이 이전에 비해 같은 검객 결과를 얻으면서도 효과적으로 검색함을 탐색 공간을 줄이는 가지치기 성능을 비교함으로써 보였다.

• Asia pacific journal of information systems
• /
• 제18권1호
• /
• pp.79-96
• /
• 2008

One of the roles of the Semantic Web services is to execute dynamic intra-organizational services including the integration and interoperation of business processes. Since different organizations design their processes differently, the retrieval of similar semantic business processes is necessary in order to support inter-organizational collaborations. Most approaches for finding services that have certain features and support certain business processes have relied on some type of logical reasoning and exact matching. This paper presents our approach of using imprecise matching for expanding results from an exact matching engine to query the OWL(Web Ontology Language) MIT Process Handbook. MIT Process Handbook is an electronic repository of best-practice business processes. The Handbook is intended to help people: (1) redesigning organizational processes, (2) inventing new processes, and (3) sharing ideas about organizational practices. In order to use the MIT Process Handbook for process retrieval experiments, we had to export it into an OWL-based format. We model the Process Handbook meta-model in OWL and export the processes in the Handbook as instances of the meta-model. Next, we need to find a sizable number of queries and their corresponding correct answers in the Process Handbook. Many previous studies devised artificial dataset composed of randomly generated numbers without real meaning and used subjective ratings for correct answers and similarity values between processes. To generate a semantic-preserving test data set, we create 20 variants for each target process that are syntactically different but semantically equivalent using mutation operators. These variants represent the correct answers of the target process. We devise diverse similarity algorithms based on values of process attributes and structures of business processes. We use simple similarity algorithms for text retrieval such as TF-IDF and Levenshtein edit distance to devise our approaches, and utilize tree edit distance measure because semantic processes are appeared to have a graph structure. Also, we design similarity algorithms considering similarity of process structure such as part process, goal, and exception. Since we can identify relationships between semantic process and its subcomponents, this information can be utilized for calculating similarities between processes. Dice's coefficient and Jaccard similarity measures are utilized to calculate portion of overlaps between processes in diverse ways. We perform retrieval experiments to compare the performance of the devised similarity algorithms. We measure the retrieval performance in terms of precision, recall and F measure? the harmonic mean of precision and recall. The tree edit distance shows the poorest performance in terms of all measures. TF-IDF and the method incorporating TF-IDF measure and Levenshtein edit distance show better performances than other devised methods. These two measures are focused on similarity between name and descriptions of process. In addition, we calculate rank correlation coefficient, Kendall's tau b, between the number of process mutations and ranking of similarity values among the mutation sets. In this experiment, similarity measures based on process structure, such as Dice's, Jaccard, and derivatives of these measures, show greater coefficient than measures based on values of process attributes. However, the Lev-TFIDF-JaccardAll measure considering process structure and attributes' values together shows reasonably better performances in these two experiments. For retrieving semantic process, we can think that it's better to consider diverse aspects of process similarity such as process structure and values of process attributes. We generate semantic process data and its dataset for retrieval experiment from MIT Process Handbook repository. We suggest imprecise query algorithms that expand retrieval results from exact matching engine such as SPARQL, and compare the retrieval performances of the similarity algorithms. For the limitations and future work, we need to perform experiments with other dataset from other domain. And, since there are many similarity values from diverse measures, we may find better ways to identify relevant processes by applying these values simultaneously.

• 한국콘텐츠학회논문지
• /
• 제8권12호
• /
• pp.37-44
• /
• 2008

RFID(Radio Frequency Identification) 태그에 입력된 데이터는 다양한 산업 분야에서 어플리케이션의 구축에 있어서 비용 절감과 경쟁력 향상을 위해 사용된다. RFID 리더기는 수백 개의 태그에 해당하는 객체들의 식별과 지속적인 탐색을 수행한다. 동적인 연결과 추적의 요청에 따라 객체를 식별할 수 있는 RFID 기술은 정보 인프라를 지원하는 어플리케이션의 컴포넌트로 구성된다. 그러나 원격 RFID 장치 사이에 실시간 데이터 통신 요소들을 고려하지 않은 기존의 어플리케이션은 이기종 간의 연결을 효과적으로 지원할 수 없었다. 또한 서로 다른 네트워크 디바이스가 어플리케이션에 개별적으로 설치되어 각각의 쿼리분석 과정을 거치면서 모니터링의 지연 또는 데이터 변환 과정에서 오류가 발생한다. 본 논문에서는 RFID 태그로부터 추출된 정보를 어플리케이션에 상관없이 통합 관리하기 위하여 시맨틱 웹 환경에서 RFID 데이터베이스 처리 시스템을 구현한다. 어플리케이션에 장착된 RFID 리더기를 통해 사용자의 RFID 태그를 인식하고 데이터를 RFID 데이터베이스 처리 시스템에 전송하면 프로세스가 시맨틱 웹 언어로 정보를 변환한다. 표준화된 시맨틱 웹 기반에서 전송된 데이터는 스마트 브라우저에 의해 해석되어 화면에 출력한다. 시맨틱 웹 언어의 사용은 의미 있는 관계에 대한 추론이 가능하여 추가적인 모듈을 장착하여 기능을 쉽게 확장시킬 수 있다.

• 한국정보과학회논문지:데이타베이스
• /
• 제29권3호
• /
• pp.180-192
• /
• 2002

Shared nothing 다중 프로세서 환경에서 조인 어트리뷰트의 자료 불균형(data skew)이 파이프라인 해시 조인 연산의 성능에 주는 영향을 연구하고, 자료 불균형을 대비하여 적재부하를 Round-robin 방식으로 정적 분할하는 방법과 자료분포도를 이용하여 동적 분할하는 두 가지 파이프라인 해시 조인 알고리즘을 제안한다. 해시 기반 조인을 사용하면 여러 개의 조인을 파이프라인 방식으로 처리할 수 있다. 다중 조인은 파이프라인 방식 처리는 조인 중간 결과를 디스크를 통하지 않고 다른 프로세서에게 직접 전달하므로 효율적이다. Shared nothing 다중 프로세서 구조는 대용량 데이타베이스를 처리하는데 확장성은 좋으나 자료 불균형 분포에 매우 민감하다. 파이프라인 해시 조인 알고리즘이 동적 부하 균형 유지 메커니즘을 갖고 있지 않다면 자료 불균형은 성능에 매우 심각한 영향을 줄 수 있다. 본 논문은 자료 불균형의 영향과 제안된 두 가지 기법을 비교하기 위하여 파이프라인 세그먼트의 실행 모형, 비용 모형, 그리고 시뮬레이터를 개발한다. 다양한 파라미터로 모의 실험을 한 결과에 의하면 자료 불균형은 조인 선택도와 릴레이션 크기에 비례하여 시스템 성능을 떨어뜨림을 보여준다. 그러나 제안된 파이프라인 해시 조인 알고리즘은 다수의 버켓 사용과 분할의 조율을 통해 자료 불균형도가 심한 경우에도 좋은 성능을 갖게 한다.

• 정보처리학회논문지A
• /
• 제17A권5호
• /
• pp.229-236
• /
• 2010

인터넷이나 기업체 안에서 생성되는 문서의 수가 빠르게 증가하고 있고 이에 따라 효율적인 문서 검색 서비스의 중요성도 함께 커지고 있다. 이런 검색 환경에서 사용자의 검색 질의를 미리 예측할 수 없기 때문에 문서 내의 키워드를 자동 추출하여 색인어로 사용하는 전문검색(full-text search)이 일반적으로 적용된다. 전문검색을 위해 생성된 색인 파일의 크기는 문서 수 증가로 대용량화 되고, 이런 대용량 색인에 대한 다중 키워드 질의 처리에는 과도한 디스크 비용이 초래될 수 있다. 논문에서는 이런 비용 문제를 해결하기 위해 대용량 문서의 전문검색 시스템에서 다중 키워드 질의를 효율적으로 처리할 수 있게 하는 색인 파일 구조 및 관리 기법을 제안한다. 제안된 방법은 다중 키워드 검색에 적합한 것으로 알려진 역파일을 기본 색인 구조로 하며, 질의 처리의 조인 연산과 랭킹 연산에 적합하도록 색인 파일을 계층화한다. 이를 바탕으로 다중 키워드 질의를 구성할 확률이 높은 키워드 쌍에 대한 조인 연산 결과를 주기억장치 공간에 동적으로 저장함으로써 디스크 사용량을 크게 줄일 수 있다. 논문에서는 제안된 기법의 우수성을 보이기 위해 디스크 비용 모델에 기반한 성능 비교도 수행한다.