• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.288-289
• /
• 2023

본 논문은 글로벌 이슈로 인한 인플레이션과 대학 등록금 인상 우려 등으로 인해 장학금의 중요성이 부각되고 있는 상황을 고려하여 기존의 장학금 공고 게시물을 수집한 후 BERT Q&A (Bidirectional Encoder Representations from Transformers Question & Answering) 모델을 이용해 개별 맞춤형 장학 공고를 추천하는 시스템을 제안한다. 우선 웹 크롤링을 통해 장학금 정보를 수집하고, BERT Q&A 모델과 사전에 정의한 규칙 기반으로 핵심 정보를 추출한다. 이후 분류 과정을 거쳐 사용자가 입력한 정보와 매칭하여 조건에 맞는 장학금 게시물을 추천할 수 있는 어플리케이션을 구현하였다.

• 디지털콘텐츠학회 논문지
• /
• 제4권2호
• /
• pp.127-137
• /
• 2003

웹크롤러는 인터넷 검색엔진을 포함한 다양한 웹 응용프로그램에 활용되는 중요한 인터넷 소프트웨어 기술이다. 인터넷의 급격한 성장에 따라 고성능 웹크롤러의 구현이 시급히 요구되고 있다. 이를 위해서는 웹크롤러에 대한 성능확장성에 초점을 둔 연구가 수행되어야 한다. 본 논문에서는 병렬 프로세스 기반 웹크롤러(Crawler)의 성능향상에 필수적인 동적 스케줄링의 구현 기법을 제안한다. 웹크롤러는 웹문서의 수집 성능요구를 만족시키기 위하여 일반적으로 다중 프로세스 기반으로 설계되고 있다. 이러한 다중 프로세스 기반의 설계에서 프로세스 별로 문서수집 대상을 적정하게 선택하여 할당하는 크롤 스케줄링(Crawl Scheduling)은 시스템의 성능향상에 매우 중요한 요소이라. 본 논문에서는 먼저 크롤 스케줄링에 있어 중요한 문제점들에 대한 연구 결과를 제시한 후 공유메모리 기반 동적 스케줄링 지원 기법을 고안, 이를 구현하는 웹 크롤러 시스템 구조(Architecture)를 제안한다. 본 논문에서는 동적 스케줄링 지원 기능을 갖는 웹크롤러의 설계 및 구현에 대하여 기술한다.

• 한국산업정보학회논문지
• /
• 제8권4호
• /
• pp.64-72
• /
• 2003

웹크롤러는 인터넷 검색엔진을 포함한 다양한 웹 응용프로그램에 활용되는 중요한 인터넷 소프트웨어 기술이다 인터넷의 급격한 성장에 따라 고성능 웹크롤러의 구현이 시급히 요구되고 있다. 이를 위해서는 웹크롤러에 대한 성능확장성에 초점을 둔 연구가 수행되어야 한다. 본 논문에서는 병렬 프로세스 기반 웹크롤러(Crawler)의 성능향상에 필수적인 동적 스케줄링의 구현 기법을 제안한다. 웹크롤러는 웹문서의 수집 성능요구를 만족시키기 위하여 일반적으로 다중 프로세스 기반으로 설계되고 있다. 이러한 다중 프로세스 기반의 설계에서 프로세스 별로 문서수집 대상을 적정하게 선택하여 할당하는 크롤 스케줄링(Crawl Scheduling)은 시스템의 성능향상에 매우 중요한 요소이다. 본 논문에서는 먼저 크롤 스케줄링에 있어 중요한 문제점들에 대한 연구 결과를 제시한 후 공유메모리 기반 동적 스케줄링 지원 기법을 고안, 이를 구현하는 웹 크롤러 시스템 구조(Architecture)를 제안하고 웹 로봇의 수행동작에 대한 분석 결과를 제공한다. 이러한 분석 결과를 기반으로 향후 웹 크롤러의 성능향상을 위한 설계 방향을 제시한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.339-339
• /
• 2023

2018년도 연강수량은 1,386.9 mm로 평년 수준의 비가 내렸으나, 7-8월에 발생한 폭염 및 가뭄으로 인해 강원, 전남, 경북, 충남 지역에서 밭작물 중심으로 22,767 ha 피해가 발생하였다. 2019년도 연강수량은 1,171.9 mm로 평년보다 약 10% 적은 수준의 비가 내렸으며, 동일시기에 인천, 강원, 충남 지역에서 논·밭작물 중심으로 3,112 ha 피해가 발생하였다. 기후변화로 인해 강수량이 지역별로 편중되어 국지적 가뭄이 빈발하여 지역별로 가뭄의 영향, 피해, 체감 정도가 상이한 양상을 보이고 있다. 가뭄을 사전에 방지하기 위해서는 가뭄 모니터링과 선제적 대응이 중요하며, 현재 가뭄의 특징, 상황 등의 목적에 따라 다양한 형태의 가뭄 모니터링 시스템이 개발되고 있다. 가뭄의 피해와 영향 정도는 지역 간의 차이가 나타나 지역별로 가뭄을 체감하는 정도가 다르기 때문에 하나의 결과로 나타내기에는 어려움이 있다. 따라서, 가뭄의 발생 시기와 확산 정도를 분석하여 특보 발효 시점과 가뭄 대응 방안에 대한 기준 마련이 중요하다. 본 연구는 현대 사회에서 가장 중요한 요소로써 활용되고 있는 빅데이터 중 비정형 데이터로 분류되는 뉴스데이터와 논·밭의 가뭄을 나타내는 농업 가뭄과 관련된 데이터를 활용하여 농업 가뭄의 전조를 파악해보고자 한다. 2018년부터 2019년까지 전국을 대상으로 농업 가뭄에 관한 키워드 선정 후, 웹 크롤링을 통해 뉴스데이터를 수집해 논 가뭄과 밭 가뭄을 구별하여 각 지역에서 최초로 가뭄 기사가 발행된 시기와 지역별 기사의 빈도를 산출하였다. 뉴스데이터의 농업 가뭄 전조 감지 가능성을 파악하기 위해 국가가뭄정보통계집에서 논 물마름 시기와 밭 시듦 시기 자료를 활용하였다. 가뭄 피해 발생시기와 관련 기사 발행 시기 비교, 농업용수 대상 비상용수 지원 자료를 활용하여 실제 농업 가뭄확산 감지 여부를 분석하여 농업 가뭄 관련 뉴스데이터 간의 상관성을 분석하였다.

• 정보관리학회지
• /
• 제30권3호
• /
• pp.23-48
• /
• 2013

본 연구는 웹에서 접근 가능한 내용기반 음악검색(CBMR) 시스템들을 조사하여, 탐색질의의 종류, 접근점, 입출력, 탐색기능, 데이터베이스 성격과 크기 등의 관점에서 특성을 비교 분석하고자 하였다. 비교 분석에 사용된 특성을 추출하기 위해 내용기반 음악정보의 특성과 시스템 구축에 필요한 파일의 변환, 멜로디 추출 및 분할, 색인자질 추출과 색인, 매칭에 사용되는 기술들을 선행연구로 리뷰하였다. 15개의 시스템을 분석한 결과 다음과 같은 특성과 문제점이 분석되었다. 첫째, 도치색인, N-gram 색인, 불리언 탐색, 용어절단검색, 키워드 및 어구 탐색, 음길이 정규화, 필터링, 브라우징, 편집거리, 정렬과 같은 텍스트 정보 검색 기법이 CBMR에서도 검색성능을 향상시키는 도구로 사용되고 있었다. 둘째, 시스템들은 웹에서 크롤링하거나 탐색질의를 DB에 추가하는 등으로 DB의 성장과 실용성을 위한 노력을 하고 있었다. 셋째, 개선되어야 할 문제점으로 선율이나 주선율을 추출하는데 부정확성, 색인자질을 추출할 때 사용되는 불용음(stop notes)을 탐색질의에서도 자동 제거할 필요성, 옥타브를 무시한 solfege 검색의 문제점 등이 분석되었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 춘계학술대회
• /
• pp.460-461
• /
• 2018

전통적인 방식의 추천 시스템은 사용자가 독립적으로 행동한다는 가정하에 개발된 방식이며, 단순하게 상품을 나열하거나 상품의 속성과 사용자의 기호를 연관하는 기능이 부족하여 가독성과 효율성이 떨어지는 문제점이 있다. 이를 해결하기 위해 본 논문에서는 상품 리뷰 데이터를 크롤링을 한 뒤 R을 이용한 텍스트 마이닝 기법을 사용하여 비정형의 리뷰 데이터를 사용자의 구매이력과의 연관 분석을 통해 의미 있는 정보로 가공하여 사용자 맞춤형 정보를 제공하는 시스템을 제안한다. 이를 통해 사용자는 방대한 양의 상품 리뷰 데이터를 분석할 필요 없이 자신에게 필요한 데이터만을 제공받을 수 있게 되어 사용자의 의사결정에 도움 될 것으로 사료된다.

• 한국정보전자통신기술학회논문지
• /
• 제14권2호
• /
• pp.161-167
• /
• 2021

실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2017년도 추계학술대회
• /
• pp.506-509
• /
• 2017

오피니언 마이닝은 텍스트 속의 감성을 분석해 낼 수 있는 방법으로 작성자의 정서 상태 파악이나 대중의 의견을 알아내기 위해 사용된다. 이를 통해서 개인의 감성을 분석할 수 있듯이 텍스트를 지역별로 수집하여 분석한다면 지역별로 가지고 있는 감정 상태에 대해서 알아 낼 수 있다. 지역별 감성분석은 개인 감성분석에서 얻어 낼 수 없었던 정보를 얻어낼 수 있으며 해당 지역이 어떠한 감정을 가지고 있을 때, 그 원인에 대해서도 파악할 수 있다. 지역별 감성 분석을 위해서는 각 지역별로 작성된 텍스트 데이터들이 필요하므로 트위터 크롤링을 통해서 데이터를 수집해야 한다. 따라서 본 논문에서는 지역별 감성분석을 위한 트위터 데이터 수집 시스템을 설계한다. 클라이언트에서는 특정 지역 및 시간대의 트윗 데이터를 요청하며, 서버에서는 클라이언트로부터 요청받은 트윗 데이터를 수집 및 전송한다. 지역이 가지는 위도, 경도 값을 통해 해당 지역의 트윗 데이터를 수집하며, 수집한 데이터들을 통해 텍스트를 지역 및 시간별로 관리할 수 있다. 본 시스템 설계를 통해 감성분석을 위한 효율적인 데이터 수집 및 관리를 기대한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.152-155
• /
• 2017

본 논문은 지역에 관심이 많은 사용자들이 실시간으로 모바일 웹페이지 형태의 뉴스를 제공 받을 수 있는 시스템을 설계하고 이를 제작하였다. 사용자는 실시간으로 본인이 위치한 지역을 대상으로 종합되어지는 뉴스를 모바일 웹페이지 형태의 오브젝트로 제공받는다. 본 연구를 통해 지역 관심도 향상 및 지역 개발 촉진 및 관광시설 피드백 활성화 효과의 기대가 가능하다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
• /
• pp.441-442
• /
• 2018

본 논문에서는 입시상담을 위한 챗봇 시스템을 텍스트 유사도 기반으로 개발하였다. 텍스트를 인지하여 답변을 제공해 주는 방식이며 실시간을 요하는 데이터들은 크롤링한 데이터를 가공을 한 후 사용자에게 대답을 해주고 사용자가 답변에 얼마나 좋은 정보인지 체크하여 그에 맞는 답변을 내어 준다. 사용자의 텍스트를 인식하는 것은 텍스트 유사도를 이용하여 정확하게 인지하고 사용자의 질문과 답변을 서버 DB에 저장을 하여 비슷한 질문이 있을 경우 저장된 답변과 평점을 이용하여 답변을 제공한다.