• 정보처리학회논문지D
• /
• 제13D권2호
• /
• pp.165-174
• /
• 2006

데이터베이스 개발자나 사용자는 새로운 데이터베이스 시스템이 개발되거나 기존 데이터베이스 시스템에 새로운 기능이 추가되면 벤치마크를 통해 해당 시스템이나 기능의 성능을 점검하게 된다. 본 논문에서는 데이터베이스 시스템을 위한 벤치마크 통합 도구를 제안한다. 벤치마크 통합도구는 범용 벤치마크, 주문 벤치마크, 혼합 벤치마크를 사용자가 하나의 사용자 인터페이스를 사용하여 쉽게 수행할 수 있도록 지원한다. 텍스트 데이터 생성과 관련하여, 벤치마크 통합도구는 3가지 데이터 형에 대해 8가지 데이터분포를 제공하여 실세계와 유사한 데이터 생성을 수행하도록 돕는다. 또한 벤치마크 통합도구에서는 3가지 서로 다른 방법을 사용하여 XML 데이터를 생성하도록 지원한다. 사용자들은 벤치마크 통합도구의 작업부하 생성기능을 사용하여 실세계와 유사한 환경에서 벤치마크를 수행할 수 있다. 벤치마크 통합도구는 사용자가 새로운 범용 벤치마크나 주문 벤치마크를 쉽게 구현할 수 있도록 지원한다. 본 논문에서는 새로운 주문 벤치마크를 벤치마크 통합도구에 쉽게 추가할 수 있음을 예를 통해 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
• /
• pp.157-159
• /
• 2003

정보 통신 산업의 발달로 인해 데이터의 양이 점차 증가하고 고성능의 데이터 접근이 필요한 분야가 증가됨에 따라 DBMS의 성능에 대한 관심이 높아지고 있다. 따라서 DBMS 벤더들은 계속적으로 새로운 기술을 도입하여 확장 가능한 고성능의 시스템을 지원하는데 노력하고 있다. 그러나 새로운 기술에 대한 충분하고도 광범위한 테스트가 이뤄지지 않는다면 시스템의 성능과 안정성 등에 예상치 못한 문제가 생기기 마련이다. 따라서 벤치마크를 통하여 시스템의 취약점을 알아내고 기술의 질적 평가를 하는 과정이 필수적이지만, 벤치마크 프로그램을 작성하고 수행하는 과정에 상당히 오랜 시간이 걸리기 때문에 시스템에 대한 충분한 테스트를 빠르고 용이하게 하기가 힘들다. 이에 본 논문에서는 이런 문제점을 해결할 수 있는 방안으로 사용자의 특정한 응용 도메인에서 수행될 작업부하 프로그램을 간단히 작성할 수 있으며 그 외의 나머지 벤치마크 과정을 자동화하는. DBMS 성능 평가를 위한 자동화된 벤치마크 관리기를 설계하고 구현하였다. 본 논문에서 제안한 자동화된 DBMS 벤치마크 관리기를 사용하면 사용자는 간단한 코드 작성만으로도 응용 도메인의 벤치마크를 용이하게 할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제25권2호
• /
• pp.31-39
• /
• 2020

본 논문에서는 시계열 데이터를 기반으로 합성 벤치마크를 생성하는 기법을 소개한다. IoT 기기에서 측정되는 많은 데이터는 시간에 따른 수치 변화를 측정하는 시계열적 특성이 있다. 하지만 긴 기간 동안 측정되는 데이터를 일반화된 시계열 데이터로 모델링하기 힘든 문제점이 존재한다. 이런 문제를 개선하기 위해 본 논문에서는 BST-IGT 모델을 소개한다. BST-IGT 모델은 전체 데이터를 시계열 모델링이 쉬운 구간으로 분리하여 생성 데이터를 템플릿으로 수집하고 이를 기반으로 특성을 공유하거나 변형되는 새로운 합성 벤치마크를 생성한다. 제안된 모델링 기법을 이용하여 신규 벤치마크를 생성한 결과, 기존 데이터의 통계적 특성을 유지하는 합성 벤치마크와 다른 벤치마크와의 혼합으로 여러 특성을 가지는 벤치마크의 생성을 수행할 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.292-297
• /
• 2020

자연어 추론 모델은 전제와 가설 사이의 의미 관계를 함의와 모순, 중립 세 가지로 판별한다. 영어에서는 RTE(recognizing textual entailment) 데이터셋과 다양한 NLI(Natural Language Inference) 데이터셋이 이러한 모델을 개발하고 평가하기 위한 벤치마크로 공개되어 있다. 본 연구는 국외의 텍스트 추론 데이터 주석 가이드라인 및 함의 데이터를 언어학적으로 분석한 결과와 함의 및 모순 관계에 대한 의미론적 연구의 토대 위에서 한국어 자연어 추론 벤치마크 데이터 구축 방법론을 탐구한다. 함의 및 모순 관계를 주석하기 위하여 각각의 의미 관계와 관련된 언어 현상을 정의하고 가설을 생성하는 방안에 대하여 제시하며 이를 바탕으로 실제 구축될 데이터의 형식과 주석 프로세스에 대해서도 논의한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
• /
• pp.118-120
• /
• 2002

본 논문에서는 주기억 데이터베이스 시스템의 메모리 벤치마크를 설계하고 실제 사용되는 주기억 데이터베이스 시스템에 설계된 벤치마크를 구현하였다. 벤치마크를 통해서 주기억 데이터베이스 시스템에서 이용된 메모리 최적화 기법을 통해 줄어든 메모리 양의 평가와 주기억 데이터베이스에 저장된 데이터에 비례해서 업무 작업 시에 필요로 하는 메모리 소요량을 예측할 수 있고, 여러 데이터베이스간의 상대적인 비교를 할 수 있도록 한다

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (A)
• /
• pp.106-108
• /
• 2006

멀티미디어와 인터넷 기술이 성숙되어감에 따라 3D 객체가 콘텐츠를 작성하는데 많이 이용되고 있고 더불어 3D 객체의 검색시스템에 대한 연구가 시작되고 있다. 이에 따라 검색시스템을 평가하기 위해서는 표준화된 3D 벤치마크 데이터가 필요하다. 본 논문에서는 검색용 3D 벤치마크 데이터 파일을 만드는데 기반이 되는 새로운 3D 그래픽스 파일포맷을 제안한다. 제안한 파일포맷은 렌더링보다 검색효율을 목표로 하기 때문에 기하학적인 정보이외의 다른 정보는 줄이고 검색 속도와 편리성을 함께 고려하였다.

• 정보처리학회논문지D
• /
• 제10D권6호
• /
• pp.907-916
• /
• 2003

데이터베이스 벤치마크는 많은 양의 데이터에 대한 효과적 생성을 요구한다. 본 논문은 개발된 데이터 생성기의 시스템 구성도, 데이터 생성 동작, 특성을 기술한다. 본 데이터 생성기 특성은 대용량 데이터 생성 지원, 칼럼 단위 데이터 생성, 다양항 데이터 분포 지원 및 검증, 실데이터 생성 등이다. 또한 타 데이터 생성기들과 기능 관점에서 비교하였다. 마지막으로 대용량 데이터 생성시의 입출력 병목현상 해결을 위해 RAID 시스템과 비 RAID 시스템간의 성능을 실험적으로 비교하였으며, 실험 결과에 근거하여 시스템 구성 가이드를 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.1052-1055
• /
• 2020

본 논문에서는 3D 메시 정보, RGB-D 손 자세 및 2D/3D 손/세그먼트 마스크를 포함하여 인간의 손과 관련된 다양한 컴퓨터 비전 작업에 사용할 수 있는 새로운 다중 모달 합성 벤치마크를 제안 하였다. 생성된 데이터셋은 기존의 대규모 데이터셋인 BigHand2.2M 데이터셋과 변형 가능한 3D 손 메시(mesh) MANO 모델을 활용하여 다양한 손 포즈 변형을 다룬다. 첫째, 중복되는 손자세를 줄이기 위해 전략적으로 샘플링하는 방법을 이용하고 3D 메시 모델을 샘플링된 손에 피팅한다. 3D 메시의 모양 및 시점 파라미터를 탐색하여 인간 손 이미지의 자연스러운 가변성을 처리한다. 마지막으로, 다중 모달리티 데이터를 생성한다. 손 관절, 모양 및 관점의 데이터 공간을 기존 벤치마크의 데이터 공간과 비교한다. 이 과정을 통해 제안된 벤치마크가 이전 작업의 차이를 메우고 있음을 보여주고, 또한 네트워크 훈련 과정에서 제안된 데이터를 사용하여 RGB 기반 손 포즈 추정 실험을 하여 생성된 데이터가 양질의 질과 양을 가짐을 보여준다. 제안된 데이터가 RGB 기반 3D 손 포즈 추정 및 시맨틱 손 세그멘테이션과 같은 품질 좋은 큰 데이터셋이 부족하여 방해되었던 작업에 대한 발전을 가속화할 것으로 기대된다.

• 한국소프트웨어감정평가학회 논문지
• /
• 제15권1호
• /
• pp.43-53
• /
• 2019

기계 학습을 이용하여 의미가 유사한 코드 클론을 탐지하는 도구의 성능 평가에 빅클론벤치를 많이 활용한다. 하지만 빅클론벤치는 기계 학습에 최적화된 벤치마크가 아니기 때문에 그대로 기계 학습에 사용하면 잘못된 학습 데이터가 만들어질 수 있다. 본 연구에서는 빅클론벤치에서 제공하고 있는 코드 클론 데이터에서 누락된 타입-4 클론을 기계 학습을 이용하여 추가로 찾아 보완함으로써 빅클론벤치를 개선할 수 있음을 실험적으로 밝힌다. 트리 기반 컨볼루션 신경망을 이용한 기계 학습 모델을 사용해서 개선된 데이터를 학습했을 때, 기존의 데이터를 학습했을 때에 비해 기계 학습의 정확도 및 성능이 향상되었음을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
• /
• pp.30-32
• /
• 2012

본 논문에서는 고성능 컴퓨팅 환경에서 유전체 서열 분석 도구들을 벤치마크 하기 위한 시스템을 개발하고 실제 유전체 데이터를 이용하여 성능을 비교하였다. 이 벤치마크 시스템은 유전체 분석 파이프라인 절차에 따라 다양한 분석 도구들을 CPU 멀티 코어와 GPU 매니 코어 환경에서 선택적으로 구동할 수 있도록 지원한다. 따라서, 서로 다른 환경에서 수행된 다양한 유전자 분석 도구의 성능을 실제 유전체 서열 데이터를 이용하여 비교하고 시각화할 수 있다.