• 한국정보과학회논문지:소프트웨어및응용
• /
• 제33권1호
• /
• pp.1-16
• /
• 2006

소프트웨어의 규모가 커지면서 시스템 기능 테스트 단계에 일일이 원시코드를 참조하면서 테스트하는 것은 현실적으로 불가능하다. 따라서 시스템 테스트 단계에서 다양한 요구명세 정보들을 이용하는 블랙박스 테스트 방법들이 많이 연구되고 있다. 테스트 기법에 활용한 요구명세는 시스템을 표현하는 기술 방법과 의미의 차이로 인해 테스트 케이스와 커버리지가 크게 달라서 테스트 계획 단계에서 테스트 기법과 그 기법의 적용 결과에 대해 깊이 고려해야 한다. 이러한 필요성으로 인해 본 연구에서는 다양한 블랙박스 테스트 기법들에 대한 실험과 그 결과에 대해 논하였다. 기법의 특성이 미치는 테스트 결과를 분석하고 평가하기 위해 객체지향 시스템의 명세와 모델링 기법으로 가장 잘 알려진 UML을 이용한 테스트 기법을 포함하여 다섯 가지의 블랙박스 테스트 기법을 실행하고 비교하였다. 그리고 다섯 가지 기법들을 서로 다른 두 응용 시스템에 적용하였고 그 결과로 추출된 테스트 케이스의 커버리지를 분석하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.484-487
• /
• 2017

사람이 만드는 소프트웨어는 개발을 시작함과 동시에 오류를 만들어내기 시작한다. 간단히 생각해보면 소프트웨어를 개발하는 사람이 이러한 오류를 잘 알 수 있을 것이라고 생각하지만 개발자 스스로가 자신의 소프트웨어의 오류를 찾아 판단하는 것은 매우 어려운 일이다. 그렇기에 소프트웨어의 테스터가 따로 존재하게 되는데 소프트웨어 테스트의 방법은 크게 화이트박스 테스트와 블랙박스 테스트로 나누어 볼 수 있다. 호환성 도구는 블랙박스 테스트를 기반으로 호환성 테스트를 수행하며 자동화를 결합시켜 사람이 호환성 테스트를 수행할 때의 물리적인 시간의 한계를 극복하는데 목적을 갖고 있다. 목적에 따라 호환성 테스트를 위한 적절한 테스트 샘플을 제작한 후 다양한 테스트 케이스를 통해 호환성 테스트를 수행한 뒤 수행한 결과를 바탕으로 사람이 호환성 테스트를 진행할 때와 비교하여 시간적 효율성과 오차 범위를 줄임으로써 신뢰도를 증가시키고 이를 통해 호환성 도구의 유용함을 밝히고자 한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권6호
• /
• pp.741-749
• /
• 2004

컴포넌트 기반 개발에서 컴포넌트 사용자는 개발 목적에 맞추어 컴포넌트를 맞춤 할 필요가 있다. 컴포넌트는 그 내부에 블랙박스특성을 갖는 부분과 화이트박스특성을 갖는 부분이 공존하고, 맞춤으로 인해 화이트박스 부분이 변형되며, 이때 발생하는 오류는 블랙박스 부분과 화이트박스 부분의 상호작용을 통해 나타나게 된다. 블랙박스 부분과 화이트박스 부분 사이의 통합 테스트인 맞춤 테스트를 위해서 새로운 테스트 기법이 요구된다. 또한 테스트 기법이 비용 절감 효과를 노리는 컴포넌트 기반 개발에 사용되기 위해서는 효율적인 테스트 데이타의 선정이 요구된다. 따라서 본 논문에서는 컴포넌트 아키덱쳐로 COM(Component Object Model)을 대상 컴포넌트로 선정하고, 다양한 COM 컴포넌트들의 분석을 통하여 효율적인 테스트 데이타를 선정하는 맞춤 테스트 기법을 제안한다. 본 논문에서는 제안하는 기법이 선정하는 테스트 데이타가 오류 감지 능력에 있어서 효과적이라는 것을 실험을 통해 평가한다. 또한 본 기법을 실제 대규모 컴포넌트 기반 시스템인 샤모아에 적용하는 예제를 수행함으로써, 본 기법이 컴포넌트 기반 시스템의 일원으로서 실제 동작하는 COM 컴포넌트의 맞춤을 테스트할 수 있음을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1019-1021
• /
• 2013

오늘날 소프트웨어의 복잡화에 따라 그 테스트 방법 또한 다양화 되고 있다. 입력의 따른 결과 값을 비교하여 대상의 내부 구조에 대한 깊은 이해 없이 가능한 블랙박스 테스팅은 오늘날의 복잡한 소프트웨어의 테스팅에 있어 매우 적합한 방법이다. 하지만 이러한 테스트를 위한 테스트 케이스 생성을 위해서는 요구 명세와 더불어 이에 대한 깊은 이해를 필요로 한다. 이러한 문제를 해결하기 최근에는 UML과 같은 정형화된 명세 기반의 테스트 케이스 생성기법이 연구되고 있지만, 모델 기반의 개발 방법이 사용되지 않는 부분에서는 매번 이루어지는 코드 변경에 따라 모델을 다시 수정하는 번거로움이 필요하다. 이에 본 논문에서는 함수 레벨의 블랙박스 테스트를 위하여 코드를 이용하여 테스트 케이스를 생성하는 방법을 제안한다. 이를 위해 먼저 대상 함수를 추상화한 후 함수의 각 인자들을 이용하여 각 조건문 상의 인자의 쓰임을 분석하여 각 조건의 기준 값을 추출하고 이로부터 테스트 케이스를 추출하는 방법을 제안한다. 이러한 방법은 이미 구현되어 있는 코드를 사용함으로써 새로운 요구 명세에 대한 이해의 필요성을 줄이고 더불어 코드 기반의 테스트 케이스의 자동 생성연구의 초석이 된다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2009년도 제40회 하계학술대회
• /
• pp.1891_1892
• /
• 2009

정밀한 소프트웨어 테스팅에서 테스트 케이스의 생성과 테스트 수행 작업은 많은 시간과 노력을 필요로 한다. 따라서 경험 있는 테스터 들은 적은 수의 테스트 케이스를 선택적으로 사용하여 보다 정확한 테스트를 수행할 수 있기를 요구한다. 테스트 케이스의 수를 줄이기 위해 수많은 연구가 진행되었다. 소프트웨어 테스팅에서 가장 기본이 되는 테스트는 단위 테스트이다. 본 논문에서는 블랙박스 테스팅에 사용되는 잘 알려진 테스트 후보 값 생성 및 조합 기법에 관한 기존 연구를 살펴보고 성능을 비교해 본다. 성능 비교를 위해 몇몇 예제 코드를 실험적으로 이용하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권10호
• /
• pp.694-702
• /
• 2002

컴포넌트 기반 소프트웨어 개발(Component-Based Software Development : CBSD)로 만들어진 소프트웨어는 현재 개발자에 의해 새로 만들어진 컴포넌트들과 재사용되는 컴포넌트들의 '조립'으로 이루어진다. 본 논문에서는 이들을 각각 화이트박스 컴포넌트와 블랙박스 컴포넌트로 정의한다. 따라서 컴포넌트 조림에 의한 오류는 소프트웨어를 이루는 블랙박스 컴포넌트들과 화이트박스 컴포넌트들의 상호작용에 의해 발생한다. 본 논문은 이러한 조립 오류들을 테스트하는 방법을 제안하고, 엔터프라이즈 자바빈즈 아키텍쳐에서의 컴포넌트 조립 테스트에 적용한다. 본 기법은 화이트박스 컴포넌트의 특정 영역에만 오류를 삽입하여 테스트 케이스를 선정한다. 오류가 삽입되는 특정 영역은 컴포넌트 조립의 패턴들을 분석하석 선정되며, 이는 본 기법의 테스트 케이스가 높은 효율성을 갖도록 한다. 본 논문에서는 테스트 케이스의 효율성을 실험을 통해 평가하며, 나아가 컴포넌트 조립 테스트 기법의 자동화 방안을 제안한다.

• 한국인터넷방송통신학회논문지
• /
• 제18권2호
• /
• pp.163-168
• /
• 2018

본 논문에서는 윈도우 환경에서 블랙박스 테스트 기법을 사용하여 GUI 기반 테스트를 자동화하는 테스트 자동화 프로그램 도구를 제안 및 개발한다. 제안된 테스트 자동화 프로그램 도구의 주요한 특징은 다음과 같다. 첫째, 에러 상태를 이미지로써 지정하고, 테스트 스텝마다 화면을 캡처하여 이미지 유사도 비교를 통해 에러 메시지 검출 여부를 확인한다. 둘째, 실행 중 이벤트 대기시간이나 각 테스트 스텝 간 좌표 증가 값 등 여러 옵션 설정을 지원한다. 이러한 블랙박스 테스트 자동화 연구는 안드로이드나 웹 등의 환경에서는 많았지만 윈도우 환경에서는 그렇지 않았다. 제안된 시스템의 성능평가 결과 제안된 시스템은 이미지 비교 모듈로써 GUI 테스트 자동화를 수행하고, 프로세스 상태 확인과 에러 이미지 검출 여부를 확인함으로써 테스트를 정상적으로 수행함을 확인하였다.

• 정보처리학회논문지D
• /
• 제13D권4호
• /
• pp.573-582
• /
• 2006

소프트웨어를 블랙박스 테스트 하려면 대상 소프트웨어에 적절한 데이터를 주어 실행해 보아야 한다. 효과적인 테스트가 되기 위해서 테스트 케이스의 선택뿐만 아니라 테스트 케이스가 어떻게 표현되었는가가 중요하다. 또한 정적인 테스트 작업에도 테스트를 위한 체크리스트가 어떻게 작성되었는지에 따라 테스트 작업의 효율성이 좌우된다. 이 논문에서는 비효율적이며 문제가 있는 테스트 케이스와 체크 리스트들을 리엔지니어링 하는 방법을 제시하고 이를 실험 하였다. 임베디드 시스템의 일종인 디지털 방송수신 장치에 탑재된 소프트웨어를 대상으로 하여 이미 사용 중인 테스트 케이스의 효율성과 적합성을 따져보고 이를 리엔지니어링 하였다. 리엔지니어링 한 후의 테스트 케이스의 산출물이 테스트 시간과 커버리지 측면에서 얼마나 효과적인지를 살펴보았다. 또한 제품 계열 개념의 소프트웨어를 테스트하기에 적합하도록 테스트 케이스를 재사용 또는 재구조화 하는 방법도 연구하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
• /
• pp.391-393
• /
• 2001

컴포넌트의 성능 측정을 위해서는 크게 화이트박스 모델과 블랙박스 모델에 기초한 측정 방법을 고려해볼 수 있다. 우리의 이전 연구는 소스코드에 성능 측정을 위한 코드를 삽입하는 방법으로 EJB 컴포넌트의 성능을 측정하고자 하였다. 이러한 화이트박스 모델에 기초만 테스팅 방식은 컴포넌트의 소스코드에 접근이 가능할 경우에만 적용이 가능하다. 연구 초기에는 바이너리 형태의 EJB 컴포넌트를 역컴파일하여 소스코드를 얻어내는 것이 가능하였으나 점점 더 많은 컴포넌트들이 역컴파일 방지하기 위한 수단을 사용하는 것이 관찰되었다. 본 논문은 EJB 컴포넌트를 블랙박스로 보고 성능을 측정하는 방법에 대하여 논한다. EJB 컴포넌트의 성능을 측정하기 위한 테스트 프로그램을 EJB 컴포넌트의 외부 명세로부터 자동생성하기 위한 방법을 연구 중으로써, 동일 명세를 만족하는 다수 컴포넌트의 성능을 측정하기 위하여 EJB 컴포넌트의 시그내쳐로부터 테스트 프로그램을 생성하는 방법에 대하여 설명한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권7호
• /
• pp.471-478
• /
• 2013

본 논문은 Rapidly-exploring Random Tree(RRT) 알고리즘을 이용한 Simulink/Stateflow 모델 기반의 블랙박스 테스트 케이스 자동 생성 기법을 제안한다. RRT는 복잡한 시스템의 경로 계획을 효율적으로 해결하는 좋은 방법으로 널리 사용되고 있다. 본 논문에서 제안하는 기법은 블랙박스 테스트 케이스 생성 시 해결해야 되는 도달 가능 문제를 RRT를 통해 해결하고자 한다. RRT를 이용하여 테스트 케이스를 생성 할 때의 가장 큰 단점은 Stateflow 모델의 내부 상태가 복잡한 시스템을 위한 RRT 확장 시 시간과 메모리 측면에서 많은 비용이 발생하게 된다는 점이다. 일반적인 RRT 기법이 대상 시스템을 단일한 RRT 공간으로 구성 하는 반면 제안된 기법에서는 대상 시스템을 Stateflow의 상태를 기준으로 동적 분할하여 RRT 공간을 모델링 구성 함으로써 RRT 확장 시 필요한 비용을 감소시켰다. 본 논문에서는 분할 RRT 공간을 위한 RRT 공간의 정의와, 거리 측정 기법, 테스트 케이스 생성 알고리즘을 제시한다. 또한, 예제 Stateflow 모델을 기반으로 한 테스트 케이스 생성실험을 통해 제안된 알고리즘의 성능을 보인다.