DOI QR코드

DOI QR Code

Lautrec Portrait Rendering

로트렉 초상화 렌더링

  • Lee, Gyeoung-Rok (Division of Computer Science and Engineering, Chung-Ang Univ.) ;
  • Yoon, Kyung-Hyun (Division of Computer Science and Engineering, Chung-Ang Univ.)
  • Received : 2014.02.07
  • Accepted : 2014.05.12
  • Published : 2014.09.30

Abstract

Non-photo realistic Rendering is the one of the fields in Computer Graphics and many painterly rendering techniques have been studying. However studies about a specific painter are still in a rarity. Therefore in this paper, we studied about technique for generation of Henri de Toulouse-Lautrec's portraits. Toulouse-Lautrec was a painter in 19th century. His style of portraits was expressed as follows; the sketch was drawn by conte or pastel in croquis style and colored only focused parts like faces on the base colored area. For simulate this, we propose sequential technique about sketch style image generation and face area painting.

Keywords

1. 서 론

1960년대에 시작된 컴퓨터 그래픽스 기술은 다른 컴퓨터 분야들과 함께 많은 발전을 거듭해왔다. 초기에 컴퓨터 그래픽스 분야의 주된 관심사는 포토 리얼리즘(Photo Realism)이었다. 이것은 대상을 최대한 실제에 가깝게 대상을 표현하는데 중점을 두는 기술인데, 이러한 컴퓨터 그래픽스 기술들을 사실적 렌더링(Photo Realistic Rendering)이라고 한다. 사실적 렌더링에서 연구되어 온 분야로는 광선 추적법(Ray Tracing), 래디오시티(Radiosity) 그리고 전역 조명(Global Illumination)등의 기법이 있으며, 현재는 이와 같은 기술들을 바탕으로 실제 세계와 구별할 수 없을 정도의 고품질 영상을 생성하는 것이 가능해졌다. 위 기법들은 영화나 게임 또는 애니메이션 등의 산업에 적극적으로 사용되고 있다.

하지만 이러한 극도로 사실적인 영상들은 너무 많은 시각적 정보를 포함하고 있어 특정 정보를 전달하거나 명확한 의도를 파악하는데 있어서는 한계가 있었다. 예를 들어 제품의 사용 매뉴얼에 사용되는 삽화는 필요한 부분만 자세히 표현하여 제작자의 의도가 효율적으로 표현 되어야 하며 보는 이의 주의를 다른 곳으로 흩트리지 말아야 했다. 이러한 맥락에서 1990년대 컴퓨터 그래픽스 분야에서는 사실적 렌더링의 한계를 극복하기 위해 이에 대치되는 개념으로 비사실적 렌더링(NPR; Non-Photo realistic Rendering)이라는 새로운 개념이 대두된다[10].

비사실적 렌더링은 사실적 렌더링을 제외한 모든 영역을 뜻하기 때문에 그 영역이 너무 방대하여 분류하기에 어렵다. 하지만 지금까지 발표된 기법들을 바탕으로, 이미지의 표현 기법과 사용되는 소재를 기준으로 분류할 수 있다. 먼저 표현 기법에 따라 회화적 렌더링(Painterly Rendering)[2,14,20,21], 모자이크 렌더링(Mosaic Rendering)[3,15,23], 카툰 렌더링(Cartoon Rendering)[19,24,26], 기술 삽화 렌더링(Technical Illustration Rendering)[4,5,8]등으로 나눌 수 있다. 그리고 사용되는 소재에 따라 회화적 렌더링을 유화, 수채화, 수묵화, 펜과 잉크 등으로, 모자이크 렌더링을 종이, 타일 이미지 등으로 세부적으로 분류할 수 있다. 본 연구는 비사실적 렌더링 기법 중 회화적 렌더링에 초점을 두고 프랑스 화가인 “앙리툴루즈 로트렉”의 초상화 기법을 연구하여 기존 회화적 렌더링의 기법을 다양화시키는 기법을 제안한다.

프랑스의 화가 앙리 툴루즈 로트렉(Henri de Toulouse-Lautrec 1864 - 1901)은 파리의 유흥가를 주제로 특유의 화풍으로 수많은 작품들을 남겼다. 특히 로트렉은 1890년대 이후에 배경이 생략되고 소묘를 기본으로 얼굴만 채색된 미완성 형태의 초상화 스케치를 즐겨 그렸는데, 본 논문은 이러한 로트렉의 스케치를 재현하는 알고리즘을 제안한다. 기존의 회화적 렌더링에서는 시도하지 않았던 로트렉의 스케치를 재현하기 위해 주어진 입력 영상으로부터 엣지를 추출하고, 이를 개별 단위로 분류하여 선별하고, 표현한 후 완성된 선화 위에 얼굴 영역을 검출하여 활용 하였다. 우리는 이러한 일련의 과정을 통하여 주어진 입력 영상을 로트렉의 스케치 스타일로 재현할 수 있었다.

 

2. 비사실적 렌더링 관련 연구

입력 영상에서 대상의 경계를 검출하는 방법에는 캐니 엣지 디텍션[16]을 비롯하여 여러 가지 방법이 있다. 본 논문에서는 Kang[12]이 제안한 FDoG 알고리즘을 사용하였다. 이 알고리즘은 입력 영상에서 엣지 탄젠트 플로우(Edge Tangent Flow)를 구한 후 이것에 바탕을 둔 Difference of Gaussian 필터링을 통하여 엣지를 검출한다 (Fig.1). 이 방법은 검출된 엣지들이 자연스럽게 방향성을 유지하면서 끊김이 없이 이어져 있어 예술적인 작업에 용이하다.

Fig. 1.Extracting process of FDoG [16].

비사실적 렌더링의 한 분야인 회화적 렌더링은 Hertzmann의 연구인 [14]에 따르면 스트로크 기반 렌더링(SBR: Stroke - Based Rendering)으로 분류된다. 스트로크 기반 렌더링은 입력 영상을 페인트 스트로크나 스티플 등의 이산적인 원소를 붙여서 비사실적 영상을 자동적으로 만들어내는 작업이다. 이러한 페인트 스트로크 기반의 자동화 렌더링은 Haeberli[3]에 의해 처음 제안되었다. Haeberli는 이 논문에서 브러시 스트로크를 렌더링의 기본 단위로 하는 개념을 정립하였으며 브러시 스트로크의 속성을 정의 하였다.

Haberli[20]는 Fig.2 처럼 사용자가 입력을 하면 그에 맞춰 브러쉬 스트로크가 붙는 알고리즘을 사용하였는데 이는 자동화라는 측면에서 보면 사용자에게 지나친 부담을 요구하는 점에서 한계로 여겨진다.

Fig. 2.Heaberli’s stroke base rendring.

Litwinowicz[22]는 Fig.3과 같이 텍스쳐를 사용하여 브러쉬 스트로크에 질감을 가지게 하였다. 그리고 브러쉬 스트로크 클리핑(Clipping)을 통하여 대상의 윤곽선을 고려한 브러쉬 스트로크의 사용으로 실제회화에 가까운 표현을 구현하였다. 브러쉬 스트로크의 방향은 입력 영상의 그라디언트에 기반 하여 임계값보다 작을 경우 주변 영역의 기울기를 보간 하는 방법을 사용하였다. 비디오 영상에 대해서는 대상의 움직임의 일관성에 따라 브러쉬 스트로크가 더해지거나 제거되는 알고리즘을 제안하였다.

Fig. 3.Litwinowicz’s rendering image [17].

Hertzmann[2]은 같은 크기의 브러쉬 스트로크만 사용했던 이전 알고리즘과는 달리 다양한 크기의 브러쉬 스트로크를 사용하였다. (Fig. 4) 스플라인 곡선을 이용하여 브러쉬 스트로크를 생성한 후 입력 영상을 여러 레이어로 나눈다. 나눠진 각 레이어 마다 다른 크기의 브러쉬 스트로크를 할당하여 모든 레이어들을 오버랩 시키는 알고리즘을 제안하였다. 이러한 방식을 통하여 다양한 화풍을 표현할 수 있게 하였다. Hays[14]는 Fig. 5와 같이 애니메이션에 이러한 렌더링을 적용하였다. 여기서도 주어진 브러쉬 스트로크를 그라디언트에 맞춰서 기울기를 정하고 엣지 경계에 따른 클리핑을 실시하였다. 주어진 영상을 주파수 대역 별로 여러 레이어로 나누어 각 레이어마다 각각의 다른 크기의 브러쉬 스트로크 텍스쳐를 적용한다. 이 논문에서 Radial Basis Functions(RBFs)를 사용해서 기존의 그라디언트를 보간 하였다. 그리고 여러 브러쉬 스트로크 텍스쳐를 사용해서 점묘법, 인상파 등의 화풍을 구현하였다.

Fig. 4.Hertzmann’s brush stroke with spline curve [1] (a) one size brush stoke painting (b) multiple size brush stoke painting

Fig. 5.Hays’s technique using multi-layered target.

 

3. 연구 배경

3.1 앙리 툴루즈 로트렉

앙리 툴루즈 로트렉(Henri de Toulouse-Lautrec 1864 - 1901)은 1864년 프랑스 남부 알비에서 태어났다. 그의 집안은 백작집안 이었으여,이 때문에 경제적인 어려움이 전혀 없는 평온한 가정에서 유년시절을 보냈다. 또한 로트렉은 어렸을 때부터 데생에 뛰어난 소질을 보였다고 한다. 그러나 14살 때 왼쪽 다리가 부러지고,15살 때 나머지 오른 쪽 다리가 부러지는 사고를 당하여 두 다리의 발육이 정지되어 버렸고 로트렉은 집안을 이어갈 장남에서 천덕꾸러기로 전락한다. 이 후 방황하던 로트렉은 몽마르뜨의 술집을 배경으로 본격적으로 그림을 그리기 시작한다. 이후 술집들을 전전하며 그림을 그리다 37살에 세상을 떠난다.

석판화 포스터 등이 유명하며 뛰어난 테크닉의 소유자였던 로트렉은 절제와 자유로운 붓놀림을 통해 풍속화라고 할 만한 파리 시민들의 생활모습을 담았다. 로트렉은 매우 정확한 데생력과 일본의 우키요에 판화에서 영향 받은 대담한 구도를 가지고 있었다. 그의 데생 스케치는 오늘날 까지도 많이 남아 있는데 이 스케치들에서 모델이 된 인물들의 개성적 특징을 과장으로 여겨질 만큼 강렬한 표현으로 정확하게 잡아냈다.

로트렉은 모든 장면들에서 간결한 윤곽선을 이용하여 인물과 주변 사물들을 단순히 암시하는데 그치고 있으며 평면적인 채색법과 비대칭성을 적용하고 있다. 게다가 급하게 안으로 향하는 사선구도를 사용하여 실내공간을 애매하게 정의하면서 긴장감을 야기한다[17]. 그러나 무엇보다도 그는 화면 내에서 실내공간의 가장자리들을 과감하게 잘라내고 훔쳐보기의 시점을 적용하고 있는데 이것은 일본식 판화인 우키요에의 영향을 받은 것이다[25].

Fig. 6.Toulouse-Lautrec – Dancing in Moulin Rouge.

3.2 앙리 툴루즈 로트렉의 초상화 스케치

로트렉은 초상화를 그림에 있어 1890년 대 이후 점차 배경 표현을 생략하기를 즐겼다. 그의 초상화는 밑그림이나 크로키 혹은 데생을 그리듯 간략한 묘사를 보여준다. 습작 드로잉을 하듯 인물 주위의 배경은 생략시켜버리고, 단순화시킨 구도로 인물을 얼굴만을 자세히 표현했다. 로트렉은 인물화를 그림에 있어 밑그림용 마분지에 대상을 표현하였다[17]. 그가 자주 사용한 테크닉은 인물을 날카롭고 길게 이어지는 간결한 직선에 가까운 스트로크로 그리는 것 이었다. 이러한 그의 기법은 파스텔이나 콩테를 가지고 마치 데생을 한 듯한, 혹은 색채를 칠한 듯 한 느낌을 준다. 곡선을 표현하는데 있어서 여러 직선형 스트로크를 각도 별로 조금씩 꺾어 겹치게 하는 기법을 사용하였다.

Fig. 7.Toulouse Lautrec-Madame Luci.

Fig. 8.Lautrec’s portrait sketch (a) detail part, (b) pastel texture, (c) elliptic background, (d) faced arounded coloring, (e) lines of various color, (f) simplified line.

대상을 표현함에 있어서 주로 얼굴 주위에 캔버스에 보색이 되는 색으로 바탕색을 칠하는 기법을 보여준다. 이는 원래 유화에서 채색 전의 밑그림을 그릴때 여백을 표현하는 기법으로 로트렉이 그림을 그리기 전 습작이나 밑그림의 개념으로 이러한 미완성 스케치를 그렸을 수도 있었음을 암시한다.

 

4. 로트렉 초상화 스타일 렌더링

로트렉의 초상화 스케치 구현은 몸체의 윤곽선을 표현하는 부분과 얼굴을 묘사하는 부분 두 가지로 나눌 수 있다.

로트렉의 초상화 스케치에서 윤곽선은 간결하고 빠른 순간에 그어진 듯 한 형태를 지니고 있다. 이러한 스트로크를 표현하기 위해서는 엣지 디텍션(Edge Detection)을 통해 엣지를 구하고 체인 코드[27] (Chain Code)를 사용하여 벡터라이즈 (Vectorize)하는 작업이 필요하다. 윤곽선의 질감은 텍스쳐 맵핑과 알파 맵을 사용하여 구현하였다.

Table 1.Features of Lautec portrait

위와 같은 방법으로 만들어진 바탕선 위에 인풋 이미지에서 얼굴 영역을 추출, 분리하여 텍스쳐 맵핑을 사용하여 채색 하였다. 이와 같은 일련의 과정을 통해 우리는 로트랙의 초상화 특성을 표현하는 렌더링을 시뮬레이션 할 수 있었다. 다음의 챕터에서 자세한 과정에 대해서 설명한다.

4.1 생략된 윤곽선 검출

로트렉의 초상화에서 표현되는 윤곽선은 간결하게 있음에도 대상의 형태를 잘 표현하고 있다. 이것은 적은 수지만 효율적으로 배치된 스트로크 때문이다. 본 논문에서는 이러한 스트로크의 특성을 재현하기 위해 다음과 같은 기법을 사용 하였다.

우선 윤곽선 정보를 얻기 위해서 엣지 디텍션을 수행하였다. 엣지 디텍션에는 라플라시안(Laplacian) 엣지 디텍션, 캐니(Canny)[16] 엣지 디텍션등 여러 기법들이 있지만 본 논문에서는 Kang[12]이 제안하는 FDoG (Flow based Difference od Gaussians)를 사용하였다. 이 기법은 검출되는 엣지가 경계선을 따라 자연스럽게 이어지기 때문에 예술적인 느낌을 표현하는데 효과적인 장점이 있다. 이렇게 추출된 엣지를 바탕으로 엣지 씨닝(Edge Thinning)을 통하여 엣지의 두께가 한 픽셀이 넘지 않도록 만들었다. 이 작업은 체인 코드의 커널이 한 픽셀 단위로 엣지를 순회하기에 필요한 작업이다.

검출된 엣지 정보를 바탕으로 체인 코드를 사용하여 벡터라이즈를 수행한다. 엣지들은 이 과정을 통하여 각각의 스트로크 단위로 분리 된다. 분리된 스트로크들은 각각 하나의 브러쉬 텍스쳐가 붙여질 작업단위가 된다. 이 과정에서 너무 짧은 엣지는 그 중요도가 낮은 것으로 간주하고 제거한다. Fig. 9에서 이러한 일련의 과정들을 볼 수 있다. 우리는 원본 이미지로부터 엣지를 추출하고 3×3 커널을 사용하여 각 엣지들을 순회, 너무 짧은 엣지(이미지의 가로 세로크기 고려)들을 제외하고 최종적으로 (c)와 같은 단위화 된 엣지들을 얻을 수 있었다.

Fig. 9.Edge extracting and selection.

4.2 파스텔 질감의 윤곽선 표현

이번 단계에서는 전 단계에서 생성된 스트로크들을 기준으로 스트로크 렌더링을 수행한다. 로트렉의 스케치는 마문지 위에 콩테나 파스텔로 대상을 표현한 느낌이기 때문에 바탕 텍스쳐로 Fig. 10과 같은 이미지를 사용 하였으며, 생성될 스트로크들은 실제 스트로크와 같은 느낌을 표현할 수 있도록 Fig. 11과 같은 텍스쳐를 사용하였다.

Fig. 10.Background texture.

Fig. 11.Brush texture 1 and 2, Height map.

Fig. 11을 보면 우리가 사용한 텍스쳐를 볼 수 있다. 우리는 위의 2개 텍스쳐를 번갈아 사용하였으며, 아래의 높이 맵을 이용하여 브러시의 입체감을 주었다. 이 후 우리는 이전에 생성된 스트로크 단위를 따라 브러시를 생성하였다. 이를 위해 단위화 된 엣지를 따라 엣지 내 각 점에 해당하는 좌표에 삼각형(Triangle mesh)를 Fig. 12의 (b)와 같이 생성하여 이들을 서로 연결, 하나의 스트로크 단위당 하나의 연속 삼각형(Triangle strip)을 생성하여 Fig. 12의 (a)와 같이 한 후 위에 텍스쳐를 입히는 방식을 선택하였다. 각 삼각형 생성 시 엣지 포인트에서 브러시 넓이(Brush Width, BW)값 만큼의 거리에 버텍스를 생성하는 방식을 택하였고, 브러시의 넓이는 이미지 가로, 세로 사이즈 중 작은 것을 사용자가 입력한 값으로 나누어 사용 하였다. (본 논문에서는 250) 각 스트로크의 색상은 각 엣지 단위가 놓이게 되는 영역의 색상의 평균 색상을 사용하였다. 이에 대한 결과물은 Fig. 13에서 간략하게 확인 할 수 있다.

Fig. 12.Line generation.

Fig. 13.Line rendering example.

또한, 파스텔 질감의 경우 모드 면이 빽빽 하지 채워지지 않고 배경의 색이 조금씩 보여야 하기 때문에 브러시 텍스쳐의 White값에 따른 Alpha 값을 설정하고 렌더링 과정에서 Blending 하였다. 이화 같은 과정을 통해 우리는 각 텍스쳐의 검은 부분에는 배경의 색이 묻어나게 하면서 각 스트로크 단위에 따르는 윤곽선을 렌더링 할 수 있었다.

4.3 얼굴 영역 채색

다음은 로트렉 초상화의 주된 특징 중 하나인 얼굴영역 채색에 대한 부분이다. 로트렉은 앞서 말한 대로 모든 영역에 색을 칠하지 않고 주요 영역에만 색을 칠했는데, 대체로 이는 얼굴과 몸의 일부분을 포함하고 있다. 또한 그의 초상화 에서는 머리 뒤쪽으로 바탕색이 칠해지는 경우가 많았는데, 이는 일반적인 유화의 표현에 있어서 채색에 앞서 그리는 밑그림 단계서 캔버스에 보색이 되는 색으로 일부 부분에 바탕색을 칠해 강조하는 기법이다. 우리는 이러한 특징 또한 영역의 확장을 통해 쉽게 구현 하였다.

우선 우리는 우리의 관심 영역을 초상화라는 특징에 맞도록 ‘얼굴’로 한정하고 알고리즘을 구현 하였다. 얼굴 영역을 검출하기 위해 우리는 주어진 입력 영상에 대해 페이스 디텍션을 수행 하였다. 이를 위해 Haar cascade classifier를 사용 하였다. Fig. 14를 보면 (a)와 같은 인풋 이미지를 사용 하였을 경우 (b)와 같이 얼굴 영역이 검출되는 것을 볼 수 있다. 이후 우리는 검출된 영역을 Seed로 하여 Watershed segmentation을 수행하고 이 결과로 분리된 Fig. 14의 (c)와 같은 채색 영역을 얻을 수 있었다. 우리는 이렇게 얻어진 채색 영역의 확장 적용(dilation)을 통해 바탕색의 효과를 손쉽게 얻어 낼 수 있었다. 또한 우리는 이렇게 영역을 자동적으로 추출하는 것 뿐 아니라 사용자가 직접 관심 영역을 지정 할 수 있도록 시스템을 구성하였다. 이는 뒤의 다양한 결과 섹션에서 얼굴 외 부분에 채색이 되는 점을 통해 확인이 가능하다.

Fig. 14.Generation of painting region.

이렇게 추출된 영역에 채색을 수행하게 되는데, 기본적인 방식을 윤곽선의 렌더링 방식과 거의 동일하게 수행되며, 브러시의 넓이를 윤곽선보다 조금 세밀하게 그려지게 된다. 또한 윤곽선의 길이와 방향은 추출된 단위 엣지를 따라 길이와 방향이 결정되지만 얼굴 영역의 경우에는 브러시가 그려질 방향과 길이를 이미지 그라디언트를 참조하여 결정 하였다. 우리는 이를 위해 ETF(Edge Tangent Flow)[12] 보간법을 사용하여 Fig. 15와 같이 이미지의 방향성을 구하였으며 이미지의 방향에 따라 스트로크(연속 삼각형)을 생성 하였으며, 그라디언트의 크기가 일정 수치(사용자 입력)보다 작아지는 경우 즉, 방향성의 연속성이 없어지는 지점을 스트로크의 끝으로 지정하였다.

Fig. 15.Image gradient & Face painting.

채색 영역의 모든 점(픽셀)을 대상으로 스트로크 렌더링이 한번 씩 이루어지게 되며, 각 스트로크는 영역을 벗어나거나, 앞서 말한 조건에 걸릴 때까지 연속 삼각형을 생성하고 브러시 텍스쳐를 붙인다. 최종적으로 채색 영역의 모든 점에 채색이 완료될 경우 렌더링이 종료되며 그 결과는 Fig. 15의 (c)와 같다.

 

5. 다양한 결과

Fig. 16.Additional Results.

 

6. 결과 및 향후 연구

본 연구에서는 제안된 알고리즘을 수행하기 위하여 사용한 개발 환경은 다음과 같다. Windows기반의 PC에서 Windows 7 Professional K 운영 체제를 사용하였다. Microsoft사의 Visual Studio 2008의 MFC기반으로 개발하였다. 영상 처리에 사용된 라이브러리는 OpenCV 2.2 버전을 사용하였다. 구현 및 테스트에 사용된 시스템은 Intel(R) Core[TM] i7 860CPU (2.8MHz)와 RAM 4GB의 표준 PC이다.

결과 생성 소요 시간은 가로 세로 1024*768 픽셀 크기의 영상을 기준으로 윤곽선 추출에 2초, 윤곽선 트래킹 및 스트로크 단위화에 3초가량 소요되고 5초의 프리 프로세싱 시간이 소요되었으며 선 렌더링에 약 7초가 소요되었고 얼굴 영역 렌더링에 약 20여 초가 소요 되었다. 윤곽선 렌더링과 얼굴 영역 렌더링의 소요 시간은 있어 입력 영상에 종속적이다. 입력 영상의 해상도 및 복잡도(엣지가 많이 검출되는 등)는 윤곽선 렌더링과 얼굴 영역 렌더링에 동시에 영향을 끼친다. 특히 입력 영상에서 얼굴 영역(채색영역)이 차지하는 비율에 따라 얼굴 영역 렌더링의 소요 시간은 달라진다.

본 논문에서는 로트렉의 초상화 스케치 표현을 위한 회화적 렌더링 기법을 제안한다. 로트렉 특유의 간결한 윤곽선과 자세히 채색된 얼굴을 표현하기 위한 과정은 다음과 같다. 윤곽선을 얻기 위하여 엣지 디텍션을 사용하였고 체인코드를 통해 추출된 엣지를 벡터라이즈시키며 스트로크를 추출한다. 추출 된 스트로크를 기반으로 윤곽선 표현이 완료되면 얼굴 영역을 검출한다. 추출된 얼굴 영역을 확장하여 바탕색과 디테일을 함께 표현하여 얼굴 영역 렌더링을 완료한다.

Fig. 17.Result image.

위 Fig. 17에서는 우리의 알고리즘을 통해 생성한 결과 이미지를 볼 수 있다. 우리의 결과를 살펴보면 로트렉의 스타일에서 볼 수 있는 간략화 된 엣지의 표현과 더불어 얼굴 영역만의 채색 표현이 시뮬레이션 된 것을 볼 수 있다. 또한 (b)의 결과2에서 조금 더 명확히 볼 수 있는 특징 중 하나는 바로 머리 주변의 바탕색 표현이다. 우리는 따로 바탕 레이어를 두지 않고도 채색 영역의 확장(dilation)을 통해 바탕색을 효율적으로 표현할 수 있었다.

이러한 본 논문에서 제안하는 기법은 기존의 연구에 비해 다음과 같은 차별성을 지닌다. 첫째, 지금까지의 연구에서 특정 화풍이나 화가의 스타일을 재현하는 연구는 종종 있었으나 로트렉의 초상화에 관한 연구는 없었다. 인상주의를 재현한 Litwinowicz[19]의 기법이나 쇠라의 점묘법을 시도한 Seo[21], 그리고 로트렉의 석판화 스타일의 기법을 제안한 DeCarlo[6]의 연구들이 있었지만, 로트렉의 초상화를 재현하는 연구는 본 논문에서 처음 시도했다. 둘째, 표현 기법에 있어서 기존의 회화적 렌더링과 차별성을 지닌다. 보통 회화적 렌더링에서 채색되지 않은 스케치 형태를 렌더링 하는 연구는 드물었다. 본 논문에서는 입력 영상을 표현하는 데 있어 배경은 생략하고 대상만 중점으로 파스텔로 그린 듯 한 윤곽선만으로 표현하였고 얼굴 영역만 채색하여 자세히 묘사한 새로운 시도를 하였다.

하지만 우리의 알고리즘은 몇 가지 기술적, 표현적 한계점 또한 가지고 있는데 Fig. 15와 Fig. 16의 결과물을 비교하여 확인할 수 있다. Fig. 15의 결과물은 얼굴이 매우 세밀하게 채색 된 반면, Fig. 16은 조금 덜 세밀하나 조금 더 자연스럽다(회화 스럽다). 이는 따로 레이어 구분을 두지 않고 이미지 사이즈에 따라 조절된 브러시 하나로 그림을 그리기 때문인데, 이는 알고리즘의 시간 효율성 향상에는 매우 도움이 되었으나 자연스럽고, 로트렉과 비슷한 효과를 내기에는 부족함이 있었다. 우리는 이를 극복하고자 향후 렌더링 과정에 있어 여러 레이어를 구성하고 다양한 브러시를 사용하여 자연스러운 회화의 효과를 표현하고자 한다. 레이어의 추가로 인해 발생하는 소요시간의 증가 또한 디테일한 표현부위를 일부로 제한하는 기법을 통해 개발하여 극복할 것이다. 또한 렌더링 결과물의 색상이 원본은 색상을 따라가기 때문에 로트렉의 독특한 색상표현과는 차이가 있는데 이 또한 향후 로트렉이 사용한 색상의 팔레트 연구를 통해 보완할 예정이다.

References

  1. A, Gooch, B, Gooch, P, Shirley, and E, Cohen, "A Non-photorealistic Lighting Model for Automatic Technical Illustration," Proceeding of SIGGRAPH '98, pp. 447-452, 1998.
  2. A. Hertzmann, "Painterly Rendering with Curved Brush Strokes of Multiple Sizes," Proceeding of SIGGRAPH1998, pp. 453-460, 1998.
  3. A. Hausner, "Simulating Decorative Mosaics," Proceeding of SIGGRAPH '01, pp. 573-580, 2001.
  4. A. Hertzmann, "A Survey of Stroke-based Rendering," IEEE Transaction on Computer Graphics and Applications, Vol. 23, No. 4, pp. 70-81, 2003.
  5. A. Lake, C. Marshall, M. Harris, and M. Blackstein, "Stylized Rendering Techniques for Scalable Real-time 3d Animation," Proceeding of NPAR '00, pp. 13-20, 2000.
  6. A. Santella and D. DeCarlo, "Abstrct Painterly Renderinga using Eye-tracking Data," Proceeding of SIGGRAPH '02, pp. 75-82, 2002.
  7. A. Kasao and K. Miyata, "Algorithmic Painter: a NPR Method to Generate Various Styles of Painting," The Visual Computer, Vol. 22, Issue 1, pp 14-27, 2006. https://doi.org/10.1007/s00371-005-0353-8
  8. B. Gooch, P.J. Sloan, A. Gooch, and P. Shirley, "Interactive Technical Illustration," Proceeding of I3D '99, pp. 31-38, 1999.
  9. C. Lu, L. Xu, and J. Jia, "Combining Sketch and Tone for Pencil Drawing Production," Proceeding of NPAR '12, pp. 65-73, 2012.
  10. Gooch. Bruce and Gooch, Amy, Non-Photoreakistic Rendering, A K Peters, CRC Press, USA, 2001.
  11. H. Freeman, "On the Classification of Linedrawing Data," Proceeding of Models for the Perception of Speech and Visual Form, pp. 408-472, 1967.
  12. H. Kang, S. Lee, and C.K. Chui, "Coherent Line Drawing," Proceeding of NPAR '07, pp. 43-50, 2007.
  13. J Hae-sol, Art world 1993-3, Art world, Korea, 1993.
  14. J. Hays and I. Essa "Image and Video based Painterly Animation," Proceeding of NPAR 2004, pp. 453-460, 2004.
  15. J. Kim and F. Pellacini, "Jigsaw Image Mosaics," Proceeding of SIGGRAPH '02, pp. 657-664, 2002.
  16. J. Canny, "A Computational Approach to Edge Detection," IEEE Transactions on Pattern Analysis Machine Intelligence, Vol. PAMI-8, No. 6, pp. 679-698, 1986. https://doi.org/10.1109/TPAMI.1986.4767851
  17. K Hyun-ju, Toulouse - Lautrec's lithograph in Research of History of Modern Art6, Korea Association For History of Modern Art, Korea,1996.
  18. L. Petrovic, B. Fujito, L. Williams, and A. Finkelstein "Shadows for Cel Animation," Proceeding of SIGGRAPH '00, pp. 511-516, 2000.
  19. P. Decaudin, Cartoon-Looking Rendering of 3D-Scenes, Research Report 2919, INRIA, 1996.
  20. Paul Haeberli, "Paint By Numbers: Abstract Image Representations," Computer Graphics, Vol. 24, No. 4, pp. 207-214, 1990. https://doi.org/10.1145/97880.97902
  21. P.Youngsup, and Y Kyunghyun, "Edge Based Dynamic Brush Stroke Generation for Painterly Rendering, Journal of Korea Multimedia Society, Volume. 8, Issue. 2, pp.164-173, 2005.
  22. P. Litwinowicz, "Processing Images and Video for An Impressionist Effect," Proceeding of SIGGRAPH '97, pp. 407-414, 1997.
  23. S. Battiato, G. Di Blasi, G.M. Farinela, and G. Gallo, "A Novel Technique for Opeus Vermiculatum Mosaic Rendering," Proceeding of WSCG 2006, pp. 133-140, 2006.
  24. S.H. Seo and K.H. Yoon, "Pointillism Expression Technique using Light and Shade Information," Proceeding of HCI , pp. 975-981, 2007.
  25. Takashina SyuJi, Eyes watching artwork, Nul-wa, Korea, 2004.
  26. T.L. Kunii and T. Maeda, "On the Silhouette Cartoon Animation," Proceeding of Computer Animation'96, pp. 110-117, 2007.
  27. Y. Amit, D. Geman, and K. Wilder, "Joint induction of shape features and tree classifiers," IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume. 19 Issue. 11, pp. 1300-1305, 1997. https://doi.org/10.1109/34.632990