이미지생성AI시대 애니메이션학과의 교과·비교과 운영 안 연구: AI기술융합 과정을 중심으로

A Study on How to Operate the Curriculum·Comparative Division for Animation Majors in the Era of Image-generating AI: Focusing on the AI Technology Convergence Process

Abstract

Focusing on the rapid progress of image generation AI, this study examines the changes in talent required according to changes in the production process of the content industry, and proposes an educational management plan for the subject and comparative department of the university's animation major. First, through environmental analysis, the trend of the animation content industry is analyzed in three stages, and the necessity of producing AI-adapted content talent is derived by re-establishing the talent image of the university's animation major and introducing it into rapid education. Next, we present a case designed by applying teaching methods to improve technology convergence capabilities and project-oriented capabilities by presenting subject and non-curricular cases operated in the animation department of the researcher's university. Through this, we propose the necessity of education to cultivate animation content talent who can play technical and administrative roles by utilizing various AI systems in the future. The goal of this study is to establish a cornerstone study by presenting application cases and having the status of a university as a talent supplier that can lead the content industry beyond the era of AI content production that breaks the boundaries of genres between contents. In conclusion, it is intended to propose the application of education to create value through technology convergence capabilities and project-oriented capabilities to cultivate AI-adapted content talents.

1. 서론

1.1 연구의 목적 및 필요성

현재 애니메이션 산업의 종사자 수는 2018년부터 2020년까지 연평균 0.9% 증가하였으며 특히 사업기획과 제작파트의 인력만이 매년 증가했다. 2022년 하반기 이후 이미지 생성 AI기술의 급성장에 따라 콘텐츠 제작의 전문성의 방향이 변화되고 있으며 고도의 전문성에 대한 니즈의 형태가 달라질 것이라는 전망을 보이고 있다. 반대로 이를 잘 활용한다면 원하는 콘텐츠를 제작하는데 효율성이 극대화 될 수 있다고 할 수 있다.

실제로 AI를 활용한 디지털콘텐츠 특허출원이 급증하고 있으며 <Figure 1>, 이는 창의적 아이디어만으로도 AI기술을 활용하여 디지털콘텐츠를 제작하기가 용이한 이유로 보여진다.

<Figure 1> Lee Sung-yong. Trends in Patent Applications Related to Artificial Intelligence Content over the Past Five Years. Patent News, 2018.

https://www.e-patentnews.com/5063

<Table 2>의 최근 애니메이션 관련 산업동향을 분석했을 때, 새로운 IP의 중요성이 갈수록 높아지고 있으며 여러 분야로 확장 가능한 이야기의 중요성이 증대되고 있다는 것을 도출할 수 있다. 또한 다양한 미디어의 활용과 새로운 비즈니스 모델이 계속 등장 중이며 이를 위해 전공역량 강화를 위해 프로젝트 기반학습의 구조화가 필요하다는 것을 알 수 있다. 이와 같은 애니메이션 콘텐츠 산업 변화의 동향을 따라가기 위해서는 기술융합역량과 프로젝트 중심 역량을 증진 할 수 있는 교육과정과 교수법의 운영이 필요한 시점이다.

<Table 1> Recent Employment Trends Related to Animation¹⁾

Note: 1) CH+ animation department subject innovation specialization field report, Hoseo University, p.7, 2023.

<Table 2> Trends and Implications of the Animation Industry¹⁾

Note: Report above, p.9, 2024.

따라서 2D, 3D와 같은 기술분류에 의한 교과목 분류에서 장르 및 기술이 융합된 현 산업 동향에 맞는 구조로 점진적인 전환을 고려할 필요가 있다. <Table 3>의 인력 양성 동향을 보았을 때 최근의 애니메이션 산업을 애니메이션을 기반으로 한 콘텐츠 산업의 관점으로 확장하여 볼 수 있으며, 이를 역량단위로 파악하여 교육과정 구조에 반영해 볼 수 있다.

<Table 3> Recent trends in animation-related human resources training¹⁾

Note: Report above, p.8, 2023.

따라서 본 연구는 최근 산업동향과 기술적 변화의 이슈가 되는 AI시대 변화를 리딩하고 기술융합역량과 프로젝트 중심역량을 갖춘 애니메이션 인재를 양성하기 위한 교육적 관점을 특화하여 교과·비교과 운영 사례를 제시해 보고자 한다.

1.2 연구문제 및 방법

1.2.1 연구내용

(1) 연구의 문제

애니메이션학과의 AI활용 교과·비교과 교육사례 연구를 위한 연구 문제는 다음과 같다.

연구문제 1: 상용화 된 이미지생성AI 및 영상 생성 기술의 현황은 어떠하며, 산업계 및 창작자의 활용정도는 어느 정도인가?

연구문제 2: AI기술로 제작된 영상 및 애니메이션 작품의 특징은 무엇이며 기술구현 및 기술융합의 정도는 어떠한가?

연구문제 3: 연구문제2의 과정에서 애니메이션 제작 과정의 공정을 효율적으로 만드는 프로세스는 어떤 부분인가?

연구문제 4: 애니메이션전공 학과의 교육과정(교과·비교과)에 적용 가능한 교과목 및 적절한 교수법은 무엇인가?

연구문제 5: 애니메이션전공 학과의 교육과정(교과·비교과)에 이미지생성AI의 실 적용사례에는 어떤 것이 있는가?

(2) 연구방법

연구의 방법으로는 첫째, 현재 이미지생성 AI 기술로 이미지 및 애니메이션콘텐츠를 생성할 수 있는 시스템의 현황과 활용 상황을 정리해 본다.

두 번째로, 이미지생성AI기술로 제작되어 상용화 된 이미지 및 애니메이션 작품의 사례를 분석하여 보고 현단계의 발달 정도가 애니메이션 제작 프로세스에 효율적으로 적용 가능한 파트를 타진해 본다.

세 번째로, 앞에서 도출된 프로세스별 적용 가능성에 따라 애니메이션 교육에 적용 가능한 교과목 및 교과목 특성에 따른 교수법을 제안하여 본다.

마지막으로, 애니메이션 전공 학과의 (교과·비교과) 교육에 실 적용된 사례를 조사하고 운영결과를 제시해 본다.

대학기관의 현황은 AI 콘텐츠 관련 학과/전공 운영 현황을 분석하여 보고, 다음으로 AI 적응형 콘텐츠 인재 양성을 위한 인재상 및 교육과정이 어떠한지 설계하여 본다. 이를 통해 관련 교육과정의 필요성을 도출한다.

<Figure 2> Research Method and Implementation Sequence

2. 현황분석

2.1 AI 이미지 생성 기술의 현황 및 활용

2.1.1 AI 이미지생성 기술의 현황

AI를 통한 이미지 생성은 4차 산업 혁명을 주도하며 빠르게 성장하고 있는 분야 중 하나로, 최근 몇 년 동안 큰 발전을 이룬 분야 중 하나라고 할 수 있다[Lee, 2023]. 창작과 예술 분야에 인공지능의 활용이라는 주제의 논쟁이 활발하게 벌어지게 된 계기는 미국 콜로라도주 박람회 미술전에서 신인 디지털 아티스트 부문에서 1위 작품 ‘스페이스 오페라극장’이 직접 그린 그림이 아닌 인공지능 이미지 생성기 Midjourney를 활용해 완성한 것이고 수상자 제이슨 앨런은 게임디자이너(기획자)라는 사실이 알려지면서부터이다.

<Figure 3> Jason M. Allen. "Théâtre D’opéra Spatial". Available at https://en.wikipedia.org/wiki/Th%C3%A9%C3%A2tre_D%27op%C3%A9ra_Spatial (2022)

생성 AI는 학습한 데이터를 바탕으로 고품질의 텍스트, 이미지, 기타 콘텐츠가 생성 가능한 딥 러닝 모델을 말한다. 즉 원시 데이터(예: 모든 위키백과 또는 렘브란트의 수집된 작품)를 가져와 메시지가 표시될 때 통계적으로 가능한 출력을 "학습"할 수 있는 딥 러닝 모델을 통해, 교육 데이터의 단순화된 표현을 인코딩하고 이를 기반으로 원본 데이터와 유사하지만 동일하지 않은 새로운 작업을 생성한다. 이를 위해서는 대량의 이미지 데이터를 사용하여 모델을 훈련시켜야 하며, 데이터 수집이 매우 중요하다 볼 수 있다. 3D애니메이션과 VFX는 그 산업의 증가하는 가치만큼 기술에 많은 투자가 이루어져 왔기에 AI 기술 역시 애니메이션 제작 분야에 있어 활발하게 연구가 이루어지고 있다.

대표적인 이미지⋅영상생성AI툴의 종류를 본다면 Stability AI에서 만든 Stable Diffusion, Dream-Studio, Midjourney에서 만든 Midjourney, Niji Journey, OpenAI에서 만든 DALL-E와 Sora, NUI Studio에서 만든 Leonardo.AI, Google에서 만든 imagen과 parti, NVIDIA에서 만든 GauGAN2 등이 있다. 국내에서도 AI Greem 이라는 사이트를 개발한 바 있다.

만화나 애니메이션 캐릭터 생성에 적합한 Stable Diffusion이 2022년 8월 22일 오픈 소스 라이선스로 배포되면서 이미지생성AI의 사용자가 기하급수적으로 늘고 이를 활용한 다양한 실험들과 콘텐츠들이 붐을 이루기 시작하였다. 이후 기본 텍스트 프롬프트를 통한 이미지 작성 외에도 이미지 입력 후 변경, 누락 이미지 재구성, 이미지에서 추가 확장 등 기존 이미지를 활용할 수 있는 방안 또한 제시되었다. 특히 이미지 생성 과정에서 많은 지적을 받은 손과 손가락의 자연스러운 표현에 중점을 두고 개발했다.¹⁾ Niji Journey는 prompt를 영어로 작성해야 정확도가 높았으나, 최근 업데이트를 통해 한글 입력으로도 높은 정확도로 이미지가 생성되도록 개선되었다.²⁾ 현재는 모바일 앱으로도 출시되어 더욱 편리해졌다. 또한 단어형이 아닌 문장형의 프롬프트도 입력할 수 있게 되었으며, 호불호가 갈리던 재패니메이션 풍뿐만 아니라 실사에 가까운 애니메이션 일러스트도 생성할 수 있도록 업데이트 했다.

<Figure 4> STABILITY AI. Animtion Image Created by Color Penchiel Draw. Available at https://modulabs.co.kr/blog/stable-diffusion-ai/ (2023)

<Figure 5> NiziJenny, photo of mobile app released on official site banner, Available at https://nijijourney.com/ko/ (2024)

이후 2023년 3월 22일에 베타 버전을 출시한 Adobe사의 Firefly는 사용이 허가된 이미지로만 생성해내기 때문에 저작권 침해 우려가 없는 이미지 생성 AI임을 강조함으로써 사용자들의 신뢰 및 창작가들의 권리를 중시하는 모습을 보였다. 특히 파이어플라이로 생성된 에셋에 콘텐츠 자격 증명을 첨부하면 해당 콘텐츠를 작업하거나 보는 사람들이 그 에세이 저작권적으로 문제가 있는지 또한 확인할 수 있기 때문에 투명성과 신뢰를 증명할 수 있다. 올해 4월에는 프롬프트와 함께 참조 이미지를 이용하여 사용자가 원하는 이미지에 더욱 가깝게 이미지를 생성할 수 있는 개선안이 베타 버전에 포함되었다. 이는 번거롭게 몇 번씩 이미지를 생성할 필요 없어 작업 시간을 더욱 단축할 수 있다.

이처럼 이미지생성AI는 단순히 사람들의 흥미에서 그치지 않고, 기업에 도입되는 등 실제 사업에서 사용되고 있다. 국내 50인 이상 기업 중 AI 기술을 도입한 곳은 4년 만에 200% 이상 급증했다. 국외에서도 AI캐릭터, AI아바타 등을 활용한 사업이 늘어나며 향후 2032년까지 대략 1,181억 달러 정도의 규모로 성장할 것으로 예상한다.

<Figure 6> Firefly, Creating High Resolution Images Using Prompts. Available at https://url.kr/hpbuki (2023)

<Table 4>는 애니메이션 제작과정에 대표적으로 활용되고 있는 각 이미지생성AI툴의 특징 및 공통점, 차이점을 표로 정리한 것이다.

<Table 4> Generative image AI platform and Features

2.1.2 이미지생성AI를 이용하는 창작자의 활용

AI 이미지 생성은 다양한 분야에서 활용되고 있다.

최근에는 AI 이미지 생성 플랫폼이 더욱 활발하게 개발 및 배포 되며 개인의 창작활동도 큰 변화를 가져왔으며, 관련 산업 또한 직, 간접적으로 큰 영향을 받게 되었다.

개인이 즐기는 것뿐만 아니라 이미지생성AI를 이용한 산업도 나왔다. 예를 들어 IP를 전달하면 일정 금액을 받은 후 AI를 이용해 웹툰을 만들어 주는 것이다. 이는 ‘작붕’, 지각 등 웹툰에서 흔히 독자들에게 불편함을 주는 요소를 없애는 것을 캐치프레이즈로 내건 사업이다. 특히 빠른 작업 속도와 적은 레퍼런스 학습량을 장점으로 내세워 컬러 작업과 주간 연재, 그림체의 통일성까지 챙겨야 하는 다소 빠듯한 웹툰 작업이 필요한 사용자에게 큰 메리트가 있다고 볼 수 있다.

<Figure 7> Zenverse, a service that uses AI to create webtoons, portfolio and production process in order, Available at https://www.genvas.ai/marketing?utm_source=google&utm_medium=cpc&utm_campaign=genvas_promotion&utm_content=01_brand&utm_term=%EB%9D%BC%EC%9D%B4%EC%96%B8%EB%A1%9C%EC%BC%93&gad_source=1

특히 AI를 사용하여 게임 및 가상 세계의 그래픽을 생성하는 분야에서는 이를 활용한 더욱 현실적인 그래픽을 만들어 내기도 한다. 세계적으로 유명한 ToysRUs에서는 이번에 영상 생성 AI인 Sora를 이용하여 광고를 만들었다. 현실과 가상을 넘나드는 장면이 매우 자연스러우며, 특유의 ‘불쾌한 골짜기’도 없어 기술력의 발전을 엿볼 수 있다. 국내에서도한국 모바일 어플리케이션 ‘SNOW’를 비롯해 ‘포토디렉터’, ‘라인’, 카카오톡의 ‘칼로 AI’ 등 얼굴 인식 기술과 인공지능 기술을 사용하여 만들어 낸 ‘I 프로필’이 큰 인기를 끌었다. 특히 ‘SNOW’는 1년 만에 매출 347억을 달성하며 대중들에게 큰 호응을 이끌어 냈다.

<Figure 8> Ads for Toys R Us, youtube, Available at https://youtu.be/ah4kzfuc3wo?si=UsI7DoRecjOZJ4Ki (2024)

<Figure 9> AI profile using Jang Won-young, Kakao ‘Kalo AI’, Available at https://karlo-profile.kakaobrain.com/about (2024)

영화 및 TV 산업에서는 AI를 사용하여 새로운 환경 및 특수 효과를 만들어 낸다. Weta Digital은 AI를 사용하여 영화에서 다양한 크리쳐 및 생물체를 생성한다. 3D 애니메이션의 경우 동작 레퍼런스의 빅데이터를 학습한 AI를 활용하여 애니메이터가 간단하게 잡은 동작을 바탕으로 사실적이고 자연스러운 동작을 생성해 낼 수 있다. 특히 립싱크 애니메이션은 AI기술로 전면 대체가 가능하다. 말하는 톤과 속도 등을 조절하여 즉각적으로 립싱크 애니메이션을 생성할 수 있다. 그 외에도 AI를 활용한 광고 등이 이목을 끌며 AI는 다양한 분야에서 효과적으로 사용되고 있다.

<Figure 10> Weta Digital. "VFX Showreel 2020 | Weta Digital". ‘Weta Digital’ Available at https://youtu.be/rcciygSj1wY?si=Am2Mgm-OrWitfYGM (2021)

2.1.3 이미지생성AI 기술로 제작된 영상 매체의 특징 및 기술의 정도

(1) 이미지생성AI기술로 제작된 영상 및 애니메이션 작품의 특징

대부분의 AI 이미지생성 플랫폼은 딥러닝 알고리즘을 사용하여 이미지를 생성하며, 이를통해 더욱 정교하고 다양한 이미지생성이 가능하며 고해상도 이미지를 생성함으로써 애니메이션제작자들은 더욱 세밀하고 정교한 이미지를 생성할 수 있다. 개선과 업데이트 또한 빠르기 때문에 애니메이션 제작자들이 보다 높은 수준의 이미지 생성 능력을 얻을 수 있다.

특정 애니메이션 장르에 국한되지 않는 다양한 분야에서 사용될 수 있도록 확장성과 호환성 또한 중요 요소라고 할 수 있기에 애니메이션의 다양한 목적에 맞는 이미지를 생성하고 활용할 수 있다. 3D 애니메이션의 경우 표정, 입 모양을 인식하여 추출한 애니메이션 데이터를 각종 3D애니메이션 제작 플랫폼과 자유롭게 호환 가능하다. 이렇게 생성된 애니메이션 데이터는 프로그램 안에서 편집을 통해 더 자연스러운 동작을 구현할 수 있다. 3D모델링의 경우 Text prompt 또는 2D 이미지를 3D모델로 변환하여 복잡한 3D 장면을 만드는 데 필요한 시간과 노력을 줄일 수 있다. 물론 현재는 기술 개발 단계이며 정교하고 완성도 높은 모델링 데이터는 아니지만, 원하는 형태를 얻기 위한 베이스 모델링으로 사용하거나 간단한 3D애니메이션을 위해 사용할 수 있다.

LDM3D는 잠재안정 확산모델(LDM)의 일종으로, 블로케이드랩스와의 협력을 통해 4억 개 이상의 LAION-400M 데이터 샘플을 학습시킴으로써 텍스트를 이용한 이미지 및 깊이 맵 생성이 가능하다. 애니메이션뿐만 아니라 가상현실, 증강현실 및 부동산 매물, 가상 박물관 등 넓은 범위에서의 활용이 가능하다.

<Figure 11> Intel. A Scene from a 360 Degree 3D Image Panorama Created in LDM 3D. Available at https://www.aitimes.com/news/articleView.html?idxno=151962 (2023)

(2) 이미지생성AI를 이용한 기술구현 및 기술융합

과거에는 간단한 프롬프트를 이용한 이미지 생성으로 여러 문제가 있었지만, 지금의 AI 이미지 생성은 복잡한 자연어 프롬프트를 이해하여 사람이 그린 것 같은 정교한 이미지를 그릴 수 있다. 생성된 이미지에 추가로 프롬프트를 입력해 더욱 적합한 이미지 또한 찾을 수 있다.

약 3억장 규모의 데이터를 학습한 카카오브레인의 ‘칼로(Karlo)’는 다양한 스타트업을 지원하는 협력 구조를 만들어 가는 것이 목표이다. 이외에도 신한금융그룹이 미드저니로 만든 광고 포스터나, 삼성생명이 AI로 이미지를 생성한 영상 광고를 공개하는 등 AI 이미지 생성은 단순히 우리의 오락이나 창작뿐만 아니라 다양한 마케팅에도 사용되고 있다. 아예 AI를 이용해 광고 영상을 만들어 주는 ‘브이캣’(https://vcat.ai/)이라는 사업도 새롭게 생겨났다.

<Figure 12> Samsung Life Insurance. Samsung Life Insurance commercial made in Generative AI. Available at https://youtu.be/Wxrw5sy5_Hk?si=mVenNQBnZhyaB_7X (2023)

일본 오사카 대학 연구팀에서는 Stable Diffusion을 사용해 뇌파를 사진 이미지로 바꾸는기술을 개발했다. 시각적 자극을 받은 뇌는 뉴련 활동을 일으키고, 이를 기능적 자기공명영상 (fMI)를 이용하여 스캔한 뇌파를 사진 이미지로 바꾸는 것이 원리이다. 이 결과값을 Stable Diffusion 모델에 입력해 FMRL 스캔 정보를 기반으로 정확한 이미지를 생성하는 원리이다. 이 기술은 경찰이 용의자를 식별시에, 혹은 혼수상태 환자의 뇌파를 이미지로 번역하여 소통하는 등 다양한 방면으로 도움을 줄 수 있는 기술로 기대가 되고 있다.

<Figure 13> Osaka University. Images reconstructed from other individuals for the original images Available at https://www.aitimes.com/news/articleView.html?idxno=149784 (2023)

ChatGPT 또한 ‘칸바(Canva) 플러그인’을 출시하며 텍스트 프롬프트를 사용해 디자인, 테이블, 사진, 그래픽 뿐만 아닌 짧은 비디오를 생성하고 편집할 수 있게 되었다. 미드저니와 같은 AI 이미지 생성기와 칸바의 템플릿을 사용해 사용자가 요구하는 디자인을 빠르게 구성할 수 있는 것이 장점이다. 또한 DALL-E 3을 출시하고 챗GPT에 통합함으로써 더욱 쉽게 프롬프트를 구성하여 원하는 이미지를 생성해 낼 수 있게 되었다.

<Figure 14> DALL-E. Image generated by ‘DALL-E’. Available at https://www.instagram.com/openaidalle (2023).

(3) 애니메이션 제작 프로세스의 효율성

텍스트나 이미지 생성 분야 뿐만 아니라 영상·애니메이션 분야에서도 AI의 도입은 큰 변화를 가져오고 있다. 영상·애니메이션 분야에서 다양한 시도가 이루어지고 있다는 점과 이미지생성AI 툴의 발전 속도를 보았을 때, 향후 영상·애니 생성 AI 툴 또한 높은 퀄리티를 보일 가능성이 크다. 대표적인 영상 생성 AI 툴에는 Runway ML사의 Runway와 OpenAI의 Sora로, 기존 영상에 원하는 스타일의 이미지를 명령어로 넣어주면 영상을 재해석하여 만들어 주는 것이 특징이다. 이는 최근 Gen-2 모델을 공개하며 텍스트만으로도 영상을 생성할 수 있게 되었다. Sora의 경우 긴 영상 또한 제작 할 수 있으며, 더 개선된 그래픽으로 실제로 촬영한 영상과 구분 할 수 없을 정도다. 영상 제작 시 촬영 또는 직접 제작이 반드시 필요하던 기존의 방식과는 다르게 생성 AI로 영상 결과물을 바로 만들어 낼 수 있게 된 것이다.³⁾ 이는 Stable Diffusion이나 Novel AI등과 같은 Cartoon Style 이미지를 생성할 수 있는 툴이나 Controll net과 같이 이미지를 애니메이션화 할 수 있는 툴 등과 융합적인 파이프라인을 형성하면 애니 작업을 빠르게 수행할 수 있는 점과 새로운 창작의 가능성이 열린다는 점에서 큰 기대를 가져 볼 수 있다. 또한, AI툴이 타 그래픽 프로그램과는 비교할 수 없을 정도로 빠르게 진화한다는 특징을 염두에 두었을 때 앞에서 예를 든 이미지·영상생성 AI 등은 단점들이 보완되어 가며 보다 효율적인 단계로 성장하여 애니메이션 제작프로세스에 적용할 수 있을 것이다.

3. AI의 애니메이션 제작 과정의 응용

3.1 2D애니메이션 제작 프로세스 비교(기존방식/AI 적용시)

기존 전통적인 방식의 애니메이션 제작은 상대적으로 많은 시간과 비용이 소요되고 있어 빠른 소비 속도에 비해 신속한 콘텐츠 공급에 어려움이 산업을 활성화 시키는데 늘 해결해야 할 숙제라 할 수 있다. 프리프로덕션에서는 기획과 스토리작업, 메인 프로덕션에서는 디지털로 그림을 그리고 움직임을 표현하며 마지막으로 포스트 프로덕션에서는 제작된 애니메이션에 후보정 및 소리를 입혀 최종적으로 완성한다. 레이아웃이나 원, 동화, 배경 이미지 제작 등 많은 공정에 인력과 시간이 소요되는 것이다.

이와 같은 공정에 이미지생성AI 툴을 도입한다면 복잡한 제작과정을 보다 효율적으로 해결할 수 있을 것으로 보인다. 우선 프리프로덕션 단계에 ChatGPT를 도입하여 스토리를 제작할 수 있다. 대화 및 이야기 작성에 뛰어난 역량을 보이는 ChatGPT는 시나리오나 스토리 개발 뿐만 아니라, 스토리보드 및 대사를 작성할 때도 효율적으로 사용할 수 있으며 이미 작성하여 스토리를 점검하는 데에도 활용할 수 있다. 이와 같은 과정은 작가들이 아이디어를 구상하고 다듬는 데에 더 빠르게 작업을 할 수 있도록 도움을 줄 수 있다. 예시로 게임 시나리오를 제작한 사례가 있는데, <Figure 15>와 같은 단계를 거쳐 시나리오를 작성하게 된다.

<Figure 15> Lee Kang Bok. The process of creating game scenarios using ChatGPT. Netmarble Engineering’s official website. Available at https://netmarble.engineering/creating-a-simple-game-scenario-with-chatgpt/ (2023)

첫 번째로 시나리오 아이디어를 요청하면 기본적으로 는 밝고 동화적인 시나리오를 작성해준다. 그러나 여기에 어두운, 음침한, 4차원적인 등의 조건을 추가적으로 작성해 준다면 그 조건을 기반으로 한 시나리오들을 제작해 준다. 캐릭터의 페르소나를 입력하여 ChatGPT에 학습시키면, 대사를 제작할 때도 학습시킨 데이터를 바탕으로 캐릭터에게 어울리는 대사 및 행동지문이 출력 된다.

<Figure 16> Lee Kang Bok. Detailed production of game scenarios using ChatGPT. Netmarble Engineering official website. Available at https://netmarble.engineering/creating-a-simple-game-scenario-with-chatgpt/ (2023)

<Figure 17> Creating a Stable Diffusion Prompt with ChatGPT

<Figure 18> Creating a Stable Diffusion Prompt with ChatGPT

게임을 개발하는 것 또한 코드를 일일이 짤 필요가 없어졌다. ‘빌드박스 4’는 앞서 제작한 스토리 라인을 기반으로 게임을 제작해 주는 AI를 탑재한 게임 엔진으로, 코딩을 모르는 비전문가도 5분 만에 게임을 만들 수 있을 정도의 기술력을 자랑한다. 이 엔진을 개발한 사람은 ‘유니티나 언리얼 엔진을 사용하지 않고도 게임을 만들 수 있게 하는 것이 목표’라고 밝혔다. 스토리 제작부터 코드 개발까지 이러한 프로세스를 거치면 매우 간편하게 게임 제작을 할 수 있는 것이다.

게임에 사용 될 컨셉아트의 경우 Stable Diffusion을 이용하여 제작할 수 있다. ChatGPT에게 ‘방금작성한 시나리오를 바탕으로 Stable Diffusion에서 사용할 프롬프트를 작성해 줘’라는 문장을 입력하면 그 시나리오에 맞는 이미지를 생성할 수 있는 프롬프트를 제공한다. 아래는 Stable Diffusion에서 유명인의 이름을 이용한 간단한 프롬프트를 통해 생성된 이미지이다.

<Figure 19> PORI. ‘Natalie Portman is the foundation of female scientists’, ‘Chris Pratt and Henry Cavill mixed and then replaced by women’, created by Stable Diffusion. Available at https://aicomics.co.kr/tip/40 (2023)

캐릭터뿐만 아니라 배경 이미지 또한 생성 가능하다. 학습된 데이터셋을 기반으로 AI는다양한 스타일과 특징을 가진 이미지를 생성할 수 있다. 그 후 작가들은 마음에 드는 스타일을 추가 프롬프트 세부 정보로 입력함으로써 일관된 캐릭터나 배경 이미지를 생성할 수 있다. 프롬프트는 동일해도 seed값을 조절함으로써 미묘하게 다른 분위기 또한 연출이 가능하다. 이는 시간과 비용을 절감할 뿐만 아니라 일관된 시각적 분위기까지 유지할 수 있는 장점이 있다.

<Figure 20> Upgladder. Made with seed100, seed10, Stable Diffusion. Tistory. Available at https://findspecial.tistory.com/457 (2023)

메인 프로덕션에서는 미드저니를 이용해 일러스트 및 프레임 별 애니메이션을 제작한다. 제작된 일러스트를 바탕으로 짧은 애니메이션을 만들어 주는 PikaLabs, 또는 Gen-2를 사용하면 더욱 효과적인 애니메이션을 제작할 수 있다. Open Door, Talking 등의 간단한 프롬프트를 입력함으로써 일러스트가 짧은 애니메이션이 되는 것이다. 이 또한 학습된 캐릭터 모델과 움직임데이터를 기반으로 하므로 일관성 있는 애니메이션을 유지할 수 있다. 동시에 고화질 일러스트를 기반으로 하여 줌인, 줌아웃 등의 2D 애니메이션에서는 구현하기 어려운 카메라웍 또한 구현 가능하다.

<Figure 21> PromptJungle. The process of creating animations with Pica Labs. PromptJungle. Available at https://youtu.be/bFNArVcdG3Y?si=P4XiEL-MTMq0dkAM (2023)

<Figure 22> Withdx. An Animated Trailer Made by Midjouni is released. Available at https://youtu.be/u_UfVwKgxUY?si=q9097AmeHBXymWal (2023)

이 외에도 이미지 업스케일링 공정에서는 저해상도의 애니메이션 이미지를 AI에 학습시킨 후, AI의 장점인 고해상도 이미지 생성을 이용해 애니메이션의 시각적 품질을 향상시킬 수 있다. 배경 이미지 제작 또한 다양한 장소와 설정을 AI에 학습시키고, 이를 기반으로 새로운 배경 이미지를 빠른 기간 내에 생성할 수 있다.

3.2 3D애니메이션 제작 프로세스 비교(기존방식/AI 적용 시)

3D 디지털 애니메이션 제작 방식은 기본적으로 2D 애니메이션 제작 순서와 비슷하나 차이점이 있다면 메인 프로덕션에서 수작업으로 그림을 그리는 것이 아닌, 3D 캐릭터를 제작하고 그 후 애니메이션 작업에 들어가는 것이다. 그러나 프리프로덕션 단계의 스토리 제작 및 스토리보드를 영상화하는 애니메틱, 디자인 등은 여전히 사람의 아이디어와 손을 거치고 있다. 애니메이션 작업의 키프레임을 잡는 것 또한 많은 인력이 소모된다.

AI가 생활화 된 시기의 애니메이터의 중요한 역할 변화는 애니메이터가 일일이 액팅을 하지 않는 것에서 출발한다.⁴⁾ 목표 위치와 실행되는 동작의 정확한 명령이 제공되면, Google 시스템은 일련의 이동 및 전환을 계산하여 원하는 상태에서 목표에 도달하는 GAN을 이용한 연구로 시그라프 2019년에 발표된 바 있다.

<Figure 23> Kim Kyu-hyun. He made an animation on the left using the photo on the right, Hongik University Newspaper Available at https://hiupress.hongik.ac.kr/news/articleView.html?idxno=3445 (2022)

배경 작업의 경우 LDM3D를 사용하여 제작 가능하다. 다른 AI 이미지 생성 툴과 마찬가지로 텍스트 설명을 통해 간단하게 모델링부터 텍스쳐맵까지 구현이 가능하다. 배경의 경우 애니메이션의 전반적인 분위기를 표현하기 때문에 중요하지만, 캐릭터에 비해 움직임이 없는 경우가 많고 하나씩 제작하기에는 많은 시간이 소요된다. 그러나 LDM3D를 이용한다면 간단한 프롬프트로 빠르게 제작할 수 있기 때문에 노동력이 크게 절감된다는 장점이 있다.

<Figure 24> Flasks that Support Image Creation and Motion Capture (2023)

또한 한국의 스타트업 기업인 ‘플라스크’에서는 스테이블 디퓨전을 기반으로 한 이미지 생성 툴인 ‘플라스크 생성 AI’ 툴과 모션 캡처를 지원한다. 웹 기반 플랫폼이므로 고사양 PC가 필요 없으며, 사용자들의 접근성을 높인다는 것에 장점이 있다. 또한 기존의 모션 캡처는 사람을 이용한 애니메이션을 얻어도 애니메이터의 손을 한 번 거쳐야 자연스러워지기 때문에 제작 공정이 다소 긴 반면, ‘플라스크’는 AI를 활용하여 더욱 자연스러운 애니메이션을 구사할 수 있기 때문에 애니메이터의 부담을 덜어준다는 또 하나의 장점이 있다. 국내에서 개발 후 입소문만으로 국외의 사용자들을 끌어들인 것은 단순히 AI를 활용할 수 있어서가 아닌, 그 서비스의 높은 품질에 있다.

<Figure 25> Courtesy of Intel. LDM3D Pipeline, Texture Map Made with LDM3D. Quoted by AI Times. Available at https://www.aitimes.com/news/articleView.html?idxno=151962 (2023)

캐릭터 움직임은 크게 몸의 움직임과 얼굴의 움직임으로 구분된다. 감독이 원하는 스토리 및 캐릭터들의 몸 움직임과 표정 및 립싱크가 필요하다. 여기서 AI를 적용한다면 애니메이터는 인공지능을 잘 이해한 상태에서 감독과의 꾸준한 피드백으로 인공지능이 완성한 애니메이팅을 클린업 하는 것으로, 노동의 강도를 확연히 줄일 수 있다. 앞서 2D 애니메이션 제작 프로세스에서 말한 것처럼 컨셉아트를 손쉽게 제작할 수 있다는 장점 또한 있다.

<Table 5>는 2D, 3D에서의 AI 활용 예시를 표로 정리한 것이다.

<Table 5> How to Use AI for Each Stage of Animation Production [Park and Park, 2023]

4. 애니메이션 교육과정에 적용 가능한 교과목 및 교수법 사례

4.1 제작 프로세스별 적용 및 교과목 운영

현재 이미지생성 AI의 빠른 발전과 도입은 거스를 수 없다. 이 흐름에 적응하고 활용가능 한 인재양성을 위해 이론과 실무를 통합적으로 학습하며 전공 특성화 전략을 활용하여 보다 실질적인 경험과 능력을 갖출 수 있도록 프로그램을 구성하고, 학제적 애니메이션 교육과정을 통해 기술융합역량과 프로젝트 중심역량을 갖춘 인력을 양성하는 프로그램을 개발하고 구축하는 것이 필요하다.

교육과정에 있어서는 빅데이터, 인공지능, 데이터 시각화 등의 시스템을 활용한 AI 적응형 콘텐츠 제작 교육과정을 운영하여 창·제작 및 기획·연구, 실무 능력을 가질 수 있는 교과목들이 다전공 융합적으로 구성될 수 있다. 또한, 이미지생성AI를 애니메이션학과의 기존 교과목 프로세스에 툴로 적용할 수 있는 교과목과 지속적으로 진화하고 급변하는 AI 기술에 대한 연구를 자기주도적 프로젝트를 통해 설계해 보는 프로젝트형 교수법을 대입한 교과목으로 새로이 개설하는 방향이 있을 것이다.

<Figure 26>의 그림은 애니메이션 제작 과정에서 AI툴을 활용할 수 있는 현 단계 예시 내용이다. 예시 항목에 해당하는 교과목을 유목화하여 각 교과목의 수행 프로세스에 AI를 적용하여 설계할 수 있다.

<Figure 26> Availability of AI Generated by Animation Production Process [Yoon and Park, 2023]

위의 가능성을 대입하여 볼 때 애니메이션전공 관련학과의 교과목은 이미지생성AI를 기존 교과목의 프로세스에 툴로 적용할 수 있는 교과목과 지속적으로 진화하고 급변하는 AI 기술에 대한 연구를 자기주도적 프로젝트를 통해 설계해 보는 프로젝트형 교수법을 대입한 교과목으로 새로이 개설하는 방향이 있을 것이다. 먼저, 기존 교과목에 AI 기술을 제작과정의 툴로 도입할 수 있는 교과목을 유목화 해 보면 다음과 같다.

<Table 6> Example of a Subject that can Introduce AI Technology among Existing Subjects in the Animation Department

기존 교과목에 이미지생성AI를 툴로 적용할 수 있는 교과목은 현재의 기술 발달 수준에서도 위의 예시 교과목 외에도 대부분의 교과목에 적용 가능하다.

또한, AI기술의 다양한 접근과 타제작 프로세스와의 결합적인 연구를 하면서 자기주도적 프로젝트형 교수법을 대입한 교과목은 아래와 같은 운영과정이 필요할 것으로 제안한다.

교수자는 참여자이자 퍼실리테이터의 역할로서 학생들과 함께 문제를 해결해 나가고 학생주도적으로 창의적인 프로세스를 개발해 나가고 결과를 도출 할 수 있어야 한다. AI기술은 빠른 진화와 함께 하루가 다르게 진화하고 있으며, 기존에 상용화된 프로세스를 단순 학습하는 것이 아닌 산업을 리드해 나가는 인재 양성을 위해 필요한 교수법이라 할 수 있다.

<Figure 27> Example of AI Technology Convergence Creator Module Project Type Course Operation

위와 같은 두 가지 형태를 포함한 교육과정을 정립하기 위해서는 필요한 역량을 재정립하고 그에 맞는 인재상을 도출하여야 한다. 애니메이션 콘텐츠의 원론적 제작 능력과 미학적 감각, 조형적 지식 기반의 판단력이 중요하다. AI를 활용하기 위해서는 주어진 프로젝트의 주제나 문제를 정확히 이해하고, 적절한 프롬프트를 활용할 수 있어야만 높은 수준의 결과물을 생성해낼 수 있다. 또한 AI의 결과물을 절대적이라 생각하기 보다는 AI에서 생성된 이미지 정보를 자신의 능력을 바탕으로 판단할 수 있어야 한다. 나아가 그 이미지를 그대로 사용하는 것이 아닌, 자신의 창의적인 아이디어와 기획, 연출 역량을 표현해 내고 판단하는 역량이 중요하다. 마지막으로 AI에 과도하게 의존하지 않고, 끊임없이 발전해 나가는 사회에 발맞추어 다양한 분야에 대해 학습하는 능력이 필요하다.

4.2 교과⋅비교과 적용 사례

<Figure 28>~<Figure 30>와 같이 동명대학교 시각디자인학과에서는 창업동아리 선배들 주도로 “ChatGPT와 생성 AI;”를 주제로 한 워크숍을 진행했다. 지난 2021 2학기 팬데믹 상황을 고려하여 비대면 강좌로 메타 버스플랫폼 활용 수업을 했다. 나아가 2022년 한국콘텐츠진흥원의 AI연계 콘텐츠 창작자 양성과정을 진행하여 학생들이 AI 활용을 더 적극적으로 할 수 있는 환경을 제공했다. 전공생들은 이미 협업툴과 기본적 AI 활용에 익숙해졌다고 한다.

<Figure 28> Department of Visual Design, Dongmyeong University, Character Design Using Stable Diffusion. Official Facebook Capture of Department of Visual Design, Dongmyeong University. Available at https://www.facebook.com/tuvisualdesign/ (2023)

<Figure 29> AI Seminar with Dongmyeong University’s Department of Visual Design and Entrepreneurship Club I-scape as speakers. Official Facebook Capture of Dongmyeong University’s Department of Visual Design. Available at https://www.facebook.com/tuvisualdesign/ (2023)

<Figure 30> Dongmyeong University’s Department of Visual Design makes a name tag with your identity with AI-linked 2D graphics. Official Facebook Capture of Dongmyeong University’s Department of Visual Design. Available at https://www.facebook.com/tuvisualdesign/ (2023)

해외 대학 FSU의 CIO 조나단 포자드는 “대학이 하는 거의 모든 일이 IT의 지원을 받아야 한다”고 언급한 바 있다. 여기서 IT 부서는 광범위한 AI를 사용하고 있다. 단순히 AI를 수치 분석이나 자료 제공에만 활용 하는 것이 아닌, 콘서트이나 이벤트 센터 등 엔터테인먼트와 관련된 부서에서도 사용한다는 것이다. 영국이나 핀란드의 경우 중고등학생 시절부터 AI 윤리 및 사회적 책임에 대한 심층적인 연구를 진행하며 그에 따른 토론도 진행한다. 국내의 경우도 AI를 활용하는 것에 그치는 것이 아닌, 윤리적인 면도 고려해야 한다.

<Figure 31>, <Figure 32>는 호서대학교 애니메이션 학과의 ‘AI Creation Lab’은 아산문화재단에서 주최한 청진기(청년이 진심으로 원하는 기획사업)사업에 AI를 활용한 반응형 애니메이션을 제작하여 참가한 자료이다. 위의 작품<미대생이라도 연애가 하고 싶어>는 배경 및 캐릭터 일러스트, 음악 작곡 등 다양한 AI 플랫폼을 활용하여 만든 게임애니메이션이다. 뿐만 아니라 참여자는 얼굴 인식을 통해 나만의 AI 캐릭터를 생성할 수 있으며, 이는 플레이어블 캐릭터가 있는 기존의 게임과 달리 더욱 몰입할 수 있는 요소로 작용하였다.

<Figure 31> Hoseo University’s animation department, citizen-participating AI responsive animation production, and Asan Cultural Foundation’s "Stethoscope" support project was selected (2023)

<Figure 32> Hoseo University’s animation department, character illustrations and game promotional videos (submitted to the "Chungjingi" project and contest) created by models that have learned their own paintings (2023)

나아가 비교과 활동으로 AI Creation Lab 에서는 AI에 익숙지 않은 재학생들을 대상으로 온라인 특강을 진행하여 AI 접근성을 낮출 수 있는 계기를 마련했다. <Figure 33> AI 툴의 종류와 그에 따른 특징 및 활용 방안을 설명함으로써 애니메이션 제작 공정을 단축할 수 있는 방법을 제시했다. 그 외에도 AI 플랫폼의 팀프로젝트를 지속적으로 진행함으로써 시대에 걸맞는 프로젝트 역량 향상을 통한 결과물 제작과 인재 양성을 가능케 하고 있다.

<Figure 33> Hoseo University’s Animation Department Conducted a Special Lecture on how to use AI for Animation Production (2024)

학생들의 요구와 만족도를 조사하는 서포터즈 조사 결과(2023~2024) 애니메이션학과 학부생들은 기획 단계 및 컨셉아트 구현, 메인 프로덕션 과정에서 AI를 활용하고 싶다는 답변이 있었다. 또한 실제로 콘텐츠를 제작하는 데 AI를 활용하여 퀄리티 있는 결과물을 도출하기 위해서는 데이터 기반 이미지 생성의 원리와 융합적 문제해결 역량 및 운영방식에 대한 변화가 필요하다고 답변했다. 위의 요구와 사회적 변화를 반영하여 교육과정을 개편한 후에는 교육과정에 대한 평균 만족도가 전반적으로 상승하였다.

<Figure 34>와 같이 이미지생성AI는 ‘매트페인팅’ 교과목의 수행에 적절히 활용할 수 있다. 이는 학생들이 AI를 단순히 활용하는 것에서 그치는 것이 아닌 창작물의 과정에서 새로운 창작물의 베리에이션을 뽑아 가며 원하는 이미지를 생성시키는 것에서 의의가 있다. ‘머릿속에서 떠오른 이미지를 리서치하여 합성하는 것 보다 원하는 키워드를 AI로 정확히 생성하였기 때문에 제작 시간 자체는 오히려 짧았다. 평소 작업에 비해 레퍼런스 준비가 빨리 끝났으며, 따라서 이미지를 배치하고 합성하는 과정에서 더 시간을 쏟을 수 있어 좋았다.’는 후기들이 있다. 이처럼 학생들이 매트페인팅 수업의 더 나은 결과물을 낼 수 있는 경험을 한 것이다. 이미지생성AI는 언젠가 우리에게 가장 익숙한 ‘도구’로써 존재할 것이며, 이는 궁극적으로 더 나은 결과물을 창출할 수 있는 계기가 될 것으로 기대된다.

<Figure 34> Hoseo University Department of Animation, Matte Painting Process Using AI (2024)

<Figure 35> Hoseo University’s Department of Animation, a Photo of Issuing NFTs in a "Web-Based Platform Research" class (2024)

‘웹기반 플랫폼 연구’ 수업에서는 이미지생성AI 플랫폼을 활용하여 캐릭터, 일러스트, 웹툰, 애니메이션, 작곡 등의 작품을 제작한 후 창작물을 생산하는 것에서 그치지 않고, 디지털 자산으로 변환시키는 ‘NFT’ 발행 과정까지 진행했다. 이를 통해 학생들은 AI를 활용하되 저작권 보호 의식과 가치 평가에 대해 알 수 있는 기회를 가지게 되었으며, 자신의 그림을 ‘자산화’ 시킬 수 있었다. ⁵⁾이는 실제 시장에서 자신들의 작품을 어떻게 가치 있게 만들고, 판매할 수 있는지에 대한 중요한 계기라고 할 수 있다. 그림을 창작하는 데에는 그 시대의 흐름을 읽는 것이 매우 중요하다고 할 수 있다. 따라서 본 교과의 활동은 학생들의 그림을 단순히 자산화를 시키는 것이 아닌, AI시대 창작물의 제작 방법과 저작권, 시장의 흐름을 읽는 눈을 기르는 데에 도움이 되었다고 볼 수 있다.

5. 기대효과 및 활용방안

본 연구에서는 이미지생성 AI를 중심으로, 콘텐츠 산업 생산공정의 변화에 따라 요구되는 인재상의 변화를 정리하여 보고, 이를 반영하여 운영한 대학의 애니메이션 콘텐츠 관련 학과의 교과·비교과적 측면의 교육 적용 사례를 제시하였다. 대학의 교육과정과 교육적 활동은 현재의 동향을 반영할 뿐만 아니라 학생들이 졸업 후 능력을 펼치게 될 4년~7년 후의 사회변화를 담보하여야 하며 변화된 사회상을 이끌어갈 주도적인 인재를 배출할 수 있어야 한다. 따라서 본 연구에서는 환경분석을 통해 애니메이션 콘텐츠 산업의 동향을 3단계로 분석하고 대학의 애니메이션 콘텐츠 관련 전공학과의 인재상의 재정립과 발빠른 교육으로의 도입을 통해 AI 적응형 콘텐츠 인재 배출의 필요성을 제안하였다.

또한 연구자가 속한 대학의 애니메이션학과 AI적용 교과·비교과 사례를 제시하며 기술융합역량, 프로젝트 중심 역량을 기준으로 교수법 적용의 결과물을 제시하였다. 이를 통해 현재 산업공간에서 적용되고 있는 효율적인 AI 콘텐츠 개발 시스템에 투입될 수 있는 가능성과, 향후 다양한 AI시스템을 활용하여 기술적, 관리적 역할 수행을 할 수 있는 애니메이션 콘텐츠 인재양성을 위한 교육의 필요성을 통해 인재 배출의 가능성을 제안하고 타 교육기간으로의 확장성을 기대할 수 있다. 콘텐츠 장르 간의 벽을 넘어설 수 있는 기술융합적인 이미지생성 AI의 전문가 양성을 통해 콘텐츠 산업을 주도할 수 있는 인재 공급처로써의 대학의 위상을 갖추고 그 적용사례를 제시함으로써 초석 연구의 틀을 마련하는 것이 본 연구의 목표이다. 결론적으로, AI 적응형 콘텐츠 인재 양성을 위한 융합 인재 배출을 목표로 기술융합역량, 프로젝트 중심 역량을 통해 가치 창출을 위한 교육의 적용을 촉구한다.

현재 급속도로 확산되는 이미지 생성AI기술의 발달과 산업현장의 적용 속도에 비해 사회적 인식 및 저작권에 대한 고민으로 교육적 적용에 대한 연구는 기술의 확산세에 비해 저조하다. 따라서 본 연구를 초석으로 하여 교육 방법론적 탐구 및 교육과정의 설계, 교수법의 적용, 비교과적 활동, 전공간의 융합 및 연계 등의 연구로 확장 및 활용될 것을 기대한다. 또한 이를 통해 청년취업률을 향상시키는데 기여할 수 있을 것이라 기대한다.