A Study on the Evaluation Factors of Teaching Learning in the Planning of Cultural Contents by Using PBL

PBL 접목한 문화콘텐츠 기획의 교수학습 평가 요소 연구

Abstract

This study sought to explore the enhancement of the introduction of teaching and learning methods for Problem Based Learning (PBL) and the evaluation factors to evaluate them effectively through an understanding lecture in Cultural Content Planning. It was intended to incorporate a practical zero-volume education methodology of problem-oriented learning and sufficient leading learning to reflect storytelling in the entire process of completing a cultural content with culture, cultural content, and content planning. To this end, the role of teaching methods should be faithful to ensure that teamwork and cooperation can be done organically according to the educational field, practice and situation. Students who take classes were asked to meet demand, reflect it through surveys, apply real-world problems, and acquire the entire course. Learners had to cooperate with each other until planning cultural content and completing the results through classes, and they evaluated themselves and colleagues in teamwork until the last result was completed from creative ideas. The results were shared together and the students were able to investigate the necessary PBL evaluation factors for themselves, and the prior research and survey on the method of PBL evaluation was conducted to derive the factors of understanding of cultural content planning. The derived assessment elements were able to identify priorities between the assessment elements using basic statistics, word cloud analysis, and AHP analysis. The components of the assessment derived were communication skills, basic knowledge, reasoning process, expertise, and evaluation techniques. Through this article, I was able to lead the understanding of cultural content planning to problem-oriented learning classes and encourage students to be familiar and smooth.

본 연구는 문화콘텐츠기획의 이해 강의를 통해 PBL(Problem Based Learnign)을 위한 교수 및 학습 방법 도입의 제고와 이를 효과적으로 평가하기 위한 평가요소에 대해 살펴보고자 하였다. 문화와 문화콘텐츠 그리고 콘텐츠기획으로 학습자들에게 하나의 문화콘텐츠가 완성하기까지의 전 과정에서 스토리텔링이 반영되도록하기 위한 충분한 주도적 학습과 문제 중심 학습의 실용적인 교육방법론을 접목하고자 하였다. 이를 위해 교육현장과 실무, 상황에 따라 유기적으로 팀워크와 협력을 잘 할 수 있도록 교수법에 대한 역할은 충실해야 한다. 수업을 듣는 학생들에게 수요를 충족시키고, 이를 설문을 통하여 반영하며 현실 문제를 적용하고, 수업 전 과정을 습득하게 하였다. 수업을 통해 문화콘텐츠를 기획하고 결과물을 완성하기 까지 학습자들은 서로 협력해야 했으며, 창의적인 아이디어로부터 마지막 결과물이 완성되기까지 팀워크에서 스스로 평가와 동료를 평가를 실시하였다. 그 결과를 함께 공유하고 학생 스스로에게 필요한 PBL평가 요소를 조사할 수 있었고, PBL평가방법에 대한 선행연구와 설문 조사를 통해 문화콘텐츠기획의 이해 과목의 평가요소를 도출해 낼 수 있었다. 도출한 평가요소는 기본통계와 워드클라우드분석, AHP분석을 사용하여 평가요소간의 우선순위를 확인해볼 수 있었다. 도출된 평가요소는 소통능력, 기본지식, 추론과정, 전문성, 평가기술이었다. 본 글을 통해 문화콘텐츠기획의 이해과목을 문제중심학습 수업으로 이끌고, 학생들에게 익숙하고 원활한 수업이 될 수 있도록 유도할 수 있었다.

Ⅰ. 서론

4차 산업혁명 시대 미래형 인재를 양성하기 위한 노력으로 21세기 핵심역량을 키워야 한다. 우리나라는 현재 STEAM 교수 모형에 집중하고 있다. STEAM의 교육목표는 창의·융합형 인재 양성(why)의 6가지 '핵심역량' 함양을 강조하여 루브릭 평가를 적용하고 있다. 그러므로 학습자 중심의 교수-학습방안과 평가 패러다임의 변화에 따른 인식 변화에 대처하고 실천해야 한다. 이러한 문제해결능력을 키우기 위하여 다양한 교육의 평가방법이 연구되고 있다 [1]. 또한 과거의 획일적 인재양성에서 벗어나 다양한 분야와 방법으로 인재를 교육하고, 학생의 잠재력을 공정하게 평가하기 위한 연구가 많이시도 되고 있다. 특히 기술이 빠르게 변화하는 환경 격변의 시대에 미래를 대비하기 위한 교육 방향과 함께 학생의 잠재력을 이끌어내면서 공정하게 평가할 수 있는 평가방법에 대한 연구가 요구된다. 여기에 적합한 교수방법이 바로 PBL(Problem-Based Learning)이다. 또한 PBL은 학습에 대한 이해, 협동학습, 실제적 경험, 창의적 문제 해결 능력, 프레젠테이션 실력, 의사소통능력, 자기주도적 학습 능력, 자신감과 같은 효과가 강조된다[2].

뿐만 아니라 문화콘텐츠에 대한 이해와 기획능력은 현대사회에 요구되고, 실질적 환경에서의 학생들에게 문제를 발굴하고 이를 해결해 나가는 과정을 통해 자기주도적 학습과 창의적인 문제를 해결을 할 수 있다. 이러한 학습은 앞으로 학생들이 학교에서 졸업하고 난 후 사회에 나가서 실무에 투입되었을 때 조직적 활동을할 때도 필요한 능력이다.

문제 해결 과정과 그 결과를 프리젠테이션하면서 다른 팀을 직접 평가하고 동료들을 평가하는 과정은 퍼포먼스를 더욱 강화시키는 결과를 볼 수 있었다. 그러므로 PBL(Problem-Based Learning) 활동시간을 가지면서 스스로 협동 의식과 책임감, 리더십이 강해지는 학생들을 볼 수 있었다.

따라서 본 연구에서는 PBL 교수 방법을 적용한 문화콘텐츠기획의 이해수업의 평가요소 도출을 토대로 동료평가요소를 도출하고자 한다.

Ⅱ.이론적 고찰

콘텐츠 산업의 발전과 콘텐츠 향유권의 확대는 치열한 경쟁이 벌어지고 있는 세계 상황 속에서도 국민 개개인의 능력을 키우고 잠재력이 창조적으로 발현될 수 있는 바탕이 될 수 있으며, 콘텐츠는 문화와 사회, 문화와 경제, 문화와 창조성 간의 밀접한 관계를 맺고 있다. 또한 콘텐츠 리터러시나 문화예술 관련 교육을 통해 문화 생산자와 소비자의 양성뿐만 아니라 일반 시민들의 창의성, 적응력, 관용성을 기르는 데 중요한 역할을 한다[3]. 콘텐츠의 문화적 가치와 기능 측면에서 볼 때 미적, 정신적, 사회적, 역사적, 상징적, 행복가치에 대해 연구된바 있다[4]. 이때 본 연구의 수업은 사회구성원들과의 소통 활성화에 기여와 타인과 타 문화에 대한 이해 증진을 위한 기능 측면을 염두할 수 있었다. 교육적으로 질 좋은 콘텐츠에 기반한 산업 육성과 이를 뒷받침할 수 있는 문화콘텐츠 기획하는 강의 연구와 이를 평가하기 위한 요소 대한연구는 아직 부족하였다.

1. 문화콘텐츠

이혜경(2010)은 유무형의 문화유산이 우리가 지금 누리는 콘텐츠의 산실이자 보고가 될 수 있다는 사실을 누구나 예측할 수 있다고 한 바 있다[4]. 그리고 문제는 이를 어떻게 누가 발굴하는 것이냐며, 문화콘텐츠가 고부가가치를 창출하기 위해서는 무엇보다 콘텐츠의 질적 수준이 우수해야 한다고 주장하였다. 문화콘텐츠의 관점에서 그 수혜자의 범위를 확산시키는 일도 중요하고, 이를 문화복지(culture welfare)나 접근성(access)의 개념으로도 해석할 수 있다는 정책 측면의 연구도 있다[5].

이처럼 우수한 창의력을 기반으로 고부가가치를 창출할 문화콘텐츠는 그 문화의 특색을 잘 반영하고, 콘텐츠와 스토리텔링뿐만 아니라, 인류 보편적 문화와 언어를 초월할 수 있는 미래 문화유산으로써 이를 기획하고 만들기 위한 교육은 계속적으로 연구되어야 하겠다. 또한 문화콘텐츠는 한류와 같은 문화의 글로벌화를 통해 문화교류의 활성화에도 기여를 하고 있기도 하기에 질적 우수성을 위한 미래 콘텐츠 창출을 위해 교수학습 방법의 시범적 연구와 도전, 재교육이 필요하다.

관련해서 기존 연구자료에서 말하는 문화콘텐츠의 정의는 문화, 예술, 학술적 내용의 창작 또는 제작물 뿐아니라, 창작물을 이용하여 재생산된 모든 가공물 그리고 창작물의 수집, 가공을 통해서 상품화된 결과물들을 모두 포함하는 포괄적 개념[6]이라고 하고, 인간의 감성, 창의력, 상상력을 원천으로 하여 문화적 요소가 체화되어 경제적 가치를 창출하는 문화상품, 즉 영화, 게임, 애니메이션, 비디오, 방송, 음반, 캐릭터, 만화, 공연 등[7]이라고 할 수 있다.

그 외 문화콘텐츠에 대한 다양한 정의와 여러 연구들을 통해 정의된 바 있다. 이에 창의적이고 주도적 학습에 대한 교수법이 문화콘텐츠 수업과 함께 접목하여 연구한 이유를 더 하자면 문화는 경제활동의 대상으로 삼아 산업화되고 문화 산업(cultural industries)이라고 말하는데, 문화 산업은 예술문화 작품을 상품이나 재화의 형태로 일반 대중의 수요에 맞게 상품과 서비스를 대량으로 생산, 유통, 소비시키는 시장거래의 모든 활동과 현상을 창출하는 것이다. 문화와 산업, 그리고 예술 작품, 생산과 유통, 소비, 시장 등 다양한 과정과 활동이 융합되어질 높은 고부가가치를 가지는 문화콘텐츠로 창출되는 것이다. 융합적 교육, 창의적 사고와 자기 주도적학습, 그리고 미래지향적이고, 협력이 기초가 되어야 하는 수업이 되어야 한다는 이유는 공감되어질 것이다. 또한 온·오프라인 영역에서 사람들이 지적. 정서적으로 향유하는 모든 종류의 무형자산을 포괄적으로 지목하는 것으로 문화콘텐츠의 개념을 확장하고있기도 하다[8].

급변하는 시대에 살고 있는 가운데 이처럼 온 오프라인 영역에서 콘텐츠로써 시대를 반영하는 자산으로 창출해야 한다는 것이다. 문화란 한 사회의 구성원들이 공유하는 인지, 행동, 관습, 가치, 규칙 및 상징들의 체계로서[9], 사람들이 사고하고, 느끼고, 행동하는 방식을 말하고[10], 사람들이 일정한 시대와 장소에서 집단으로 살아가며 발생한 생활양식이나 사고방식을 말한다. 즉, 문화가 규정하는 범주는 시간과 공간 그리고 인간이 사고하고 행동하는 삶의 방식이라고 할 수 있다. 문화라는 용어 자체는 다양하고 포괄적으로 사용되며 학자마다 문화를 정의하는 방식도 다르다.가장 널리 통용되는 정의로 문화란 인간이 사회적 성원으로서 습득한 지식, 신앙, 예술, 도덕, 법률, 관습 및 기타 모든능력과 습관을 포괄하는 복합적총체라고 정의했다[11].

또한 콘텐츠란 인터넷이나 컴퓨터 통신 등을 통하여 제공되는 각종 정보나 그 내용물.유·무선 전기 통신망에서 사용하기 위하여 문자·부호·음성·음향·이미지·영상 등을 디지털 방식으로 제작해 처리·유통하는 각종 정보 또는 그 내용물을 통틀어 이른다고 정의[12]된 것처럼 디지털 변혁(digital transformation)을 미래콘텐츠의 중요한 요소로 언급하고 음악, 신문, 책, 텔레비전, 영화, 광고, 교육의 세계에서 변화하고 있다고 주장한 사람도 있다 [13].

이처럼 문화콘텐츠는 시공간을 뛰어넘어 인간이 사고하고 협력하고 과정과 노력의 결과물들이 종합되어 나오는 결과물인 것이며, 사람과 사람 사이에 협업과 학습의 과정에 대한 단계별 노력이 그만큼 연구결과의 질을 높일 수 있는 것이 사실이다.

2. PBL

PBL(Problem-Based Learning)은 대학 교육에서 창의적으로 문제를 해결할 수 있는 역량 양성이 강조되면서, PBL과 같은 학습자 중심의 교수·학습 방법이 이를 위한 유용한 방법론 중 하나이다 [14]. PBL은 “학습자에게 실제적인 문제를 제시하고, 제시된 문제를 해결하기 위해 학습자들이 함께 문제해결 방안을 강구하고, 개별학습과 협동학습을 통해 공통의 해결안을 마련하는 일련의 과정에서 학습이 이루어지는 학습방법”이다[15]. PBL활동에서 제시되는 보통 학습자 개인이 해결하기 어려운 매우 “실제적이고 비구조화된 형태”로 제시되기 때문에, PBL은 그룹으로 이루어지는 것이 일반적이다. 즉 여러 명의 학생이 하나의 그룹을 이루고, 이 그룹이 주체가 되어 제시문 문제를 해결해 나가는 것이다[15].

한편 PBL은 실제적 문제 해결을 통해 학습자의 능동적 학습을 촉진시키기 위한 학습자 중심의 교수·학습방법으로 실제적인 문제를 제시하여 학생들이 상호간의 공동으로 문제 해결 방안을 강구하고, 개별 학습과 협동 학습을 통해 문제 해결안을 마련하는 교수·학습방법이다. 즉 PBL은 추상적이고 더 넓은 문제를 해결하기 위한 하나의 전략을 중심으로 하지만, PBL은 보다 좁고 구체적인 문제의 상황을 제시하는 방법이라 할 수 있다.

실제 수업을 맡고 있는 교수자에 따라 평가 방법에 차이를 가지고 있으며 평가주체로 참여하게 된다. 이는 전통적인 평가방법과는 달리 학습자의 참여와 문제를 해결해 나가는 과정까지 평가의 내용에 포함이 된다. 이에 대다수의 PBL을 적용한 강좌에서는 교수자의 평가인 튜텨평가뿐만 아니라 자기 평가, 동료평가, 포트폴리오 평가 등을 실시하고 있다[16]. 그러나 아직 PBL 수업이 대학교육에 들어온 시기가 짧아 교수자들의 수업 방법과 평가방법에 대한 근거의 고찰이 부족한 실정이다. 이에 대하여 본 연구가 개선안을 마련하기 위한 발판이 될 것이다.

김성자(2019)는 문제중심 학습(PBL)에서 팀 기여도중심의 자기평가· 동료평가의 관계 및 평가 준거를 대학에서 역사교육을 중심으로 학생들은 자기 평가·동료평가를 위해 책임 있는 역할 수행, 성실성, 적극적 참여와 의견(피드백) 제공, 협력, 타인존중과 수용적 태도, 리더로서의 역할을 준거로 활용하고 있었음을 밝혔다[17].

장경원(2015)은 대학 수업을 위한 ‘팀 기반 개별 문제해결학습’에 대한 연구에서 팀 활동의 단점을 극복하고 문제 해결학습의 강점을 살릴 수 있는 ‘팀 기반 개별 문제해결학습’의 방법과 결과를 소개했다[18]. 여기서 팀 기반 개별 문제해결학습이란 개별적으로 중요한 과제를 해결하지만, 팀 활동을 통해 팀원들의 과제를 함께 논의하는 것이다. 이 연구의 결과로 팀 기반 개별 문제해결학습은 대학 수업에서 개인이 책임감 있게 학습에 참여하면서 팀 활동을 통해 습득할 수 있는 문제해결능력, 의사소통 능력, 대인관계 능력 등을 함양할 수 있는 효과적인 교수학습 방법인 것이다. 다음은 대학에서 PBL을 적용한 선행연구를 정리한 표이다.

표 1. 대학에서 PBL을 적용한 선행연구

3. 루브릭

본 연구에서는 문화콘텐츠 기획의 이해 수업에 적용하는 PBL 수업을 위하여 학생들의 평가 기준한양대학교 PBL센터에서 제공하는 평가루 브릭을 선행연구 자료를 기반으로 전문가그룹 인터뷰 및 E대학교 문화콘텐츠기획의 이해 수업을 듣는 학생들에게 ‘평가요소’를 선택할 수 있도록 설문조사를 진행하여 결과를 재구성하였다. 재구성한 평가루 브릭은 문화콘텐츠 기획의 이해 PBL 동료평가지로 [표5]와 같다.

표 5.문화콘텐츠기획의 이해동료평가 루브릭

가장 낮은 항목인 리더십을 제외하고 1순위부터 5순위까지 상위 순서대로 루브릭을 도출하여 각 평가 항목을 상, 중, 하로 나누어 각 요소의 평가 수준을 제시하였다. 이는 한양대학교 PBL센터에서 제공하는 평가 루브릭 중 팀워크 평가기준표 루브릭과 문제중심학습(PBL)에서 팀기여도 중심의 자기평가·동료평가의 관계 및 평가 준거를 인용하여 제시하였다[19].

4. AHP(Analytic Hierarchy Process)

AHP 분석 기법은 1970년대 초펜실베니아 대학의 Saaty 교수가 개발한 다기준 의사결정 방법론으로 가장큰 특징은 복잡한 문제를 계층화하여 여러 단계의 요인들로 분해하고 이들 요인들에 대한 쌍대비교(pairwise comparison)을 통해 중요도를 도출하는 방법이다. AHP 분석기법은 ① 계층적 구조설정, ② 상대적 중요도(weithing) 부여, ③ 논리적 일관성(consistency) 가정이라는 세 가지 전제원리를 바탕으로 이루어져있다. 이러한 전제원리에 따라, 계층적 구조 속의 여러 요인들은 각각 상호 비교가 가능해야 하며, 상호 독립적이어야 하며, 또 상호 비교의 결과는 정해진 기준들에 의해 표현됨으로써 쌍대비교가 가능해지게 된다[20]. 이러한 특 징적 이유로 정부 연구사업과 여러 정책결정우선순위에서 활용되고 있는 방법이다. 본 연구에서도 AHP방법을 수행한 이유는 평가요소 별로 상대적 중요도와 논리적으로 요소별 가중치를 통해 우선순위를 도출하기 위해서이다. AHP 분석과정 및 절차는 다음과 같다.

그림 1. AHP분석 과정 및 절차[21] (저자 재구성)

5. 워드클라우드

워드클라우드(Word cloud)는 대표적인 텍스트 시각화 기법 중 하나이다. 그래프의 형태도 텍스트와 같은 비정형 데이터를 시각화하는 것은 매우 어렵고 또한 직권적이라는 시각화의 효과를 기대하기 어렵다는 단점이 있다[22]. 워드클라우드는 빈도에 따라 문자의 크기를 결정함으로써 텍스트에서의 해당 키워드의 빈도를 직관적으로 알아차릴 수 있도록 한 것이 특징이다. 워드클라우드는 키워드 분석시에 가장 많이 적용되고 있으며 대표적인 사례로 SNS의 키워드 분석이 있다[23].

6. 교수연구절차

본 수업연구에서 접목한 PBL단계는 총 8단계이며 각 단계별로 문화콘텐츠 기획을 위한 문제 발굴과 해결, 발표, 평가를 수행하였다. 문제제시-문제확인-과제수행계획수립-자료수집-개인학습, 팀별 학습-해결방안도출작성-발표-정리평가의 단계를 거쳐 각 팀 단위의 토의와 토론, 계획, 공유, 피드백, 다양한 형태의 탐색활동 등이 이루어지도록 교수는 지도하였다. 발표를 위한 콘텐츠와 발표 시나리오, 효과적 발표를 위한 역할 분담 및시각적 효과를 위한 소품 준비 등 각 단계별 활동이 PBL 내용에 대한 개념이해와 그 이해를 적용하는 학생의 능력을 증명하는 과정에서 자기 평가, 동료평가, 팀평가를 하고, 학생들이 수업에서 했던 활동과 학생들의 성취 수준에 대한 증거자료들을 통해 발표를 평가하도록 하였다. 그 단계를 그림으로 설명하면 다음과 같다.

Ⅲ. 문화콘텐츠 기획의 이해 강의에 PBL수업의 적용을 위한 평가 요소

PBL을 기반으로 하고 있는 본 연구에서는 동료평가를 주요 소로 연구하였다. 동료평가는 학생들이 동료 학생들의 수행능력을 직접 평가하도록 하는 평가 방식이다[24]. 동료 평가는 평가의 주체와 대상에 따라 크게 두 가지로 구분된다. 첫째는 팀 외부의 동료들에 의해 이루어지는, 학습 결과물에 대한 평가이다. 둘째, 팀 내부의 동료들에 이루어지는 팀 활동에 대한 참여도 및 기여도에 대한 평가이다[25].

1. 설문조사 개요

본 조사는 2019년 10월 30일부터 11월 10일을 E대학교 문화콘텐츠 기획의 이해수업을 수강하는 80명의학생을 대상으로 진행하였다. 온라인 설문지를 이용하여 설문을 실시하였다. 문항은 명목 척도와 Likert 5점척도(1=전혀 그렇지 않다, 2= 잘 모르겠다, 3=보통이다, 4=비교적 그렇다, 5=매우그렇다)로 중요도를 측정하는 문항 및 응답자의 의견을 자유롭게 적을 수 있는 개방형 주관식문항, 우선순위 조사에 대한 문항(3=매우중요, 2=중요, 1=보통, 1/2=중요하지 않음, 1/3=전혀 중요하지 않음), 인구통계학적 정보를 묻는 문항 등을 포함하여 총대분류로 13문항을 제시하였다. 설문조사에 사용된 변수들의 측정도구에 대한 신뢰도와 타당성을 분석하기 위해 크론바츠 알파계수로 내적일관성이 있는지 확인한 결과 크론바흐 알파값은 0.7 이상인 경우 도구 측정 문항이 신뢰적인 것으로 보는데 본 설문조사는 Cronbach’alpha 계수가 0.814로 내적 일관성을 입증하였다. 그리고 우선순위 분석은 비일관성 비율이 0.1미만으로 타당성 검증 기준을 만족하는 데 본 조사는 비일관성 비율이 0.05로 타당성이 입증되었다.

표 2. 설문항목 구성

2. 연구방법

본 연구는 E대학교 문화콘텐츠 기획의 이해 수업을 수강하는 80명의 학생을 대상으로 진행하였다. PBL팀구성 방법은 같은 전공 학생들로 무작위 추첨하여 나누었으며 이는 E대학교 포털사이트 시스템을 이용하였다. 팀별 주제는 조별회의를 통해 결정된 주제를 선정하였으며, [그림 2]와 같이 진행하였다.

그림 2. 문화콘텐츠기획의 이해 PBL단계

문제중심 학습의 평가는 구성주의 교육철학을 따르기 때문에 결과로서 지식이나 행동이 아닌 지식의 활용 및 발견, 인지 전략과 같은 고등정신능력이 평가의 대상이 된다. 문제중심 학습이 지식뿐만 아니라 문제해결능력, 협동학습 능력, 비판적 사고능력 등과 같은 여러 고등사고 능력과 기술을 활용하므로 이를 함께 평가할 수 있어야 한다는 것이다 [26]. 동료평가요소를 도출해내기 위해 자신이 생각하는 평가요소에 관하여 설문조사를 하기 앞서 선행연구에서 대학에서의 PBL수업 중요도는 과제를 함께 논의하는 수업의 특성상 문제 해결능력, 의사소통능력, 대인관계 능력 등을 함양하기 위해 역할수행, 성실성, 적극적 참여와 의견(피드백) 제공, 협력, 타인 존중감과 수용적 태도, 리더로서의 역할을 준거로 활용하였다.

또한 미래 전문인재 육성을 위해 학생들이 문제를 발견하고 창의적으로 해결하기 위한 능력을 갖출 수 있도록 수업 연구를 하였다. 혁신적 미래교육으로써 목표 달성하는 데 큰 시사점을 준다. 또한 PBL수업을 접목을 시도하는 교수법에 효율적이고 효과적인 평가요소를 연구하고 수업에 적용하였다.

선행연구와 전문가그룹 인터뷰를 통해 최종 도출된 동료 평가요소에 대한 설명은 다음과 같다.

의사소통 능력은 정확한 용어와 발음 및 절차를 사용하여 토론과 관련한 정보를 전달하는 평가요소이다. 기본지식은 토론을 위해 탐구된 지식을 기반으로 정보를 명확히 하는 질문이나 답변 등의 학습 문제를 개발하기 위해 지식의 한계를 인식하고 사례에서 모든 관점을 확인하고 통합, 강의, 연구를 위한 평가요소를 뜻한다. 추론과정은 탐구를 통해 얻은 정보와 지식을 바탕으로 가설을 생성하고 수정하며 문제를 이해하여 비판적 사고를 함양하는 평가요소이다. 전문성은 토론을 위한 자세라 보았다. 이는 타인을 존중하는 태도로 개별 의무에 대한 책임을 다하는 전문성의 평가요소이다. 평가기술은 자신의 강점과 약점을 정확하게 평가하며 공개적인 피드백과 평가를 기반으로 행동을 수정하는 기술 능력의 평가요소이다. [표 3]은 Indiana University의 PBL 학생평가표를 본 연구에서 재작성하여 동료 평가요소를 도 출하였다.

표 3. 동료평가요소

이를 근거로 문화콘텐츠 기획의 이해학생들에게 평가요소를 도출할 수 있었다. 이후 전문가그룹 FGI 실시하고, [표 2]와 같이 의사소통 능력, 기본 지식, 추론과정, 전문성, 평가기술을 뽑았다. 전문가 인터뷰를 통해평가 기준을 확정할 수 있었고, 설문 문항을 최종 설계하였다. 조사분석 방법은 온라인 서베이몽키프로그램을 사용하였으며, 기본통계 분석 및 AHP와 워드클라우드 분석을 하였다. E대학교 문화콘텐츠 기획의 이해 수업을 듣는 80명의 학생들에게 PBL평가요소와 동료평가요소를 도출하기 위한 설문조사를 하였고 결과는 다음과 같다.

표 2. 설문항목 구성

3. 분석 결과

본 연구에서 여러 근거타당한 평가항목 중 학생들에게 평가요소를 도출할 수 있도록 설문조사를 하였다. [그림 2]와 같이 소통 능력, 기본 지식, 추론 과정, 전문성, 평가기술을 뽑았다.

이 설문조사를 한 결과 소통 능력이 중요하다고 응답한 학생을 Weighted Average로 계산한 결과 0.454의 결과가 나왔고 기본 지식은 0.171 추론 과정은 0.169, 전문성은 0.135, 평가기술은 0.071로 나타나 기본지식과 추론 과정은 거의 차이가 없음을 볼 수 있다. 이를 근거로 동료평가 평가요소를 설문조사를 통해 도출하였고 이는 [그림 3]과 같은 결과를 볼 수 있다.

그림 3. PBL 평가요소

[그림4]와 같이 성실성, 협력, 책임 있는 역할 수행, 타인존중 및 수용적 태도, 적극적 참여와 의견(피드백) 제공, 리더십 순서대로 도출할 수 있었다. 이는 E대학교 학생들이 가장 중요하다고 생각하는 평가항목은 ‘성실성’과 ‘협력’ 부분인 반면 가장 낮게 생각하는 평가 요소는 ‘리더십’인 것을 알 수 있다.

그림 4. 소분류 평가요소

이를 기반으로 동료평가를 위한 평가지를 [표 4]과 같이 도출해 내었다.이는 PBL 수업 동료평가 평가지 루브릭이다. 가장 낮은 항목인 리더십을 제외하고 1순위부터 5순위까지 상위 순서대로 루브릭을 도출하여 각 평가 항목을 상, 중, 하로 나누어 각 요소의 평가수준을 제시하였다.이는 한양대학교 PBL센터에서 제공하는 평가 루브릭 중 팀워크 평가 기준표 루브릭과 문제중심학습(PBL)에서 팀기여도 중심의 자기평가·동료평가의 관계 및 평가 준거를 인용하는 데에 대한 학교연구 담당자들 간의 수차례 전문가 협의 및 FGI를 통해 최종 평가지를 제시하였다.

표 4. AHP 우선순위 설문 조사 결과

3.1 워드 클라우드 분석 결과

[표 3] PBL 평가요소를 도출한 결과에 대한 인식을 학생들에게 설문조사하고 이를 워드클라우드로 분석하였다. 결과는 [그림5]와 같다. 워드클라우드 방식으로 설문지 가운데 개방형 주관식 응답에 대한 결과를 추가 분석한 것이다. 선행연구를 바탕으로 평가요소를 도출하기 위한 설문조사와 우선순위 분석은 정량적이고 객관적 결과를 얻었다면, 이번 워드 클라우드 방식은 조사 분석은 주관식 복수 응답 방식으로 실시하고, 분석은 키워드 중심으로 워드클라우드 wordclouds.com의 소프트웨어 2003 버전을 활용하여 분석하였다. 조사 결과 케이스 수에 비해 상당한 집중력을 볼 수 있었다.

그림 5. 선행연구를 통한 평가요소 도출 결과

선행연구에 따른 평가요소 항목에는 의사소통능력, 기본지식, 추론 과정, 전문성 중 어느 요소가 가장 기대가 되는지 조사하였다. 선행연구에 따른 평가요소 도출결과로 ‘소통 능력’이란 단어가 가장 많이 언급 되었다. PBL을 적용한 문화콘텐츠 수업에서 학생들이 가장 중요하다고 생각하는 것은 ‘의사소통 능력’임이 엿보였다. 그 다음으로 ‘전문성’, ‘기본지식’, ‘추론 과정’에 대한 답변이 뒤를 이었다. 결과적으로 선행연구에서 도출한 평가 키워드 중, PBL을 적용한 문화콘텐츠 기획의 이해 수업에서 학생들이 가장 중요하게 생각한 평가 요소는 ‘소통능력’이 가장 높은 집중도를 확인할 수 있었다.

그림 6. 동료평가를 위한 평가요소 조사 결과

또한 동료평가 평가요소에 대한 주관식 조사에 대한 워드클라우드 분석 요소에는 책임 있는 역할 수행, 성실성, 적극적 참여와 의견 제공, 협력, 타인존중 및 수용적 태도 등이었다. 평가요소 도출과는 상대적으로 자신과 함께하는 동료평가 시에 가장 중요한 요소는 ‘소통능력’을 본 것이다. 다음으로는 ‘협력’, ‘책임 있는 역할 수행’, ‘타인 존중 및 수용적 태도’, ‘협력’의 순서대로 나타났다.

이러한 결과는 문화콘텐츠 과목의 특성상 학생들이 평가요소로써 가장 중요하게 인식하고 있는 평가는 ‘소통능력’이라는 것을 확인할 수 있었다.

3.2 AHP 결과

AHP 우선순위 설문을 한 결과 weight값을 보고 가장 높은 순위는 소통 능력으로 가중치는 0.454로 가장높았다. 다음으로 기본 지식이 0.171로 다음으로 높았으며 추론 과정은 0.169로 세 번째로 높았다. 전문성은 0.134로 네 번째로 높았고 평가기술은 0.070으로 가장 낮았다.

AHP 분석 프로그램을 이용하여 응답자 모두 평가에 대한 비일관성 비율이 0.1 미만으로 타당성 검증 기준을 만족하였다[23].

3.3 PBL 평가 루브릭 개발 결과

[표 4]의 설문조사 결과 평가기술을 삭제하고 앞서 소통능력의 평가요소를 학생들과 교수 모두 중요하게 생각하는 개방형 주관식에서 도출된 결과를 반영하여 다음과 같이 전문성, 추론 과정, 기본 지식, 소통능력을 [그림 7]과 같이 구성할 수 있었다. 그리고 선행연구와 설문결과, AHP결과, 워드클라우드 결과의 결과를 종합하여 FGI를 통해 PBL적용한 평가요소의 연구 모형을 만들었다.

대분류로 구성한 평가요소와 소분류로 구성한 책임있는 역할 수행, 성실성, 적극적 참여와 의견 제공, 협력, 타인존중 및 수용적 태도와 연결하였다.

그림 7. PBL적용한 평가요소의 연구 모형도

책임있는 역할 수행을 전문성으로, 성실성을 추론과정으로, 적극적 참여와 의견 제공은 기본 지식, 협력과 타인 존중 및 수용적 태도는 의사소통 능력으로 연계하여 보았다. 상, 중, 하로 하위 목록을 나눈 기준에서 먼저 전문성인 책임 있는 역할 수행에서 자료조사, PPT 만들기, 발표 중 한 가지 이상을 수행하였다, 분담한 역할에 기여도가 확실하다, 분담한 역할에 완성도가 크다 중 모든 행동을 함으로써 책임 있는 역할을 수행할 수 있으면 ‘상’을, 두 가지만 행동함으로써 팀의 역할을 수행하였다면 ‘중’을, 한가지 행동을 함으로써 팀의 역할을 수행하였다면 ‘하’로 평가하게끔 루브릭을 설정하였다.

다음으로 추론 과정의 성실성에서는 팀 회의에 빠지지 않고 참여하였다, 팀 회의에 지각하지 않고 참여하였다, 분담한 역할을 수행에 기약한 시간을 지켰다 중모든 행동을 수행함으로써 성실하게 역할을 수행했다면 ‘상’을 두 가지 행동을 함으로써 팀의 역할을 수행하였다면 ‘중’을, 한 가지 행동을 함으로써 팀의 역할을 수행했다면 ‘하’를 평가하게끔 루브릭을 설정하였다.

다음으로 기본 지식의 적극적 참여와 의견 제공 평가시 전체적인 과제 해결 방향에 대해 새로운 아이디어를 제공하였다, 전체적인 회의에 적극적으로 의견을 제시하였다, 다른 팀원의 과업에 대해 적극적 의견을 제공하였다 중 모든 행동을 함으로써 역할을 수행하였다면 ‘상’을, 두 가지 행동을 함으로써 팀의 역할을 수행하였다면 ‘중’을, 한 가지 행동을 함으로써 팀의 역할을 수행하였다면 ‘하’를 평가하도록 루브릭을 제시하였다.

마지막으로 의사소통 능력의 하위 항목인 협력 평가시에 팀 과제를 수행하면서 자신의 역할이 아닌 일을 맡아 하였다, 팀과제를 수행하면서 팀원의 일을 도와주었다, 팀 과제를 수행하면서 회의 의 장소와 시간 및 역할 분담에 적극적으로 참여하여 협력할 수 있도록 하였다 중 모든 행동을 함으로써 역할을 수행할 경우 ‘상’을, 두 가지 행동을 함으로써 팀의 역할을 수행하였다면 ‘중’을, 한 가지 행동을 함으로써 팀의 역할을 수행하였다면 ‘하’를 평가하도록 루브릭을 제시하였다.

의사소통 능력의 타인 존중 및 수용적 태도에 관한 평가항목으로 자신의 의견만을 고집하거나 강요하지 않았다, 타인의 의견을 존중하며 다른 팀원의 피드백을 수용하였다, 타인의 의견을 존중하되 피드백을 해주었다 중 모든 행동을 함으로써 역할을 수행하였을 경우 ‘상’을, 두 가지 행동을 함으로써 역할을 수행하였다면 ‘중’을, 한 가지 행동으로 함으로써 팀의 역할을 수행하였다면 ‘하’를 평가할 수 있도록 루브릭을 제시하였다.

본 연구에 참여한 E대학교 학생들은 4명이 한 팀이되어 서로를 평가하였으며 한 팀에서 총 4장의 평가지가 나왔다.

Ⅴ. 결론

문화콘텐츠에 대하여 입체적이고 구조적으로 바라볼수 있고, 문화를 논리적으로 구조적으로 분석하는 수업으로써 콘텐츠를 창의적으로 기획하는 것을 학습하기 위한 수업이다. 본 수업에 PBL방식을 접목하고 이를 평가하기 위한 평가요소를 도출해보고 설문조사를 통해 평가요소에 대한 우선순위를 조사해 볼 수 있었다. 실재로 수업시간에 학생들의 평가에 연구된 평가요소를 적용해보고 개인 및 동료평가를 실시한 학생들이 중요하게 생각하는 평가요소들이 무엇인지 알아보고자 하였다.

수업의 시작은 콘텐츠와 플랫폼 시대에 문화산업적 측면을 포함하고 다양한 콘텐츠 분야를 이해할 수 있도록 하였다. 문화와 콘텐츠로부터 창출되는 부가가치와 경제효과를 사례를 통해 이해시키고자 하였으며, 미래콘텐츠 산업을 위한 아이디어 발굴 능력뿐 아니라 기술과 지식을 습득하여 문화콘텐츠를 기획할 수 있는데 기여하고자 하였다. 평가요소와 방법을 설명하고 학생들이 직접 평가요소에 대한 우선순위와 생각들을 설문조사를 통해 발굴하고, 수업 결과물과 수업과정의 평가에 있어서 항목을 적용하여 평가하였다. 이러한 수업에 대한연구는 학생 참여 활동을 강화하여 배움의 즐거움을 알게 함으로 실천적 문제 해결 능력을 함양하기 위한 Barrows의 문제 중심 학습(PBL ; Problem-Based Learning)을 접목한 것이다. 학습자로 하여금 실제 생활과 관련된 복잡하고 비구조화된 문제를 통해 문제 해결 및 그와 관련된 지식을 학습하도록 하였다. 구성주의 교수 방법이 문화콘텐츠 기획의 이해라는 수업과 융합하여 PBL수업의 과정과 결과를 평가하기 위한 평가 요소를 발굴하였다.

선행연구를 토대로 평가요소를 도출하기 위해 E대학교 80명에게 설문조사를 실시하였다. 설문 결과 소통능력, 기본 지식, 추론 과정, 전문성, 평가기술 순으로 평가요소를 도출하였다. 이는 E대학교 문화콘텐츠 기획의 이해를 듣는 80명의 학생들이 가장 중요하다고 생각하는 평가요소는 ‘소통능력’이었다. 뒤를 이어 기본 지식, 추론과정, 전문성, 평가기술 순서대로 학생들은 평가요소로 중요하다고 응답하였다. 또한 동료평가를 위한 평가요소를 도출해보았다. 설문조사 결과 성실성, 협력, 책임 있는 역할 수행, 타인존중 및 수용적 태도, 적극적 참여와 의견(피드백) 제공, 리더십 순서대로 도출할 수 있었다. 이는 E대학교 학생들이 가장 중요하다고 생각하는 평가항목은 책임 있는 역할 수행인 반면 가장 낮게 생각하는 평가요소는 리더십인 것을 알 수 있었다. 조사 결과를 종합하여 PBL을 적용한 문화콘텐츠기획의이해 동료평가요소인 평가 루브릭을 구성할 수 있었다. 평가요소는 대분류와 소분류로 나열하여 각 요소마다 상, 중, 하로 평가 내용을 나누어 제시하였다. 의사소통능력, 추론 과정, 기본 지식, 전문성의 평가요소와 동료평가 요소인 책임 있는 역할 수행, 성실성, 적극적 참여와 피드백 제공, 협력, 타인존중 및 수용적 태도로 도출하였다.

이를 토대로 제시할 수 있는 시사점은 최근 세계 경제 포럼의 학생들이 변화하는 환경에 대해서 어떤 자질을 바탕으로 대처하는지에 관해 호기심, 주도성, 일관성, 도전정신, 적응력, 리더십, 사회문화의식을 언급한바 있는데 본 연구에서의 선행연구와 E대학교 문화콘텐츠 기획의 이해수업에 참여하는 학생들을 대상으로 PBL의 평가요소 도출을 위한 설문조사 결과와 일치함을 확인해 볼 수 있었다.

미래사회는 지식을 많이 습득하는 것보다 학습한 내용을 바탕으로 새로운 환경과 상황 속에서 선택, 조정, 통합하여 문제를 해결하고 새로운 가치를 생성할 수 있는 창의 융합형 인재를 필요로 하고 있다. 창의융합형인재를 양성하기 위하여 경험 중심 교육과정과 지식은 주관적이고 학습자 스스로 구성해 나간다는 심리학 및 철학적 관점의 구성주의 교수 방법을 강조한 수업연구의 결과라고 할 수 있다. 학교는 새로운 학습방법에 대한 연구를 통해 학생들의 수업 참여와 수요를 만족시키고, 문제 중심 학습의 평가 및 활동하는 데 합의를 이루는 평가방법에 대한 지속적 노력과 연구가 필요하다. 특히 4차 산업혁명 시대 미래교육의 방향은 점차 디지털로 변환하면서 대면과 비대면의 혼합수업 등 예측하기 어려운 수업환경에 대한 대응방안 연구가 필요하겠다. 이러한 시도로써 교수와 학생이 서로 소통하고 협력하는 팀티칭 방법과 평가에 대한 본 연구의 0결과는 하나의 기초연구 결과물이다. 원종서, 이정우(2018) 연구에 의하면 교육 패러다임의 변화 중의 한 가지는 교육이 반드시 학교에서만 일어나는 것은 아니고, 앞으로 시공간을 구분하지 않고 ICT를 활용하는 온라인에서 교육이일어날 것으로 언급한 바 있다 [27].

올 한 해는 전 세계가 팬더믹 상황으로 인한 비대면 교육은 필수적이었다. 여러 분야에서 사전연구 없이 온라인을 통한 비대면 수업이 일방적으로 진행될 수 밖에 없었다. 그리고 비대면에서의 PBL교육에 관해서도 아직 많은 연구가 부재하기에 이에 향후 연구로는 본 연구에서의 한계점들을 보완하고, 도출한 평가요소와 연구한 교수 방법을 비대면 강의에도 적용을 시도해보고자 한다. 그리고 대면강의와 비대면 강의에서 PBL을 접목한 문화콘텐츠 수업의 결과와 평가의 차이를 비교해 보고자 한다.