• 제목/요약/키워드: Participatory Evaluation

검색결과 79건 처리시간 0.021초

Evaluating Conversational AI Systems for Responsible Integration in Education: A Comprehensive Framework

  • Utkarch Mittal;Namjae Cho;Giseob Yu
    • Journal of Information Technology Applications and Management
    • /
    • 제31권3호
    • /
    • pp.149-163
    • /
    • 2024
  • As conversational AI systems such as ChatGPT have become more advanced, researchers are exploring ways to use them in education. However, we need effective ways to evaluate these systems before allowing them to help teach students. This study proposes a detailed framework for testing conversational AI across three important criteria as follow. First, specialized benchmarks that measure skills include giving clear explanations, adapting to context during long dialogues, and maintaining a consistent teaching personality. Second, adaptive standards check whether the systems meet the ethical requirements of privacy, fairness, and transparency. These standards are regularly updated to match societal expectations. Lastly, evaluations were conducted from three perspectives: technical accuracy on test datasets, performance during simulations with groups of virtual students, and feedback from real students and teachers using the system. This framework provides a robust methodology for identifying strengths and weaknesses of conversational AI before its deployment in schools. It emphasizes assessments tailored to the critical qualities of dialogic intelligence, user-centric metrics capturing real-world impact, and ethical alignment through participatory design. Responsible innovation by AI assistants requires evidence that they can enhance accessible, engaging, and personalized education without disrupting teaching effectiveness or student agency.

해외 기록관의 시민 참여 전사 프로그램 사례 연구 (A Case Study of Transcription Programs Based on Citizens' Contribution to Overseas Archival Institutions)

  • 김지현
    • 한국기록관리학회지
    • /
    • 제17권4호
    • /
    • pp.51-86
    • /
    • 2017
  • 본 연구는 해외 기록관에서 소장하고 있는 기록을 대상으로 시민들의 참여를 통해 전사를 수행하는 사례를 분석함에 있어 이와 관련된 개념적 논의를 조사하고 사례분석을 통해 운영현황 및 시사점을 논의하는 것을 목적으로 하였다. 개념적 논의에서는 시민 아키비스트, 참여형 아카이브, 크라우드소싱의 세 가지 개념을 바탕으로 시민 참여 전사 프로그램의 특징과 의의를 살펴보았다. 사례분석을 위해 미국과 영국, 호주에서 성공적으로 운영되고 있는 전사 프로그램 5개를 분석 대상으로 선정하였으며 기관 및 목적, 전사 대상 기록, 참여 관리, 인프라, 정책 및 가이드라인, 평가의 6가지 측면에서 분석을 수행하였다. 이러한 전사 프로그램들은 역사기록의 접근 향상이라는 구체적인 목표를 가지고 기관의 조율에 의해 운영되므로 자발적인 참여에 의해 운영되는 공동체 아카이브와는 차이가 있다. 따라서 시민들의 지속적인 참여 유도를 위한 방안을 마련하는 것이 필요하다. 이러한 측면에서 국내의 유사한 서비스에 대한 시사점으로 전사 프로그램의 목적을 명확히 서술하고 전사 대상 기록 선정 시 이용자의 관심을 유도할 수 있는 주제, 기록생산자, 기록 유형을 고려하는 것이 필요함을 제안하였다. 또한 기여도가 높은 소수의 참여자들과 파트너십을 형성할 것과 참여자 요구에 부합하는 전사 인터페이스 및 과업을 제시할 것을 제안하였다. 이와 더불어 간결하고 효과적인 가이드라인 및 전사 결과물 활용에 대한 정책을 제시하고 전사 결과물을 기록 검색 및 접근에 적극적으로 활용함으로써 참여자들의 기여를 가시적으로 인정하는 것이 필요함을 제안하였다.

2015개정 통합과학 수업관찰을 통한 실행된 교육과정 분석 (Analysis of Enacted Curriculum through Classroom Observation of Integrated Science Teaching in 2015 Revised Curriculum)

  • 곽영순;신영준
    • 한국과학교육학회지
    • /
    • 제39권3호
    • /
    • pp.379-388
    • /
    • 2019
  • 본 연구의 목적은 2018년부터 학교현장에서 구현된 통합과학 수업에 대한 관찰과 분석을 토대로 통합과학 안착을 위한 구체적인 지원 방안을 위한 시사점을 도출하려는 것이다. 이를 위해 동일한 성취기준[10통과07-01]에 대하여 전공배경이 각기 다른 4명의 과학교사들이 진행한 수업을 관찰하고 분석하였다. 통합과학 수업의 특징을 교육과정 재구성 측면, 과학과 교과역량 개발 측면, 학습자 중심의 참여형 수업 측면, 과정중심 평가 측면 등으로 구분하여 살펴보았다. 예컨대 교육과정 재구성 측면에서 과학교사들은 해당 성취기준을 3~4차 시로 재구성하고, 핵심개념을 중심으로 학습내용을 적정화하며, 과학 영역간 관통개념 이해를 돕기 위해 노력하고 있었다. 과학과 교과역량 개발 측면에서는 해당 성취기준과 밀접하게 관련된 다양한 교과역량 함양, 과학에 대한 인식론 개발 등에 초점을 둔 수업을 실천하고 있었다. 학습자 중심의 참여형 수업을 만들기 위해 학생 활동위주로, 그리고 학습의 촉진자로서 교사 역할을 강조하고 있었다. 과정중심 평가 측면에서는 피드백이 있는 수업과정 중의 평가 및 교과역량에 대한 과정중심 평가를 강조하고 있었다. 연구결과를 토대로, 통합과학 교육과정 현장안착을 위한 지원 방안을 교사 학습공동체의 필요성, 과정중심 평가 관련 지원, 진정한 통합형 과학과 교육과정 개발의 필요성 등의 측면에서 제안하였다.

국유림 공동산림사업 실태분석에 관한 연구 (Analysis on the Status of Joint Forestry Project in National Forest)

  • 김동현;고치웅;김동근
    • 농업생명과학연구
    • /
    • 제53권6호
    • /
    • pp.45-53
    • /
    • 2019
  • 본 연구는 국유림경영제도 중 하나인 공동산림사업의 실태분석을 위해 참여형 산림관리 원칙인 이해관계자의 참여, 의사결정의 투명성, 행위자와 이해관계자의 책무성을 이용하여 공동산림사업 업무담당자를 대상으로 Likert 5점 척도와 기입식으로 구성된 설문조사를 실시하였다. 설문조사 결과, 이해관계자 참여(10문항) 항목에서는 다양한 이해관계자가 참여할 수 있는 기회제공이 평균 3.3으로 가장 높게 나타났고, 분쟁 및 갈등 해결 구조 구축이 2.3점으로 가장 낮은 점수를 나타냈다. 투명성(7문항)은 사업에 대한 정보공개가 3.4점, 지역주민을 대상으로 한 정보공유, 교육·홍보활동이 2.7점으로 분석되었으며, 마지막으로 책무성(7문항)에서는 공동사업수행자의 자세한 역할규명 여부가 3.3점, 다양한 이해관계자와 함께 사업에 대한 내·외부 모니터링 및 평가 여부가 2.7점으로 분석되었다. 참여형 산림관리지표를 통해 분석된 본 연구결과는 추후 국유림 참여경영의 활성화를 위한 계획수립에 기초자료로써 활용될 것으로 판단된다.

키르키즈스탄 이주민 마을 지역사회기반 영유아 건강증진 예비사업 평가 (Evaluation of a Community-based Child (Infants and Toddlers) Health Promotion Pilot Project in a Migrant Village in Kyrgyzstan)

  • 신현숙;이유나;이숙정;장윤경
    • Child Health Nursing Research
    • /
    • 제25권4호
    • /
    • pp.406-416
    • /
    • 2019
  • Purpose: Children in migrant villages in Kyrgyzstan have a high incidence of anemia and need effective health promotion programs. The purpose of this study was to evaluate a pilot study of a health promotion project for infants and toddlers based on community participation. Methods: This was a retrospective study conducted to evaluate the effectiveness of the project. The project was carried out by nurses at a public health center, community health workers, and local residents in a migrant village. After the operational system of the project was established, health assessments, child-care education, provision of vouchers for iron supplements, and activities to improve residents' awareness were conducted during 6 months among 100 children, of whom 85 were finally analyzed. Results: In international health projects, close cooperation of the project team with community residents and health workers is important. Access to the community-based program was feasible in the socially and economically poor migrant village, and improvements were shown in children's anemia and awareness of health care. Conclusion: By focusing on the effective aspects of this preliminary project, plans to utilize community health workers and promotion strategies can be added to the main project to improve health promotion among children in this area.

Audio Generative AI Usage Pattern Analysis by the Exploratory Study on the Participatory Assessment Process

  • Hanjin Lee;Yeeun Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권4호
    • /
    • pp.47-54
    • /
    • 2024
  • 첨단기술을 활용한 문화예술 교육은 기술에 대한 문해력 향상과 자기표현, 그리고 융합적 역량 개발의 측면에서 그 중요성이 증대되고 있다. 이에 혁신적인 멀티모달 AI의 생성과정과 결과평가는 확대된 시청각 경험을 제공하고 창의적 영감을 향상할 수 있다. 특히, AI와 함께 음악을 만드는 과정은 멜로디와 악상을 떠올리는 것부터 가사 개선, 편집과 변주, 악기 연주 등 모든 영역에 걸쳐 혁신적 경험을 제공한다. 이에 본 연구에서는 음악 생성 AI 플랫폼을 활용하여 과제를 수행하고 동료 학습자와 토론하는 과정을 실증적으로 분석하고자 하였다. 그 결과 자발적 참여를 통해 12개의 서비스와 10개의 평가기준 유형을 수집하여 사용패턴과 목적으로 구분할 수 있었다. 이를 토대로 학습자 관점의 AI 기반 교양교육을 위한 학술적, 기술적, 정책적 시사점을 제시하였다.

거리경관에 대한 청각적 이미지의 평가구조 - 대학생들의 음풍경 체험을 통한 의미론적 고찰 - (The Evaluation Structure of Auditory Images on the Streetscapes - The Semantic Issues of Soundscape based on the Students' Fieldwork -)

  • 한명호
    • 한국음향학회지
    • /
    • 제24권8호
    • /
    • pp.481-491
    • /
    • 2005
  • 이 연구의 목적은 사운드스케이프의 의미론적 관점에 기초하여 도시의 거리경관에 관한 청각적 이미지의 평가구조를 파악하는 것이다. 캡션평가법이라는 새로운 환경심리조사수법을 이용하여 2001년부터 2005년까지 총45명의 대학생이 남원시의 주요 거리를 걸으면서 듣고 느끼는 소리의 이미지 파악을 위한 현장조사에 참가하고, 그 결과 청각적 경관에 대한 요소, 특징, 인상 및 선호도 등을 포함한 다양한 자료를 얻을 수 있었다. 남원시에 있어서, 청각적 이미지의 구성 요소는 자연음, 그리고 기계음, 사회음, 지시음 등을 포함한 인공음으로 분류되고, 청각적 경관의 특징은 소리종류, 양태, 상황, 성질, 주변관계, 이미지 등으로, 그리고 청각적 경관의 인상은 인간의 감성, 거리의 분위기, 소리 자체의 특성이라는 3가지 카테고리로 분류된다. 청각적 경관과 판단과의 관계로 부터, 청각적 경관의 요소, 특징, 인상 등은 긍정적, 중립적, 부정적 이미지 등의 항목으로 구성된다. 또한, 남원시의 거리경관의 평가구조모델로부터 그 장소 또는 공간의 청각적 이미지특성을 파악할 수 있었다.

하브루타 수업이 고등학생의 지리학습에 미치는 영향 (The Effects of Havruta Class on High School Students' Geographical Attitude and Academic Achievement)

  • 강은정;조철기
    • 한국지역지리학회지
    • /
    • 제23권2호
    • /
    • pp.420-436
    • /
    • 2017
  • 이 연구는 지리수업에 하브루타 학습방법을 적용하여 그 효과를 검증한 것이다. 하브루타 수업을 적용한 후 설문조사 및 심층 인터뷰를 실시하여 얻은 결과는 다음과 같다. 지리수업에 대한 학생들의 태도에 긍정적인 변화를 가져오는 등 유의미한 결과를 얻었다. 하브루타를 적용한 지리수업에 대한 학생들의 흥미 및 참여도에 있어서 효과적이었다. 뿐만 아니라 학생들의 수업 이해도, 문제해결력 및 사고력 향상에도 효과적임을 알 수 있었다. 학생들은 활발한 대화와 질문을 통한 상호작용의 결과로 자신의 생각을 표현하고 설명해 주는 하브루타 활동으로 지리수업에 대해 흥미를 느끼고 보다 적극적이고 능동적인 자세로 수업에 참여한 것으로 나타났다. 그러나 하브루타 수업을 적용한 수업 이후 학생들의 학업성취도 변화를 통계처리한 결과, 유의미한 차이는 얻지 못했다. 이 연구는 4차시의 짧은 기간 학생들을 대상으로 한 단원의 내용에 대한 효과를 검증하였으므로 하브루타를 적용한 수업의 효과를 검증하는데 한계가 있는 것으로 판단된다. 단기간의 하브루타 수업이후 학업성취도의 효과를 기대하기보다 학습 태도와 같은 정의적 영역에 미치는 영향이 더욱 크다는 것을 알 수 있었다.

  • PDF

AHP를 이용한 도시의 삶의 질 비교 (A Comparative Evaluation of Urban Quality of Life Using AHP)

  • 김동윤
    • 한국디지털건축인테리어학회논문집
    • /
    • 제13권1호
    • /
    • pp.33-41
    • /
    • 2013
  • Considering the fact that quality of life(QOL) conceptually has objective and subjective attributes but difficulties in measuring the subjective aspect cause a number of studies not to be balanced, this study exploits AHP(Analytical Hierarchy Process) which has been used for systematic decision making to include the other aspect. As the first step of the process decision making hierarchy model is set by content analysis of the UNDP QOL index and additional review of previous studies. 'Improving urban QOL' is a goal on top, 'Economical QOL', 'Environmental QOL', 'Social QOL' and 'Physical QOL' are dimensions of sub-goal(means objectives), and further decomposition follows. AHP shows that the dimensions of economical, physical, environmental and social QOL scored higher respectively. The aim of the model is to measure and prioritize the urban QOL in the two case study cities. The final score of the each city could be computed by integration of relative weights of dimensions for urban QOL. The final score of QOL for city A was 0.6642 and for city B the figure decreased to 0.3358. The method of this study could be used in stages of the process of urban planning. First stage is when planners try to have a correct and reliable perspective from the existed conditions of the city. Second stage is when the projects should be investigated to be confirmed for their efficiency. In other words planners can direct the scarce resources towards the aspects of QOL which are more important. And the results revealed that using AHP creates opportunity to involving the different groups in the stage of criteria weighting so that the attitudes of local community could be integrated well to the decision making to be suitable for a new paradigm of participatory and communicative planning.

현장학습을 중심으로 구성해가는 만 3세 교실의 역할 놀이 영역 (Constructing 3-year-old classroom with role play areas based on field-trips)

  • 서혜정;한애희
    • 한국보육지원학회지
    • /
    • 제6권2호
    • /
    • pp.83-115
    • /
    • 2010
  • 이 연구는 현장학습을 중심으로 구성해가는 만 3세 교실의 역할 놀이 영역과 그 과정에서 교사가 알게 된 것에 대한 것이다. 이를 위해 참여관찰과 심층면담을 하였으며, 수집된 자료는 동영상, 사진, 교사일지, 서술식 질문지, 심층면담 자료이다. 역할 놀이영역을 구성하기 과정은 현장학습 전 사전활동(질문목록과 질문할 역할 정하기, 현장 학습 시 지켜야 할 규칙 정하기, 현장 학습 목적 인지하기) 현장학습(현장 학습 장소 둘러보기, 질문목록에 따른 질문하기), 현장학습 후 현장학습 장소를 역할 놀이 영역으로 구성하기(현장학습 활동 회상하기, 역할 놀이영역을 구성하기 위한 계획, 자료 준비하기, 수집된 자료로 제작하기), 역할 영역놀이 및 중간 평가, 역할 영역 놀이 평가로 이루어졌다. 성인들의 큰 사회를 교실 안으로 들여오는 과정에서 현장학습은 역할놀이의 터닝 포인트가 되었으며, 언어발달의 기회, 공공질서를 배우는 더 많은 배움의 기회로 작용함을 알게 되었다.