A Study on the Development of Ethical Guidelines for Generative AI Stakeholders

생성형 인공지능 이해관계자를 위한 윤리 가이드라인 개발 연구: 서울시 맥락에서의 3대 기본원칙과 9대 핵심요건

Abstract

This study develops an ethical framework for generative artificial intelligence (GenAI) tailored to the context of Seoul, a representative local government. Amid the rapid proliferation of generative AI services and associated ethical concerns-such as hallucinations, malicious use, data leakage, copyright infringement, and environmental impacts-this research identifies nine major risk types affecting users, operators, and developers. Drawing on international and domestic guidelines, the study formulates nine core requirements and three fundamental principles: user-centricity, risk prevention, and sustainability. The framework was refined through literature review, analysis of real-world cases, and four rounds of expert focus group interviews. Findings suggest that the proposed framework can serve as a voluntary, non-coercive guideline to promote responsible AI use and governance in local contexts. The study contributes to bridging the gap between general AI ethics and practical, context-specific guidelines, supporting safer and more sustainable adoption of generative AI in urban governance.

Ⅰ. 서론

챗GPT의 등장으로 생성형 AI가 우리 일상에 빠르게 자리 잡고 있다. 초기에는 파운데이션 모델 개발이 초점이었으나, 현재는 산업·공공 부문의 AI 기술 활용이 핵심이다[1,2]. AI 서비스는 개인·기업의 생산성과 삶의 편의를 제고하지만 윤리적 문제도 동반한다. 특히, 생성형 AI와 대화하면서 기업 기밀 유출, 환각현상 발생 등 기존 AI와 다른 새로운 유형의 위험이 나타났다[3].

정부는 빠르게 변하는 AI 기술과 서비스가 국민·사회를 위협하지 않도록 2023년 9월 디지털 권리장전을 제정하여 신디지털 질서 정립을 위한 원칙과 기준을 제시하였다[4]. 다만 현장에서는 2020년 제정된 AI 윤리기준이 총론적으로 작성되어 분야별 적합한 기준이 필요하다는 요구가 지속되었다[5].

정부 및 공공기관 등은 다양한 AI 윤리 가이드북을 마련하였지만 현재까지 제시된 대부분의 생성형 AI 윤리 가이드는 활용과 주의사항 안내에 집중하고 있어 명확한 윤리기준 제시는 부족한 상황이다[6-8]. 나아가 생성형 AI 등장으로 AI의 활용 가능성에 대한 불안과 기대감이 교차하는 상황에서 AI의 잠재적 위험을 대비한 윤리적 규제의 필요성이 지속적으로 제기되고 있다[9].

기존의 AI 윤리 가이드라인이 대체로 일반적이고 포괄적인 반면, 본 연구는 지방자지체 거버넌스 특성과 이해관계자 역학을 통합한 서울시 맥락의 윤리 프레임워크를 이론화하는데 기여하기 위해 시작하였다.

이에 본 연구에서는 경제 및 기업 활동이 가장 활발한 서울시를 중심으로 생성형 AI의 기본원칙을 제시하고, 이용자·개발자·운영자가 준수해야 하는 핵심요건과 세부 요건을 마련하고자 한다. 본 연구는 선행연구를 기반으로 생성형 AI 주요 위험을 식별하고, 기존 AI 기준 항목을 참고하여 주요 위험과의 해석적 유사성을 도출한 이후 전문가 FGI를 통해 각 과정과 결과를 검증하였다.

Ⅱ. 선행연구

2.1 생성형 AI 윤리 가이드라인 논의

AI와 관련된 윤리 논의는 아실로마 AI 원칙(Asilomar AI Principles) 이후 본격화되었다. 아실로마 AI 원칙은 AI 관련 사고들이 발생함에 따라 연구 이슈, 윤리적 가치, 장기적 이슈 등 세 가지 범주로 구성·발표되었다. 과거 아시모프의 로봇 3원칙, 후쿠오카 세계 로봇 선언 등 로봇과 관련된 원칙이 논의 되었으나, AI 윤리 논의는 아실로마 AI 원칙 이후라고 보는 것이 타당하다[10].

AI 윤리의 접근은 생성형 AI 등장 이후 변화하였다. 기존 AI 윤리의 초점은 공정성, 투명성, 안전성 등 사회적 책임에 집중하였다. 하지만 생성형 AI는 텍스트·음성·이미지 등 창작물을 생성하는 특성에 따라 기존 AI보다 복잡한 위험을 동반하기 때문에 새로운 관점의 윤리적 접근이 요구된다[7]. 이러한 차이는 기존 AI와 생성형 AI에 적용되는 기술과 활용의 차이에 기인한다. 전통적 AI는 예측·탐지에 기술적 강점이 있다면, 생성형 AI는 신규 콘텐츠 생성에 초점이 맞추어져 있다[11]. 특히 이용자의 개입에 따른 다양한 위험이 존재한다.

따라서 본 연구에서는 생성형 AI 이해관계자에 전통적 AI 이해관계자인 개발자 및 공급자와 더불어 이용자 관점을 추가하여 생성형 AI 위험을 정의하고 이를 기반으로 생성형 AI의 윤리원칙과 요건을 마련하고자 한다.

2.2 국내의 생성형 AI 위험 논의

방송통신위원회와 한국지능정보사회진흥원은 저작권, 책임성, 허위조작정보, 개인정보·인격권 등을 주의사항으로 제시하였다. 저작권에 대해서는 생성형 AI 결과물을 인간의 창작물로 보기 어렵다고 설명하고, 인간의 창작적 표현이 추가될 때 해당 부분에 저작권을 가질 수 있다고 해석하였다. 또한 생성형 AI가 만든 콘텐츠 재사용은 법적 문제가 없음을 안내하는 등 저작권 침해 사례를 제시하였다[7]. 책임성에 대해서는 생성형 AI 결과물을 활용한 보고서 작성·경진대회 활용, 생성형 AI와의 대화에서 기밀 정보 유출 가능성 등에 대한 사례를 제시하였다. 허위조작정보에 대해서는 가짜뉴스, 보이스피싱, 진위여부 확인 등의 사례를 제시하였다. 개인정보·인격권은 개인의 민감정보 노출 우려, 서버 저장 가능성, 생성형 AI 처벌 가능성 등에 대해 논의하였다[7].

행정안전부는 챗GPT 설명, 활용가능 분야, 활용예시와 함께 AI의 한계를 제시하였다. 저작권·개인정보 보호, 중요정보 유출, 답변의 신뢰성, 윤리성, 편향성을 생성형 AI 문제점(한계)으로 지적하였으며, 챗GPT에 비공개 정보나 개인정보를 입력하지 말고, 사실 여부 검증 없이 챗 GPT가 생성한 답변을 이용하지 말 것을 주의하였다[12]. 특히, 2023년 생성형 AI의 윤리적 이슈와 해결방안 관련 국회세미나에서 구체적인 생성형 AI 위험 예시가 논의되었다. 세부적인 내용을 살펴보면 첫째, 사실 아닌 것을 사실처럼 생성하는 환각현상 위험, 둘째, 편견과 차별을 내포하는 Garbage In Garbage Out에 따른 불공정 위험, 셋째, 유럽 General Data Protection Regulation 및 우리나라 개인정보보호법에서도 금지하는 오토 프로파일링 위험, 넷째, AI 출력물에 드러난 크고 작은 표절과 학습데이터의 저작권 침해 위험, 다섯째, AI에 의한 합성출력물의 무한반복 학습에 따른 인류 문명의 다양성 감소 위험, 여섯째, 거대 자본 기반의 학습과 운영에 따른 새로운 글로벌 독과점 심화와 위험, 일곱째, 학습과 운영에 필요한 천문학적 에너지 소모 및 아동 노동 착취에 따른 위험, 여덟째, 학습데이터 및 대화록 안에 포함된 개인정보, 프라이버시 정보, 기밀정보의 유출 위험, 아홉째, 사용 연령 제한에 대한 현실적 미이행에 따른 위험, 열째, 메타버스, 버츄어 휴먼, 롤플레잉 게임과의 추가 결합을 통한 중독, 남용, 오용의 추가 위험, 열한째, AI에 대한 의인화 현상 확대에 따른 관계 대체 및 관계 왜곡의 위험, 열두째, 이용자 말의 뜻은 이해하지만 의도는 파악하지 못함으로써 이용자에게 악용될 위험, 열세째, AI에 의한 이용자의 가스라이팅 및 이용자에 의한 AI의 가스라이팅 위험 등을 제시하였다[13].

방송통신위원회는 4개의 기본원칙과 실행방식을 제안하였다. 기본원칙은 첫째, 인간의 존엄성을 보호하고 개인의 자유와 권리를 보장하며, 인간이 적절하게 통제하고 감독할 수 있는 방식으로 제공, 둘째, AI시스템 사용에 따른 작동 원리 및 결과, 이용자에게 미치는 영향 등에 대해 이용자에게 알기 쉽게 설명되도록 제공, 셋째, 안전하게 작동되어야 하며, 예상치 못한 피해를 최소화하고 악의적으로 이용되거나 변경되지 않도록 제공, 넷째, 이용자에게 차별 또는 불공정한 결과가 발생하지 않도록 제공 등이다. 실행 방식은 이용자 인격권 보호, 결정 과정을 알리려는 노력, 다양성 존중 노력, 입력데이터 수집·활용 과정에서의 관리, 문제 해결을 위한 책임과 참여, 건전한 유통·배포 노력 등 6개이다[8].

한국인터넷진흥원은 챗GPT가 혁신적 기능으로 주목받고 있지만 부작용에 따른 보안 이슈도 동반됨을 지적하였다. 특히 챗GPT가 생성하는 결과물을 사이버공격에 활용하거나 챗GPT를 활용한 악성코드 생성에 주의해야 한다고 밝혔다. 또한 챗GPT를 통해 취약점 분석과 해킹 정보를 빠르게 습득하는 문제, 무분별한 데이터 입력으로 인한 민감정보의 유출 가능성, 잘못된 결과물의 생산· 활용, 챗GPT를 비롯한 AI에 대한 악의적인 학습데이터 주입 등의 보안 위협이 존재한다고 밝혔다[14].

국가정보원은 민간정보 유출 등 국가안보위협이 우려됨에 따른 다음과 같은 보안사항을 준수해야 할 것을 강조하였다. 첫째, 사회적 혼란 조장, 고위험 의사결정, 잘못된 의사결정 유도 등 잘못된 정보, 둘째, 피싱·인물도용, 사이버보안 위협 코드 작성, 대화형 서비스를 악용한 사이버범죄 커뮤니티 활성화, 사회 공학적 영향, 가짜뉴스 생성 등 AI 모델 악용, 셋째, 스쿼팅 URL 및 확장 프로그램, 가짜 애플리케이션 등 유사 AI 모델 서비스 빙자, 넷째, 훈련 데이터 유출, 데이터 불법 처리 우려, 기밀 유출, 대화 기록 유출, 데이터베이스 해킹 및 회원 추론 공격 등 데이터 유출, 다섯째, 새로운 도메인에서의 모델 오작동, 에이전트화된 AI 모델의 악용, 멀티모달 악용 등 플러그인 취약점, 여섯째, 개인정보 수집, 시스템 공격, 호스팅 서버 및 스토리지 시스템 위협 등 확장 프로그램 취약점, 일곱째, API 키 탈취, 악의적인 프롬프트 주입에 대한 API 취약점 등이다[15].

한국인터넷자율정책기구(KISO)는 저작권, 개인정보, 영업비밀, 악용·차별 등 인권침해나 편견을 조장할 수 있는 우려 등에 주의해야 함을 밝혔다[16].

충청남도는 생성형 AI 소개와 개념, 질문 방법, 활용 방법·사례를 공공분야 업무에 맞추어 제시하였다. 특히 활용 유의사항에서 과제와 시험 등 부정행위, 혐오 발언, 성적·인종적 편견 확산, 가짜뉴스 및 정보 생성, 각종 저작물 등 정보 무단 도용, AI가 만든 작품의 저작권 문제 등 생성형 AI 주의사항을 밝혔다[6].

2.3 해외의 생성형 AI 위험 논의

KPMG는 생성형 AI가 인건비를 절감하는데 중요한 역할을 수행할 것이라 기대하는 반면, 지적재산권, 직원오용, 부정확한 결과, 악의적 행동 등 외부위험에 노출될 가능성이 있음을 밝혔다. 생성형 AI 기술은 이용자와의 대화 결과를 재학습할 수 있어 기밀의 노출 위험성이 있고, 나아가 생성형 AI 콘텐츠에 다른 회사의 IP가 포함될 위험이 존재할 수 있기 때문이다. 또한 근로자가 생성형 AI로 수행한 작업을 자신이 한 것으로 가장하고 비용을 청구하는 위험이 존재한다고 언급하였다.

한편, 생성형 AI는 환각현상을 수반하기 때문에 부정확한 정보가 생산될 수 있으며, 딥페이크 등 이용자의 악의적 의도에 결과물이 활용될 가능성 역시 상존할 수 있다[17].

Deloitte는 생성형 AI로 인해 사회적으로 다양한 변화가 야기되고 있는 반면 불확실성, 설명 가능성, 편향, 환경적 위험이 있을 수 있음을 강조한다. 사람과 달리 생성형 AI는 명확한 답변을 제공하지만 그 답변이 부정확할 위험 역시 존재한다. 또한 생성형 AI는 확률을 기반으로 답변을 생성한다. 여기서 확률은 결과물에 대한 정확한 출처를 제공할 수 없다는 위험을 동반하다. 또한 학습 과정에서 일부 편향된 정보를 받아들일 경우 답변에서도 부정확한 정보 제공이 될 수 있다. 무엇보다 생성형 AI는 대화 과정에서 상당한 CO2를 발생시킨다. 이에 따라 환경에 부정적 영향을 미칠 가능성이 있다[18]. Deloitte는 기계와 대화를 가능하게 하는 생성형 AI의 기술 발전과정, 언어모델 작동방식, 학습과정, 관련 비즈니스 모델을 상세히 논의하였다. 그들은 생성형 AI가 다양한 장점에도 불구하고 분명한 윤리적 한계가 존재한다고 강조한다. 특히, 답변 정보의 불확실성, 최신 내용 미반영, 대규모 컴퓨팅 자원이 필요함에 따른 고비용 문제가 상존하고 있음을 밝혔다[19].

주요 언론사와 시장조사기관에서도 생성형 AI의 우려 사항에 주목하였다. ZDNET은 생성형 AI가 글쓰기, 코딩 등에 긍정적으로 활용되나, 환각, 딥페이크, 개인정보, 사이버보안, 저작권 등에 부정적일 수 있음을 밝혔다[20]. Forbes는 리더가 주의해야 할 상위 5가지 AI 위험을 일자리 등 기존 체제의 붕괴 위험, 사이버보안 위험, 기대에 못 미치는 성능에 따른 평판 위험, AI가 일으키는 사회적 문제에 대한 책임, 운영 리스크 등으로 정의하였다[21]. Gartner는 생성형 AI 도구의 책임감 있는 활용을 보장하기 위해 기업의 법률·규정 준수 리더가 부정확한 답변, 데이터 개인정보보호·기밀성, 모델·출력 편향, 지적재산권 위험, 사이버 사기 위험, 소비자 보호 위험 등의 위험에 주의해야 한다고 밝혔다[22].

Ⅲ. 전문가 FGI 및 주요 결과

3.1 전문가 FGI 수행 방법

본 연구는 주요 위험을 식별하고, 이를 기존 AI 윤리기준과의 유사성을 도출해 핵심요건을 도출한다. 이를 위해 본 연구는 전문가 FGI 방법론을 적용하였다. 전문가 FGI는 2023년 8~10월 3개월 간 총 4차례 진행하였으며, 각각 약 1시간 동안 진행되었다. 진행 장소는 서울역 회의실 또는 화상회의 시스템을 활용하였다. 4차례에 걸쳐 실시된 인원은 총 7명으로 학계 2명(정교수 1명, 부교수 1명), 연구계 3명(연구위원급 2명, 책임급 1명), 산업계 2명(특급 개발자 1명, 부서장급 1명)이다.

이들에게 식별된 위험의 적절성, 기본원칙 도출 방법론과 결과의 타당성, 핵심요건 도출 과정의 자문과 결과의 타당성 등에 대한 의견을 청취하였다.

3.2 생성형 AI 주요 위험

앞선 논의를 바탕으로 연구진은 최초 6개 유형을 도출하였다. 다만 이러한 방식은 객관성이 부족할 수 있어 도출된 결과를 전문가 FGI와 자문을 통해 검증하였다.

본 연구진이 제안한 위험 유형은 정보 유출, 저작권 침해, 허위정보 제공, 악의적 활용, 사회적 문제 야기, 보안성이었다. 전문가들은 이 유형들에 대해 다음과 같이 평가하고 개선 의견을 제시하였다.

“현재 제시된 위험 유형들은 단편적이고 이용자 개입에 대한 위험이 충분히 논의되어 있지 않다. 특히 생성형 AI로 야기되는 환경 문제가 추후 큰 윤리적 이슈로 대두될 수 있기 때문에 관련 위험의 논의가 필요하다.”

이에 본 연구에서는 최초 6개 유형에서 이용자의 특성과 친환경적 사례들을 추가적으로 조사하고 문구를 수정하였다. 또한 수정된 결과는 전문가 자문을 통해 구체화하였으며, 각 위험들과 이해관계자와의 연관성을 도출하였다. 허위정보 답변, 악의적 활용, 개인정보·중요정보 유출, 결과물의 저작권 침해, 저작권 침해 데이터 학습, 오용·편향 데이터 학습, 사회적 문제 야기, 탄소 多 배출, 생성형 AI 자체 보안 등 <표 1>과 같이 9개의 위험 유형을 도출하였다.

3.3 9대 핵심요건 FGI 결과

본 연구진은 핵심요건 도출을 위해 선행연구에서 식별된 생성형 AI 주요 위험이 기존 윤리기준에서 어떻게 해석되는지 유사성을 분석하는 과정을 수행하였다. 이를 위해 과학기술정보통신부, EU, WhiteHouse 등 주요 기관의 AI 윤리기준을 참조하고 해석적 유사성을 분석하여 핵심요건 후보를 도출하였다[32-35]. 이후 생성형 AI위험 유형과 AI 기준들과의 매핑 과정에서 전문가 FGI를 통해 적절성과 타당성을 검토·보완하였다.

대표적으로 본 연구진은 선행 과정을 통해 총 8가지 핵심요건을 도출할 수 있었다. 전문가들은 도출된 핵심 요건에서 부족한 부분을 다음과 같이 제안하였다.

<표 1> 국내외 생성형 AI 이해관계자별 위험 유형

자료: 국내외 선행연구를 기반으로 저자 작성

“챗GPT로 일반 시민들에게 생성형 AI가 널리 알려졌지만 파생되는 서비스들에 대한 구체적인 내용을 인식하는 시민들은 매우 소수일 것으로 추정된다. 따라서 제시된 요건 외에 ‘시민 이해도 증진’과 같이 일반시민의 생성형 AI에 대한 인식을 제고할 수 있는 핵심요건을 추가하는 것을 제안한다.”

또한 전문가들은 핵심요건에 대해 다음과 같은 의견을 제시하였다. 첫째, 이용자 검증역량은 최초 요건인 객관성보다 ‘검증 필요성’을 의미하는 표현이 적합하며, 이용자의 AI 평가 역량과 데이터 신뢰성 검증 책임이 강조되어야 한다고 지적하였다. 둘째, 책임성에 대해서는 최초 요건인 고유성 정의가 논란의 여지가 있으며, AI 결과물에 따른 부정적 영향을 막는 방향으로 요건 정의가 필요하다고 제언하였다. 셋째, 데이터 권리와 책임은 최초 요건인 데이터 주권이 국가적 의미가 강해 표현을 순화해야 하며, 권리와 책임이 이용자에게 있다는 점을 명확히 할 필요가 있다고 언급하였다. 넷째, 사용가능성 확보는 최초 표현(독창성)이 저작권 문제와 저촉될 수 있기 때문에 사용성 관련 표현이 적절하다고 지적하였다. 다섯째, AI 학습데이터 안전성은 최초 표현(안전성)이 포괄적이기 때문에 구체화한 표현으로 정제할 필요가 있음을 제안하였다. 여섯째, AI 윤리 소양은 이용자의 윤리소양뿐만 아니라 운영자가 이를 지원할 책임도 포함하도록 수정이 필요하다고 언급하였다. 일곱째, 공공성은 최초 표현(사회성 요건)이 포괄적이고, 기본원칙과 중복될 가능성이 있기 때문에 세부요건 구체화를 요구하였다. 여덟째, 생태적 지속가능성은 최초 표현(친환경성)이 인간 중심적이며, 보다 보편화된 표현인 생태의 용어를 반영해야 한다고 지적하였다. 아홉째, 보안성은 안전성과 혼동될 수 있기 때문에 이를 명확히 해야 하고, AI에 대한 고유 위협이 존재하므로 이에 대한 범위로 구체화할 필요가 있다고 제언하였다.

전문가 FGI를 통해 최초 요건을 보완하여 9대 핵심요건을 도출하였다.

3.4 3대 기본원칙 FGI 결과

전문가들은 서울이라는 도시정책 방향성을 기본원칙에 반영할 것을 제안하였다. 특히 서울시만의 고유 특성을 반영해야 하며, 일반시민뿐만 아니라 공급자와 개발자를 대상으로 확대할 필요성을 제시하였다.

다음은 전문가들의 자문 내용을 요약한 것이다.

“서울시에서 제공하는 안전, 교통 등 분야별 AI 서비스 유형과 서울시 도시정책 방향성 등을 참고하여 서울 시민의 특색 있는 윤리 가이드라인 수립이 필요하다.”

이에 연구진은 시민 삶의 질을 향상시키고 서울시의 지속가능한 발전을 위한 정책 방향을 제시하는 ‘2040 서울도시 기본계획’에 주목하였다. 동계획에서는 서울시민을 대상으로 서울의 가치에 대한 설문을 시행하였다. 시민들은 삶의 질과 도시경쟁력을 서울시의 핵심가치로 생각하였다. 연구진은 삶의 질과 도시경쟁력 관련 문헌연구를 통해 생성형 AI와의 연관성을 분석하였으며, 추가적으로 전통적 AI와 생성형 AI와의 차이점을 분석하여 총 3가지의 기본원칙을 마련하였다. 전문가들은 FGI를 통해 3가지 기본원칙 도출의 논리를 보강하였다.

다음은 전문가들의 자문 내용을 요약한 것이다.

“AI는 시민 삶의 질에 긍·부정적 영향을 동시에 미치며 이를 사전에 예방하기 위한 노력이 필요하다. 또한 도시는 자체적인 라이프사이클을 통해 발전과 쇠퇴를 하는데, 이때에 AI를 통해 쇠퇴를 보완하고 발전을 지향하여 지속가능한 도시를 만드는 것이 중요하다.”

또한 “생성형 AI는 사용자의 개입이라는 특성에 따라 전통적 AI와 차이를 두고 있으며, 이러한 특성이 환각현상 등 주요한 위험을 발생시키는 원인이다. 이를 원칙적으로 인식하고 대응해야 한다."

Ⅳ. 9대 핵심요건과 3대 기본원칙

4.1 9대 핵심요건

4.1.1 이용자의 검증 역량

이용자의 검증 역량은 생성형 AI의 허위정보 답변 유형과 연관된다. 해당 위험의 사례는 맥북 프로 던짐 케이스 등이 있다[23]. 이 경우 생성형 AI는 환각 현상으로 인해 부정확한 결과를 생성하여 이용자에게 거짓 정보를 제공할 가능성이 있다. 한국정보화진흥원은 ‘지능정보기술 이용역량 강화’ 항목을 통해 지능정보 기술의 속성을 잘 이해하고 이용자 주도로 통제할 수 있는 정보 취득과 학습 능력이 중요함을 강조한다. 따라서 이용자는 필연적으로 발생하는 결과물의 거짓 정보를 검증함과 동시에 생산적·효율적으로 활용할 수 있는 역량을 배양해야 한다[32].

또한 동 위험은 편향·차별적 결과물에 대한 점검이 필요하다. 이용자가 기획 업무 또는 창작 영역에 결과물을 활용할 때는 거짓 정보가 유용하게 활용될 가능성이 높다. 다만 객관성이 필요한 자료나 정보에 결과물을 활용할 때는 주의가 필요하다. 과학기술정보통신부는 ‘다양성 존중’ 항목을 통해 AI 전 단계에서 성별·연령·장애·지역·종교·국가 등 개인 특성에 따른 편향과 차별을 최소화해야 한다고 제시하고 있으며, 동 기준 ‘데이터 관리’ 항목에서는 데이터 수집과 활용 전 과정에서 데이터 편향성 최소화가 필요하다고 강조한다. 즉, 이용자는 객관적 자료 또는 객관성이 필요한 자리에서 결과물을 활용할 때는 결과물이 부적합할 가능성이 있음을 주의하여 사실 관계를 확인해야 한다[33].

이처럼 생성형 AI는 기술적 한계로 환각 현상과 편향된 학습이 발생할 수 있으므로 이용자는 결과물을 활용하기에 앞서 사실관계와 편향·차별적 내용을 확인하는 등 ‘이용자의 검증 역량’이 필요하다.

4.1.2 책임성

책임성은 악의적 활용 유형과 연관된다. 해당 위험 사례는 펜타곤이 폭발하는 사진이 SNS에 확산되어 주가가 일순간 하락한 케이스 등이 있다[24]. 이 경우 이용자가 의도적으로 생성형 AI 결과물을 사이버공격, 부정행위, 딥페이크 등 반사회적 행위에 오용할 가능성이 있어 타인에게 좋지 않은 영향을 끼칠 수 있다. 과학기술정보통신부는 ‘프라이버시 보호’와 ‘데이터 관리’ 항목에서 개인정보의 오용 최소화를 위한 노력이 중요하며, 데이터를 그 목적에 부합하도록 활용해야 한다고 강조하고 있다. 시장을 통해 공급되는 모든 생성형 AI 서비스는 생산성 제고 또는 효율성 증대 차원에서 애초 개발 목적에 부합하는 활용 목적을 가지고 있기 때문에 이용자는 오용을 최소화하고 생성형 AI가 개발 목적에 부합하도록 이용해야 한다[33].

또한 생성형 AI 결과물이 해킹·딥페이크 등에 악의적으로 활용될 경우 경제적·사회적으로 혼란을 초래할 가능성이 높다. 과학기술정보통신부는 ‘침해금지’ 항목을 통해 AI를 인간에게 직간접적인 해를 입히는 목적으로 활용해서는 안 된다고 강조하고, ‘공공성’ 항목을 통해 긍정적 사회변화를 이끄는 방향으로 활용되어야 한다고 제시하였다. 따라서 이용자는 자신의 악의적 활용이 사회에 미치는 영향을 고려함과 동시에 긍정적 방향으로 결과물을 활용하도록 노력해야 한다[33]. 동위험은 악의적 활용에 따른 이용자 책임도 존재한다. 한국정보화진흥원은 ‘이용자 윤리책임 숙지’ 항목에서 서비스 이용 결과가 타인의 권리침해나 안전에 미칠 수 있는 영향과 책임을 인지해야 한다고 제시하였다. 따라서 이용자는 결과물을 재미의 요소 또는 악의적 의도로 타인에게 해를 끼치게 되면 필수적으로 법제도적 책임이 발생함을 인지해야 한다[32].

이처럼 이용자는 결과물을 반사회적 행위에 오용하여 타인에게 부정적 영향을 주게 되면 법제도적으로 ‘책임성’이 부여될 수 있다는 사실을 인식해야 한다.

4.1.3 데이터 권리와 책임

데이터 권리와 책임은 개인정보·중요정보 유출 유형과 연관된다. 해당 위험 사례는 S전자 직원이 반도체 프로그램 오류 해결을 위해 프롬프트에 소스 코드를 입력한 케이스 등이 있다[25]. 이 경우 개인정보·중요정보가 생성형 AI에 유출될 경우 이용자가 프롬프트에 직접 정보를 입력했거나 입력 정보가 재학습에 활용되는 경우의 위험이 있다. 과학기술정보통신부의 ‘프라이버시 보호’ 항목은 AI를 개발하고 활용하는 전 과정에서 개인이 프라이버시를 보호해야 한다는 점을 지적한다. 따라서 이용자는 개인정보와 중요정보가 AI 서비스에 노출되지 않도록 주의를 기울여야 한다[33].

또한 개인정보·중요정보 유출 위험은 개인이 입력한 정보가 재학습될 가능성이 있다. AI 서비스의 고도화는 정보화 사업과 달리 시스템 기능을 개선하는 것이 아니라 학습을 통한 성능 고도화를 의미한다. AI 고도화에 필요한 데이터는 새롭게 구축하거나 이용자가 입력한 정보가 중요한 원천으로 활용된다. 한국정보화진흥원은 ‘투명성-개인정보 활용에 대한 감시자의 의무’로 이를 정의하면서 이용자는 지능정보기술이 개인에 관한 정보를 수집할 수 있음을 경고하고 있다. 따라서 이용자는 생성형 AI 활용에 필요한 정보를 입력하면 다른 한편에서는 해당 정보가 수집되고 있음을 인식해야 한다[32].

동 위험으로 이용자의 정보가 유출되었으면 적극적인 대응방안을 모색해야 한다. EU의 ‘개인정보 및 데이터 거버넌스’에 따르면 이용자는 자신의 개인정보를 완전히 삭제할 수 있으며, WhiteHouse의 ‘데이터 프라이버시’에 따르면 데이터 수집은 한정적으로 이루어져야 하며, 특히 개인정보의 침해를 막는 설계가 기본적으로 이루어져야 한다고 언급하고 있다[34,35].

이처럼 개인정보는 개인에게 소유권이 존재하기 때문에 어떤 상황에서도 의도하지 않은 정보가 유출되면 이용자는 자신의 정보에 대한 권리를 주장할 필요가 있다. 개인정보·중요정보는 이용자가 생성형 AI를 부주의하게 사용하거나 혹은 개발자가 부정한 방식으로 활용하더라도 데이터 소유권이 개인에게 존재하기 때문에 ‘데이터 권리와 책임’을 항상 인식하고 주장해야 한다.

4.1.4 사용가능성 확보

사용가능성 확보는 결과물의 저작권 침해 유형과 연관된다. 동위험 사례는 생성형 AI 결과물을 활용해 판매한 제품이 저작권 침해 소송으로 이어진 케이스 등이 있다[26]. 이 경우 콘텐츠 생성·이용 단계에서 의도치 않게 타인의 저작권을 침해할 가능성이 있다. 한국정보화진흥원은 ‘이용자 윤리책임 숙지’ 항목에서 이용자의 이용 결과가 타인의 권리침해나 안전에 미칠 수 있는 영향과 책임을 인지해야 한다고 밝혔다[32]. 따라서 이용자는 결과물 활용 시 타인의 권리를 침해하지 않는 방안을 지속 모색하고 자신의 독창성을 투영하는 등 창작 역량을 개발해야 한다.

또한 동위험은 결과물이 저작권을 침해할 경우 법적· 재정적 피해를 미칠 가능성이 있다. 아직 법제도적으로 생성형 AI 결과물의 저작권 문제가 명확하게 정의되지 않았지만, 미국과 일본의 정책사례를 살펴본바 개인의 창의성이 개입되지 않으면 저작권에 저촉될 가능성이 높을 것으로 추정된다. 이러한 경우 과학기술정보통신부는 ‘침해금지’ 항목을 통해 AI가 초래할 수 있는 위험과 부정적 결과에 대응방안을 마련하도록 하였으며, EU는 AI 기술이 개인과 사회에 상당한 혜택을 주지만 특정 위험도 초래할 수 있기 때문에 해당 위험을 완화하는 조치가 필요하다는 내용을 제시하였다[33,34]. 따라서 이용자는 결과물이 타인의 권리를 침해할 가능성을 염두에 두고 결과물을 활용하기 전에 국내 법제도 변화 사항을 고려할 필요가 있다.

이처럼 생성형 AI는 정보 학습 과정에서 타인의 저작권을 침해할 가능성이 있고 이용자는 자신의 창의성을 더하여 결과물에 대한 ‘사용가능성’을 확보해야 한다.

4.1.5 AI 학습데이터의 안전성

학습데이터 안전성은 저작권 침해 데이터 학습 유형과 연관된다. 동위험 사례는 미국 작가들이 챗GPT의 학습 데이터로 자신의 작품 속 글을 오용한 혐의로 오픈AI를 고소한 케이스 등이 있다[27]. 이 경우 개발자가 생성형 AI 모델 학습 시 이용 허락 조건에 맞지 않는 데이터를 이용할 경우 저작권을 침해할 가능성이 존재한다. 또한 학습데이터의 안전성은 오용·편향 데이터 학습 유형과 연관된다.

해당 위험 사례에는 모통신사의 음성인식 기기에 자동차를 좋아하냐는 질문에 여자라서 자동차에 관심이 없다고 응답한 케이스 등이 있다[28]. WhiteHouse는 ‘Data privacy’ 항목에서 개발자가 이용자 허가를 구하고 데이터의 수집 등을 수행해야 함을 강조하였다. 따라서 개발자는 학습용 데이터를 구할 때에 해당 데이터가 타인의 저작권을 침해하는지를 사전에 확인할 필요가 있다[35].

또한 AI 학습 과정에서 편향성 있는 데이터 이용 시 저작권 침해와 오용·편향 데이터 학습 위험이 발생할 가능성이 있다. AI 서비스는 학습된 데이터를 기반으로 결과값을 제시하는 형태로 구현되며, 이때 특정 영역에 데이터가 쏠리면 편향 문제가 발생할 수 있다. 과학기술정보통신부는 ‘데이터 관리’ 항목에서 편향이 최소화되도록 관리해야 함을 명시하고 있으며, EU 가이드라인은 모든 범위의 인간 능력과 기술을 고려해 편향 없는 정보를 제공해야 함을 강조하고 있다[33,34]. 따라서 개발자는 AI 서비스가 편향성을 최소화할 수 있도록 공정한 학습용 데이터를 구축해야 하며, 이를 위해 필요 시 관련 솔루션의 적극적 활용이 필요하다.

이처럼 생성형 AI는 학습 과정에서 저작권을 침해하거나 오용·편향된 데이터를 통해 학습될 가능성이 있기 때문에 개발자는 ‘AI 학습데이터의 안전성’을 확보한 데이터를 학습에 사용하기 위해 노력해야 한다.

4.1.6 AI 윤리 소양

전문가 FGI 결과 이용자의 올바른 생성형 AI 활용을 위해 이용자 스스로의 생성형 AI에 대한 올바른 이해도 증진을 위한 노력과 운영자의 지원이 필요함이 강조되었다. 이에 일반시민의 생성형 AI에 대한 인식을 제고할 수 있는 ‘AI 윤리 소양’을 핵심요건으로 추가하였다.

4.1.7 공공성

공공성은 사회적 문제 야기 유형과 연관된다. 동위험의 주요 사례는 주요 연구기관에서 향후 상당수의 일자리가 생성형 AI에 영향을 받을 수 있으며 전 세계 일자리의 많은 부분이 자동화될 수 있다고 밝힌 케이스 등이다[29]. 이 경우 이용자의 AI에 대한 과도한 의인화, 미성년자의 무분별한 사용 문제 등으로 예상치 못한 사회적 문제가 나타날 수 있으며, 운영자가 근로자에 대한 직무 전환 교육 없이 AI 서비스를 도입하여 일자리 체제를 위협할 가능성이 있다. 과학기술정보통신부는 ‘공공성’ 항목에서 AI가 개인적 행복 추구뿐만 아니라 사회적 공공성 증진과 인류 공동 이익을 위해 활용해야 함을 선언하고 있다[33]. 따라서 이용자는 생성형 AI를 개인의 행복 추구를 위해 무분별하게 사용하지 않고, 보조적 수단으로 활용하도록 노력해야 한다.

또한 동위험은 생성형 AI 확산에 따른 일자리 대체 위험이 존재한다. 컴퓨터가 사람의 일자리를 대체할 것이라는 위험은 항상 존재하였으며, 생성형 AI 서비스가 확산되면서 그 두려움은 현실로 나타나고 있다. 과학기술정보통신부는 ‘공공성’ 항목에서 AI의 순기능을 극대화하고 역기능을 최소화하기 위한 교육을 중요하게 제시하였다[33]. 생성형 AI의 활용이 확대되면서 충분한 교육과 직무 전환이 이루어지지 않으면 기존 일자리 등에 위협이 될 수 있다.

이처럼 이용자는 생성형 AI를 무분별하게 사용하지 않고 보조적 수단으로 활용해야 하며, 생성형 AI로 야기되는 일자리 변화에 적극적으로 대응하는 등의 ‘공공성’ 을 추구하기 위한 노력을 지속해야 한다.

4.1.8 생태계 지속 가능성

생태계 지속 가능성은 탄소 多 배출 유형과 연관된다. 동위험 사례는 전통적 기계보다 생성형 AI 시스템이 33배 더 많은 에너지를 사용한 케이스 등이다[30]. 이 경우 이용자와 운영자가 에너지 多소비 생성형 AI를 선택함에 따라 탄소 배출량이 증가할 가능성이 있다. 과학기술정보통신부의 ‘연대성’ 항목은 AI 전주기에 걸쳐 여러 주체들이 공정한 참여 기회를 보장해야 함을 언급한다[33]. 따라서 이용자와 운영자는 자신이 AI를 활용하려는 목적을 명확히 하고, 이를 바탕으로 에너지를 低소비하는 서비스를 선택할 필요가 있다.

또한 데이터 학습, 시스템 구축 시 최소한의 탄소배출을 위한 노력이 필요하다. 생성형 AI는 학습 과정에서 많은 양의 전기에너지를 소모하며, 향후 생성형 AI가 확산될수록 더 많은 에너지가 요구될 것으로 추정된다. EU 가이드라인은 ‘환경 및 사회복지’ 항목을 통해 AI 시스템이 지속가능한 성장을 이끌도록 활용되어야 함을 강조하고 있다[34]. 에너지를 많이 소모하는 생성형 AI가 지속 가능한 성장에 긍정적으로 작용하기 위해서는 개발자의 AI 시스템에 대한 친환경적 설계가 필요하다.

이처럼 생성형 AI가 사회 전반으로 확산되면 더 많은 전기에너지와 탄소가 발생한다. 따라서 이용자는 장기적 관점에서 환경적 위험을 생태계와 인류 스스로에게 미치는 영향을 감당할 수준으로 줄이기 위한 ‘생태계 지속가능성’을 고려할 필요가 있다.

4.1.9 보안성

보안성은 생성형 AI 자체의 보안 유형과 연관된다. 동 위험은 오픈소스의 경우 자사의 보안 위험에 대해 충분히 설명하지 않고 있는 사례 등이 있다[31]. 이 경우 이용자와 운영자는 생성형 AI와 연계된 서비스의 보안 성능이 충분하지 않을 수 있다는 사실에 주의해야 한다. 과학기술정보통신부는 ‘안전성’ 항목을 통해 AI 개발 및 활용 전 과정에서 잠재적 위험을 방지하고 안전을 보장해야 하며, 이용자가 침해 사항을 제어할 수 있도록 기능을 갖추어야 한다고 제시되어 있다[33]. 즉, 생성형 AI 뿐만 아니라 디지털 기술은 해킹 등 보안에 취약점이 존재하기 때문에 이용자와 운영자는 이에 따라 발생할 위험에 대해 유념하여 서비스를 도입·활용해야 한다. 또한 생성형 AI 자체 보안에 따른 위험 관련 보안 사항을 이용자에게 적시에 명확히 설명할 필요가 있다. 보안은 100%가 존재하지 않기 때문에 항상 주의를 요해야 한다. 다만 이용자가 보안 사항을 인지하고 기억할 수 있도록 개발자의 노력이 필요하다. WhiteHouse는 ‘Notice and explanation’ 항목에서 개발자가 이용자에게 시스템을 책임지는 조직과 결과물에 대한 설명을 적시하라고 제안한다[35]. 따라서 개발자는 적재적소에 서비스 보안사항을 게시해야 한다. 동위험으로 발생하는 보안사고 이후 이용자의 보호 방안을 적극적으로 모색할 필요가 있다. 보안사고 이후 이용자가 어떠한 조치를 취할 것인가가 추가적인 피해를 예방할 수 있는 지름길이다. 이용자가 적절한 조치를 취하기 위해서는 해당 서비스 보안에 대한 책임주체가 명확해야 하며, 이용자는 피해 사실에 대한 문제를 공식적으로 제기할 수 있는 창구가 필요하다. 과학기술정보통신부의 ‘책임성’ 항목에서는 AI 개발·활용과정에서 책임 주체 설정이 필요함을 제시하고, EU는 ‘책임성’ 항목에서 AI 시스템과 그 결과에 대한 책임을 보장하기 위한 구조적 장치를 마련해야 함을 권고하고 있다[33,34]. 따라서 이용자는 생성형 AI 서비스를 활용하면서 보안사고가 발생하면 해당 사고의 책임과 보호조치를 공식적 창구를 통해 요구할 수 있어야 한다.

이처럼 생성형 AI는 서비스별로 불완전한 보안 성능을 가지고 있어 해당 서비스의 보안사항을 사전에 확인해야 하고, 사고 발생 시 책임과 보호조치를 요구하여 ‘보안성’을 확보해야 한다.

4.2 3대 기본원칙

본 연구에서는 서울시민이 2040 서울도시에 대한 주요 핵심가치로 선정한 ‘삶의 질, 도시경쟁력’을 바탕으로 문헌연구를 기반으로 생성형 AI의 3대 기본원칙을 제시한다. 2040 서울도시 기본계획에서는 삶의 질을 디지털 전환에 따른 개인화된 사회 특성을 반영하여 도시공간의 방향성을 개개인 중심으로 제시하는 것이라고 정의하였다. 또한 도시경쟁력에 대해서는 디지털 전환, 글로벌화 등 사회·경제 여건 변화에 대응하고, 지역 특성을 고려한 일자리를 형성하는 것으로 정의한다[36].

<그림 1> 3대 기본원칙과 9대 핵심요건

4.2.1 이용자 중심

생성형 AI는 이용자의 질문 방식·의도·편향에 따라 새로운 콘텐츠를 생성하는 기술이며, 훈련 데이터와 유사한 결과물을 산출한다는 특징이 있다. 반면 전통적 AI는 특정 작업의 지능적 수행에 특화되어 있으며, 학습된 데이터를 기반으로 결정·예측 등의 기능을 수행한다.

전통적 AI와 생성형 AI의 차이는 결과물에 이용자의 개입 수준이 다르다는 점이다. 생성형 AI는 이용자가 목적을 설정하고 프롬프트 입력에 따라 결과물이 달라지지만, 전통적 AI는 개발자가 설계한 목적에 따라 결과물이 제한적으로 도출된다. 이에 생성형 AI는 이용자의 가치관과 윤리의식에 따라 결과물이 달라질 수 있다[11].

결론적으로 생성형 AI는 전통적 AI보다 이용자 참여의 영향력이 크고 그만큼 악용 가능성도 높다. 따라서 본 연구는 이러한 특성을 주요 고려사항으로 설정하고, 이를 ‘이용자 중심’ 원칙으로 정의한다.

4.2.2 위험예방

AI는 편의를 제공하여 삶의 질을 제고하지만 동시에 일자리 대체, 사생활 침해, 데이터 오남용 등 삶의 질을 저하시킬 위험을 동반한다. 다수의 연구에 따르면 AI는 행정서비스 품질을 제고하고 도시 인프라를 지능화하는데 긍정적 효과가 있지만 자동화에 따른 사회적 혼란, 데이터 편향, 법적 책임 문제 등 부정적 효과에 대한 우려도 제기된다[37,38].

연구자들은 생성형 AI에 따른 긍정과 부정 효과가 동시에 커지고 있는 만큼 위험을 최소화하기 위한 사회적 제도와 비용 분담 메커니즘이 필요하다고 지적한다[39]. 따라서 본 연구에서는 AI 도입으로 발생하는 위험을 최소화하는 노력이 결국 인간 삶의 질을 향상시키는 방향임을 강조하며, 이를 ‘위험예방’ 원칙으로 정의한다.

4.2.3 지속가능성

AI 등 디지털 기술은 과거부터 도시경쟁력 제고의 수단으로 활용되어 왔다. 유비쿼터스, 스마트시티 등 용어는 변하였지만 핵심은 동일하게 도시 경쟁력 강화였다. 최근 환경오염, 재난, 사회 불평등 등 도시 문제가 심화되면서 도시 경쟁력의 지속가능성 측면에서 AI 기술이 다시 주목받고 있다[40,41].

특히, 서울시는 AI CCTV 기반 실종자 고속검색 시스템, 다중인파 밀집지역 예·경보 시스템 등 도시경쟁력의 회복과 지속가능성 확보에 기여하기 위한 AI 서비스를 도입하였다[66]. 이에 본 연구는 생성형 AI가 도시경쟁력을 강화하고 지속가능한 성장에 기여할 수 있다는 점을 세 번째 고려사항으로 제시하며, 이를 ‘지속가능성’ 원칙으로 정의한다.

Ⅴ. 결론

민간 분야는 생성형 AI의 빠른 도입을 위해 노력하고 있으며, 공공 분야는 생성형 AI 관련 예산이 급증하고 있어 2025년도는 상당수의 관련 서비스가 기획·개발·확산될 것으로 예상된다. 생성형 AI는 기존 AI 대비 환각 현상, 이용자 오용 등 부작용이 나타날 가능성이 높기 때문에 이에 대한 사회적 논의가 다양하게 진행되고 있다. 본 연구는 이러한 논의 중 하나로 생성형 AI의 이해관계자가 혁신의 장점을 수용하고 위험을 예방하는 조화로운 윤리기준과 원칙을 마련하기 위해 노력하였다.

이를 위해 서울시민이 지향해야 하는 핵심가치를 본 윤리 기준이 나아가야 할 방향과 기본원칙에 반영하였으며, 국내외 주요 기관에서 제시한 생성형 AI의 위험을 조사·분석하여 유형화하였고, 유형별 이해관계자가 자율 준수해야 할 9대 핵심요건을 제시하였다.

본 연구는 다음과 같은 학술적 시사점을 가진다. 첫째, 기존 AI 윤리 논의는 주로 총론적 원칙에 집중하였으나, 본 연구는 서울이라는 지역적 맥락에서 생성형 AI 윤리기준을 제시하였다. 이를 통해 지역 맥락 기반의 윤리 프레임워크를 학술적으로 확장할 수 있었다. 둘째, 기존 AI 윤리와 달리 이용자 개입에 따른 위험을 기반으로 윤리 원칙을 제시하는 등 차별화를 위해 노력하였다. 셋째, 기존 연구에서 많이 다루지 않았던 탄소 등 에너지 관련 지표를 AI 윤리 관점에서 다루었다. 실무적 시사점은 첫째, 이용자·개발자·운영자 관점에서 준수해야 할 핵심요건과 세부요건을 제시하여 각 주체의 행동·사고의 기준점을 제시하고자 노력하였다. 둘째, 생성형 AI 활용의 다양한 위험 사례를 제시하여 실질적으로 참고할 수 있는 자료를 제시하였다. 셋째, 지자체 이해관계자가 준수할 윤리 기준을 제시하였다.

다만 생성형 AI의 빠른 기술개발 속도와 향후 연계될 서비스가 다양해질 것을 고려하면 본 윤리기준이 제시하는 원칙과 요건으로 모든 위험을 예방하기에 충분하지 않을 수 있다. 따라서 생성형 AI의 새로운 위험들을 기존 윤리기준에 수용하고 보완하기 위한 이해관계자간 지속적·적극적 논의가 필요하겠다. 또한 본 연구의 핵심요건과 기본원칙의 도출은 해석적 매칭을 기반으로 하고 있다. 따라서 향후 연구에서는 델파이 기법 등 보다 과학적인 방법론을 적용한 검증이 필요하다.