Artificial Agent-based Bargaining Game considering the Cost incurred in the Bargaining Stage

교섭 단계에서 발생하는 비용을 고려한 인공 에이전트 기반 교섭 게임

Abstract

According to the development of artificial intelligence technology, attempts have been made to interpret phenomena in various fields of the real world such as economic, social, and scientific fields through computer simulations using virtual artificial agents. In the existing artificial agent-based bargaining game analysis, there was a problem that did not reflect the cost incurred when the stage progresses in the real-world bargaining game and the depreciation of the bargaining target over time. This study intends to observe the effect on the bargaining game by adding the cost incurred in the bargaining stage and depreciation of the bargaining target over time (bargaining cost) to the previous artificial agent-based bargaining game model. As a result of the experiment, it was observed that as the cost incurred in the bargaining stage increased, the two artificial agents participating in the game had a share close to half the ratio and tried to conclude the negotiation in the early stage.

인공지능 기술이 발전함에 따라 경제, 사회, 과학 분야 등 실세계 다양한 분야의 현상을 가상의 인공 에이전트를 활용한 컴퓨터 시뮬레이션을 통해 해석하려는 시도가 이어져 왔다. 기존의 인공 에이전트 기반 교섭 게임 해석에서는 실세계의 교섭 게임에서 단계가 진행될 때 발생하는 비용 및 시간이 지남에 따라 교섭 대상이 감가상각 되는 것을 반영하지 않은 문제가 있었다. 본 연구에서는 기존의 인공 에이전트 기반 교섭 게임 모델에 교섭 단계에서 발생하는 비용 및 교섭 대상 감가상각을 (교섭 비용)을 반영하여 그 효과를 관찰하였다. 실험 결과 교섭 단계에서 발생하는 비용이 커질수록 게임에 참여하는 두 인공 에이전트는 반반 비율에 가까운 몫을 가졌으며 이른 단계에서 협상을 타결하는 현상을 관찰하였다.

I. 서론

스타(Ståhl)[1]의 교섭 게임(Bargaining Game)에 관한 이론적 연구를 바탕으로 시작된 순차 교섭 게임에 관한 연구는 전자상거래[2], 노사협상[3], 분쟁해결[4] 등의 다양한 사회과학 분야의 양자 간 협상 연구에 중요한 분석 도구로 활용되어 왔다. 교섭 게임 이론 분석연구 초기에는 게임에 사람이 직접 경기자로 참여한 결과를 바탕으로 분석 연구하였으나 근래에는 인공에이전트(Artificial Agent)를 게임에 경기자로 참여시키는 컴퓨터 시뮬레이션으로 게임이론 분석이 이루어지고 있다.

인공에이전트를 활용한 교섭 게임 분석 연구 초창기에는 유전 알고리즘, 진화전략, 유한 오토마타, 강화학습이론 등을 기반으로 동일한 전략을 가진 인공에이전트간의 상호작용(within-model interactions)을 분석하려는 연구들이 주를 이루어 왔다. 최근에 성명호[5]는 다양한 성향과 전략을 가진 참여자들 사이에 상호작용(between-model interactions)이 발생하는 교섭게임을 분석하기 위해 유전 알고리즘과 입자 군집 최적화 기반의 두 이질적인 인공 에이전트 간에 공진화를 통한 교섭 게임을 실시하여 결과를 관찰하였다. 관찰 결과 입자 군집 최적화가 유전 알고리즘에 비해 더 우수함을 보였다. 이상욱[6]은 입자 군집 최적화와 차분 진화 알고리즘 기반의 인공 에이전트 간의 공진화를 통한 교섭게임을 실시하여 결과를 관찰하였다. 관찰 결과 입자 군집 최적화가 차분 진화 알고리즘에 비해 더 우수함을 보였다.

본 연구에서는 기존의 인공 에이전트 기반 교섭 게임에서 고려하지 않았던 교섭 비용 요소를 반영하고 그 영향을 관찰하고자 한다.

II. 교섭 게임

1. 순차 교섭 게임

순차 교섭 게임이란 두 명의 참여자가 주어진 게임 단계 동안 교섭 대상을 나누는 게임을 말한다. 게임의 각 단계에서 참여자 중 1명은 제안자가 되며 나머지 1명은 응답자가 된다. 제안자는 응답자에게 양보할 교섭 대상의 크기를 제시하고 응답자는 제안자의 제안을 수용할 것인지 여부를 결정한다. 만약 응답자가 제안자의 제안을 수용하면 응답자는 제안자가 제안한 크기만큼의 교섭 대상을 획득하고 제안자는 교섭 대상의 총량에서 응답자에게 제시한 크기를 제외한 양만큼의 교섭 대상의 크기를 획득하고 게임은 종료된다. 그러나 응답자가 제안을 거부하면 두 참여자 모두 아무것도 획득하지 못하고 제안자와 응답자의 역할을 서로 바꾸어 다음 단계로 넘어간다. 만약 최종단계에서도 응답자가 제안자의 제안을 거부하면 두 참여자는 아무것도 얻지 못하고 순차 교섭 게임은 종료된다.

순차 교섭 게임에 있어서 제안자는 응답자에게 양보할 교섭 대상의 크기를 결정할 권한을 가지고 있는 반면 응답자는 제안자가 제시한 내용에 대한 수용 여부 권한만 가지고 있어 제안자가 응답자에 비해 유리하다고 볼 수 있다. 특히 순차 교섭 게임의 마지막 단계는 최후통첩 게임(Ultimatum Game)과 같아지므로 응답자는 매우 적은 몫의 교섭 대상만 제안 받더라도 이론적으로는 수락할 수밖에 없는데, 이것을 내쉬균형(Nash Equilibriums) 중 부분게임완전균형(Sub-Game Perfect Equilibrium)이라 한다. 그러나 페이지(Page)가 사람들을 대상으로 한 순차 교섭 게임 실험 결과는 이론과 달리 교섭 게임의 최후 단계에서 제안자가 소량의 몫을 제안하는 경우, 응답자는 제안을 거부하였으며 대부분 교섭 대상의 절반 수준을 제시받았을 때만 제안을 수락하였다[7]. 이론적인 예측과 실험 결과 사이의 괴리가 발생하는 원인은 게임 참여자의 공평성(fairness) 및 완전합리성(common knowledge of rationality) 때문인 것이 확인되었다[8-10].

2. 교섭 비용

순차 교섭 게임에서 협상 단계가 결렬되어 다음 단계로 넘어갈 때 발생하는 비용을 교섭 비용이라고 한다. 교섭 비용은 협상 단계를 진행하는 과정에서 발생하는 비용과 협상 과정에서 시간이 지남에 따라 교섭 대상이 감가상각 되는 것을 포함한다. 예를 들면 교섭 대상이 스포츠 선수인 교섭 게임의 경우 스포츠 선수 에이전트가 구단주와 선수 몸값을 협상할 때 인건비 등의 부대 비용은 협상 단계를 진행하는 과정에서 발생하는 비용이며 협상이 결렬되어 다음 단계로 넘어가는 단계에서 시간이 지연되어 스포츠 선수의 기량 저하로 선수의 가치가 하락하는 것이 교섭 대상이 감가상각 되는 비용에 해당한다. 이론상으로 교섭 비용이 0에 가까울 경우 최후의 제안자가 대부분의 이익을 가져가며 교섭 비용이 교섭 대상의 가치인 재화의 크기에 가까우면 반반의 이익을 갖는다.

III. 진화 연산 기반 인공 에이전트

진화 연산(Evolutionary Computation)이란 자연의 진화 현상에서 영감을 얻어 개발된 유전 알고리즘, 유전 프로그래밍, 진화 전략 등을 통칭하는 방법론을 말하며 수학적으로 전역 최적해를 구하기 어려운 조합 최적화 문제를 해결하는데 주로 사용된다.

주어진 문제에 진화 연산을 적용하는 방법은 [그림 1]과 같다. 먼저 문제에 대한 해표현을 정의하고 초기화를 통해 임의로 해집단을 생성한다. 그 다음 평가를 통해 해집단의 적합도를 구하고 진화 연산 종류 별 특징에 부합하는 연산을 수행하며 평가와 연산은 종료 조건을 만족할 때까지 반복된다.

그림 1. 진화 연산 알고리즘 흐름도

진화 연산 기반 인공 에이전트의 해는 [그림 2]와 같이 표현하였다. 교섭 대상은 10의 실수 값을 가지는 재화로 정의하였고 제안자로 시작할 때와 응답자로 시작할 때를 구분하여 제안자로 시작할 경우 왼쪽의 전략을, 응답자로 시작할 경우 오른쪽의 전략을 사용한다.

그림 2. 해 표현

예를 들어 [그림 2]의 해가 게임의 참여자 2명에 모두 활용되고 참여자1이 제안자, 참여자2는 응답자로 게임에 참여한다고 하자. 참여자1이 제안자로서 먼저 참여하고 게임 첫 단계에서는 1.9 (p₁)의 재화를 제시한다. 참여자2는 응답자로 먼저 참여하고 게임 첫 단계에서 9.0(d₁)이상 제안 받지 않으면 거절하므로 게임 첫 번째 단계에서는 협상이 실패하고 두 번째 단계로 넘어간다. 두 번째 게임 단계에서는 참여자2가 3.4(p₂)를 제안하고 참여자1이 8.7(d₂)보다 적어서 거절한다. 세 번째 게임 단계에서 참여자1이 3.5(p₃)를 제안하고 참여자2는 7.8(d₃)보다 적어서 거절한다. 마지막 단계인 네 번째 게임 단계에서 참여자 2가 4.5(p₄)를 제안하고 참여자 1은 4.0(d₄)보다 크므로 교섭이 성공하여 참여자1은 6.0 참여자2는 4.0을 획득하고 게임은 종료된다.

1. 유전 알고리즘 기반 인공 에이전트

유전 알고리즘은 생명체가 환경에 적응하면서 진화하는 현상에 영감을 얻어 만들어진 휴리스틱 알고리즘으로 1975년 존 홀랜드(John Holland)에 의해 처음 소개되었다[11]. 다윈의 적자생존 이론을 바탕으로 우수한 해가 선택되어 살아남아 자손을 남기며 자손 또한 평가와 선택에 의해 우수한 자손만이 살아남는 과정을 반복하며 진화한다. 자손을 생성하는 방법으로 교차 연산과 변이 연산이 적용된다. 본 논문에서는 그림 3.과 같이 토너먼트 선택 (Tournament Selection), 산술교차 (Arithmetic Crossover), 무작위 초기화 기반의 돌연변이 연산을 사용하였다.

그림 3. 유전 알고리즘 인공 에이전트 연산

2. 입자군집최적화 기반 인공 에이전트

입자 군집 최적화 방법은 군집 지능 기반의 전역 최적화 기법으로 1995년 제임스 케네디(James Kennedy)와 러셀 에버하트(Russell Eberhart)에 의해 처음 소개되었다[12]. 유전 알고리즘의 초기화 처럼 무작위로 후보해 집단을 생성하며 후보해를 입자의 위치라고 부른다. 이렇게 생성된 입자의 위치들을 평가한 후 그림 4.의 연산 과정과 같이 최적의 입자 위치를 갱신하고 갱신함수를 통해 입자의 위치와 속도를 갱신한다.

그림 4. 입자 군집 최적화 인공 에이전트 연산

입자 속도 갱신 함수는 식(1), 입자 위치 갱신함수는 식(2)와 같다.

v_i,j(t+1) = wv_i,j(t) + c₁R₁(P_best,i,j - x_i,j(t)) + c₂R₂(G_best,i,j - x_i,j(t))       (1)

x_i,j(t+1) = x_i,j(t) + v_i,j(t+1)       (2)

여기서 t는 세대 수, i는 해집단 인덱스, j는 해 차원 인덱스를 의미한다. 그리고 w는 관성 상수, c₁과 c₂는 가속 상수, R₁과 R₂는 0과 1 사이의 난수를 의미한다. 또한 v_i,j(t)는 t 세대 수에서 i번째 해의 j차원 속도, x_i,j(t)는 t 세대 수에서 i번째 해의 j차원의 위치, P_best,i,j는 i번째 해의 j차원의 지역 최적해, G_best,i,j는 i번째 해의 j차원의 전역 최적해를 의미한다.

클럭(Clerc)[13]은 가속 상수와 관성 상수 사이에 관계를 중간 매개 변수 ∅로 정의하고 식(3)과 같이 연관시켜 ∅가 [2.01, 2.4] 사이의 값을 가질 때 입자 군집 최적화가 좋은 수렴성을 가질 수 있음을 보였다.

\(\begin{array}{l} w=\frac{1}{\phi-1+\sqrt{\phi^{2}-2 \phi}} \\ c_{1}=c_{2}=\phi w \end{array}\)      (3)

입자 군집 최적화 기법은 관성 상수 값에 따라 속도가 발산할 위험이 있기 때문에 최대 속도를 설정하여 속도 갱신이 설정된 최대 속도 (V_max) 넘지 못하도록 제한한다. 이에 따라 속도는 [-V_max , V_max] 사이의 값을 가지며, 식(1)로 계산된 속도의 값이 이 범위를 벗어난 경우 -V_max 또는 V_max 값으로 제한된다.

입자 군집 최적화는 G_best,i,j를 어떻게 설정하느냐에 따라 전역 입자 군집 최적화 (Global Particle Swarm Optimization)와 지역 입자 군집 최적화(Local Particle Swarm Optimization)로 나뉜다. 전역 입자군집 최적화는 G_best,i,j를 전체 집단 중에 가장 우수한 해를 선택하는 것이며, 지역 입자 군집 최적화는 관계망(Topology)에 의해 형성된 이웃해 중 가장 우수한 해를 선택하는 것이다. 본 논문에서는 지역 입자 군집 최적화에 본 폰노이만 관계망(Von Neumann Topology)을 사용하였다.

3. 차분 진화 알고리즘 기반 인공 에이전트

차분 진화 알고리즘은 비선형이고 미분 불가능한 연속 공간 함수를 최적화하기 위해 1997년 스톤(Strone)과 프라이스(Price)에 의해 처음 제안되었다[14]. 유전 알고리즘 및 입자 군집 최적화와 같이 무작위로 해 집단을 생성한 후 평가하는 과정은 동일하게 진행된다. 그 다음은 [그림 5]와 같이 부모벡터와 시행벡터를 균일 교차하여 생성된 자식벡터가 부모벡터 보다 우수하면 대치하는 연산이 진행된다.

그림 5. 차분 진화 알고리즘 인공 에이전트 연산

시행벡터를 생성하는 방법은 여러 가지가 있으나 본 논문에서는 전역 최적해를 활용하여 수렴성이 가장 우수한 식(4)와 같은 방법을 사용한다.

\(\bar{V}(t+1)=\bar{G}(t)+F \cdot\left(\bar{X}_{r 1}(t)-\bar{X}_{r 2}(t)\right)\)      (4)

여기서 t는 세대 수, F는 0과 1사이의 난수, #는 t 세대 수에서의 시행벡터, #는 t 세대 수에서의 전역 최적해, #, #는 t 세대 수에서 대치 연산으로 선택된 해집단에서 랜덤하게 선택된 2개의 해를 의미한다.

자식벡터 생성을 위한 부모벡터와 시행벡터 간의 균일교차 방법은 [그림 6]과 같이 부모벡터 요소와 시행 벡터 요소를 반반의 확률로 선택하여 진행된다.

그림 6. 균일 교차

IV. 공진화

3가지의 진화 연산 기법 기반 인공 에이전트 간의 공진화를 이용한 순차 교섭 게임의 흐름도는 [그림 7]과 같다. 처음 순서로 경쟁할 두 인공 에이전트 해집단을 무작위로 초기화 한다. 그 다음 인공 에이전트2에 대한 인공 에이전트1의 평가를 실시하고 평가결과를 바탕으로 인공 에이전트1의 연산 과정을 통해 진화한다. 그 후 인공 에이전트2가 같은 과정을 통해 진화한다. 평가를 통한 해의 적합도는 경쟁 인공 에이전트 집단에서 단체 교섭 게임에 임할 상대 해를 선발한 후 [그림 2]와 같이 제안자로 시작하는 것과 응답자로 시작하는 것을 각각 게임에 참여시켜 획득한 몫을 2로 나누어 (평균하여) 계산한다. 경쟁 인공 에이전트 집단에서 게임에 임할 상대를 고를 때 복수개로 정할 수 있으며, 복수개로한 경우에는 각각의 상대와 게임을 하여 계산한 적합도를 평균한 값을 그 해의 적합도로 사용한다.

그림 7. 공진화 알고리즘 흐름도​​​​​​​

V. 실험 결과

1. 실험 환경

실험환경은 Intel(R) Core(TM) i7-9700 CPU 3.00GHz 성능의 옥타코어 CPU와 8GB메모리의 컴퓨팅 환경에서 Visual studio 2019 소프트웨어로 코딩하여 구현하였다. 교섭 비용이 순차 교섭 게임에 미치는 영향을 관찰하기 위하여 교섭 비용 δ를 [0, 1]사이의 실수 값으로 정의하고 게임의 총 단계를 n이라 할 때 현 단계에서 협상이 결렬되어 다음 단계로 넘어가면 교섭 대상의 감가상각 비율을 δ/n을 적용하였다. 만약 δ = 1이고 마지막 단계의 협상이라면 감가상각 비율이 1이 되어 협상이 성공하더라도 두 참여자가 획득하는 몫은 0이 된다.

본 연구에서는 3가지의 진화 연산에 대해 아래와 같은 조합으로 공진화 실험을 진행하였고 δ는 0.1 단위로 [0, 1] 사이의 값에 대해 실험을 진행하였다.

- 유전 알고리즘 vs 입자 군집 최적화

- 유전 알고리즘 vs 차분 진화 알고리즘

- 입자 군집 최적화 vs 차분 진화 알고리즘

실험에 사용한 해집단의 수는 30, 최대 세대(Generation) 수는 10,000, 평가 시 교섭게임에 임할 상대 해의 수는 전체 해집단 수의 절반인 15, 교섭게임의 최대 단계는 10단계로 설정하였다.

3가지 진화 연산에 사용된 파라미터는 [표 1]과 같다.

표 1. 진화 연산 파라미터 설정​​​​​​​

2. 유전 알고리즘 vs 입자 군집 최적화

2.1 성능 비교

[그림 8]과 [그림 9]는 유전 알고리즘과 입자 군집 최적화 간에 공진화를 통한 순차 교섭 게임에서 교섭 비용이 0일 때와 1일 때의 결과를 보여주고 있다. 교섭비용이 있을 때가 없을 때 보다 두 참여자가 공평하게 반반의 비율에 가까운 몫을 가져가는 것을 확인할 수 있다.

그림 8. 유전 알고리즘 vs 입자 군집 최적화 (교섭 비용: 0)

그림 9. 유전 알고리즘 vs 입자 군집 최적화 (교섭 비용: 1)​​​​​​​

2.2 교섭 비용 반영 비율에 따른 실험 결과

[표 2]는 유전 알고리즘과 입자 군집 최적화 간에 공진화를 통한 교섭게임에서 교섭 비용이 게임에 참여하는 두 참여자가 획득하는 재화와 협상 성공 단계에 미치는 영향에 대해 보여주고 있다. 교섭 비용이 증가 할수록 협상이 성공하는 단계가 빨라짐을 확인할 수 있다.

표 2. 교섭 비용 반영 비율별 평균 획득 재화 및 협상 성공 단계 (유전 알고리즘 vs 입자 군집 최적화)

3. 유전 알고리즘 vs 차분 진화 알고리즘

3.1 성능 비교

[그림 10]과 [그림 11]은 유전 알고리즘과 차분 진화 알고리즘 간에 공진화를 통한 순차 교섭 게임에서 교섭 비용이 0일 때와 1일 때의 결과를 보여주고 있다. 교섭 비용이 있을 때가 없을 때 보다 두 참여자가 공평하게 반반의 비율에 가까운 몫을 가져간다는 것을 확인할 수 있다.

그림 10. 유전 알고리즘 vs 차분 진화 알고리즘 (교섭 비용: 0)

그림 11. 유전 알고리즘 vs 차분 진화 알고리즘 (교섭 비용: 1)

3.2 교섭 비용 반영 비율에 따른 실험 결과

[표 3]은 유전 알고리즘과 차분 진화 알고리즘 간에 공진화를 통한 교섭게임에서 교섭 비용이 교섭 비용이 게임에 참여하는 두 참여자가 획득하는 재화와 협상 성공 단계에 미치는 영향에 대해 보여주고 있다. 교섭 비용이 증가 할수록 협상이 성공하는 단계가 빨라짐을 확인할 수 있다.

표 3. 교섭 비용 반영 비율별 평균 획득 재화 및 협상 성공 단계 (유전 알고리즘 vs 차분 진화 알고리즘)​​​​​​​

4. 입자 군집 최적화 vs 차분 진화 알고리즘

4.1 성능 비교

[그림 12]과 [그림 13]은 입자 군집 최적화와 차분 진화 알고리즘 간에 공진화를 통한 순차 교섭 게임에서 교섭 비용이 0일 때와 1일 때의 결과를 보여주고 있다. 교섭비용이 있을 때가 없을 때 보다 두 참여자가 공평하게 반반의 비율에 가까운 몫을 가져간다는 것을 확인할 수 있다.

그림 12. 입자 군집 최적화 vs 차분 진화알고리즘 (교섭 비용: 0)

그림 13.입자 군집 최적화 vs 차분 진화 알고리즘 (교섭 비용: 1)

4.2 교섭 비용 반영 비율에 따른 실험 결과

[표 4]는 입자 군집 최적화와 차분 진화 알고리즘 간에 공진화를 통한 교섭 게임에서 교섭 비용이 교섭 비용이 게임에 참여하는 두 참여자가 획득하는 재화와 협상 성공 단계에 미치는 영향에 대해 보여주고 있다. 교섭 비용이 증가할수록 협상이 성공하는 단계가 빨라짐을 확인할 수 있다.

표 4. 교섭 비용 반영 비율별 평균 획득 재화 및 협상 성공 단계 (입자 군집 최적화 vs 차분 진화 알고리즘)​​​​​​​

VI. 결론

본 연구에서는 순차 교섭 게임의 협상 단계에서 발생하는 교섭 비용이 게임의 결과에 어떤 영향을 미치는지 관찰하였다. 인공에이전트 설계에는 유전 알고리즘, 입자 군집 최적화, 차분 진화 알고리즘의 3가지 진화 연산 기법이 적용되었으며 순차 교섭 게임 실험은 이 3가지 기법 간의 공진화를 통해 최적의 전략을 찾아내기 위해 진화하는 형태로 진행되었다. 실험 결과 교섭 게임에 참여하는 두 경기자는 교섭 비용이 증가할수록 협상을 이른 단계에서 타결하려하고 교섭 대상을 두 참여자가 공평하게 나누는 방향으로 진화하는 현상을 관찰하였다. 순차 교섭 게임에서 단계가 진행될수록 나눌 수 있는 교섭 대상의 크기가 작아진다는 사실을 두 경기자가 알고 있다면 이득을 극대화 하기 위해 단계가 많이 진행되기 전에 협상을 타결하려하는 것은 당연한 현상으로 생각된다. 또한 두 참여자가 공평하게 교섭 대상을 나누려고 하는 것도 제안자가 응답자가 받아들일 수 있는 안을 제시해야 이른 단계에서 협상에 성공할 수 있으므로 이득을 최대화하기 위해 진화한 결과물로 생각된다.

본 연구에서 실세계의 교섭게임의 특징이 인공지능기반 시뮬레이션으로도 설명이 가능함을 보여주었다. 향후 연구로 죄수 딜레마 게임 등의 실세계를 모사한 게임에 다한 인공지능 기반 시뮬레이션으로 설명하는 연구를 진행하고자 한다.