• 감성과학
• /
• 제20권4호
• /
• pp.101-112
• /
• 2017

We investigated the neural representation of reward probability recognition and its neural connectivity with other regions of the brain. Using functional magnetic resonance imaging (fMRI), we used a simple guessing task with different probabilities of obtaining rewards across trials to assay local and global regions processing reward probability. The results of whole brain analysis demonstrated that lateral prefrontal cortex, inferior parietal lobe, and postcentral gyrus were activated during probability-based decision making. Specifically, the higher the expected value was, the more these regions were activated. Fronto-parietal connectivity, comprising inferior parietal regions and right lateral prefrontal cortex, conjointly engaged during high reward probability recognition compared to low reward condition, regardless of whether the reward information was extrinsically presented. Finally, the result of a regression analysis identified that cortico-subcortical connectivity was strengthened during the high reward anticipation for the subjects with higher cognitive impulsivity. Our findings demonstrate that interregional functional involvement is involved in valuation based on reward probability and that personality trait such as cognitive impulsivity plays a role in modulating the connectivity among different brain regions.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.331-338
• /
• 2022

차기 상태 천이 표상(Successor representation, SR) 기반 강화학습 알고리즘은 두뇌에서 발현되는 신경과학적 기전을 바탕으로 발전해온 강화학습 모델이다. 해마에서 형성되는 인지맵 기반의 환경 구조 정보를 활용하여, 변화하는 환경에서도 빠르고 유연하게 학습하고 의사결정 가능한 자연 지능 모사형 강화학습 방법으로, 불확실한 보상 구조 변화에 대해 빠르게 학습하고 적응하는 강인한 성능을 보이는 것으로 잘 알려져 있다. 본 논문에서는 표면적인 보상 구조가 변화하는 환경뿐만 아니라, 상태 천이 확률과 같은 환경 구조 내 잠재 변수가 보상 구조 변화를 유발하는 상황에서도 SR-기반 강화학습 알고리즘이 강인하게 반응하고 학습할 수 있는지 확인하고자 한다. 성능 확인을 위해, 상태 천이에 대한 불확실성과 이로 인한 보상 구조 변화가 동시에 나타나는 2단계 마르코프 의사결정 환경에서, 목적 기반 강화학습 알고리즘에 SR을 융합한 SR-다이나 강화학습 에이전트 시뮬레이션을 수행하였다. 더불어, SR의 특성을 보다 잘 관찰하기 위해 환경을 변화시키는 잠재 변수들을 순차적으로 제어하면서 기존의 환경과 비교하여 추가적인 실험을 실시하였다. 실험 결과, SR-다이나는 환경 내 상태 천이 확률 변화에 따른 보상 변화를 제한적으로 학습하는 행동을 보였다. 다만 기존 환경에서의 실험 결과와 비교했을 때, SR-다이나는 잠재 변수 변화로 인한 보상 구조 변화를 빠르게 학습하지는 못하는 것으로 확인 되었다. 본 결과를 통해 환경 구조가 빠르게 변화하는 환경에서도 강인하게 동작할 수 있는 SR-기반 강화학습 에이전트 설계를 기대한다.

• Journal of Information Processing Systems
• /
• 제19권2호
• /
• pp.240-257
• /
• 2023

The industrial Internet of Things (IIoT) is characterized by intelligent connection, real-time data processing, collaborative monitoring, and automatic information processing. The heterogeneous IIoT devices require a high data rate, high reliability, high coverage, and low delay, thus posing a significant challenge to information security. High-performance edge and cloud servers are a good backup solution for IIoT devices with limited capabilities. However, privacy leakage and network attack cases may occur in heterogeneous IIoT environments. Cloud-based multi-party computing is a reliable privacy-protecting technology that encourages multiparty participation in joint computing without privacy disclosure. However, the default cloud selection method does not meet the heterogeneous IIoT requirements. The server can be dishonest, significantly increasing the probability of multi-party computation failure or inefficiency. This paper proposes a blockchain and smart contract-based optimized cloud node selection framework. Different participants choose the best server that meets their performance demands, considering the communication delay. Smart contracts provide a progressive request mechanism to increase participation. The simulation results show that our framework improves overall multi-party computing efficiency by up to 44.73%.