• Annual Conference on Human and Language Technology
• /
• 2009.10a
• /
• pp.67-72
• /
• 2009

ERP의 일종인 MMN(Mismatch Negativity)은 언어의 청각 인지정보 처리과정(central auditory processing)을 규명하는 데 유용한 수단으로 이용되어 왔다. 그런데, 최근의 연구들은 이러한 MMN이 청각 자극뿐만 아니라 시각 자극에 의해서도 검출될 수 있음을 밝혀냈다. 본 연구는 이러한 시각적 MMN을 이용하여 뇌에서 이루어지는 한국어 화자의 무의식적인 한국어 문자 정보처리과정을 규명하려고 시도하였다. 본 연구에서는 한국어의 글말 최소쌍 '므'/'모'와 '므'/'무', 이에 대응되는 비언어자극 '+ㅡ'/'+ㅗ'와 '+ㅡ'/'+ㅜ'(+표시의 아래에 모음을 붙여서 만든 인공문자, 그림1 참고)를 수동적(passive) Oddball paradigm으로 제시하고 언어 자극에 대한 EEG를 비언어자극과 비교 하에 측정, 분석하였다. 본 연구의 결과, 언어자극과 비언어자극 모두에서 시각적 MMN이 검출되었다. 하지만, 언어자극의 시각적 MMN이 비언어자극의 시각적 MMN보다 높게 나타남을 확인하였다. 이는 한국어 모국어화자들이 무의식적인 인지과정에서 언어자극이 갖는 물리적인 시각 정보뿐만 아니라 한국어 문자의 언어적 정보도 함께 처리하고 있음을 보여주는 것이다. 본 연구의 결과들은 한국어 글말의 무의식적인 인지처리과정을 밝혀주는 한편, 한국어 문자가 인지과학에서 갖는 중요한 지위를 보여줄 수 있을 것으로 기대된다.

• The Transactions of the Korea Information Processing Society
• /
• v.7 no.9
• /
• pp.2807-2814
• /
• 2000

In this paper, we suggest a visual language supporting collaboration with functional attributes. The visual language is a set of visual sentences that consist of object icons and operators. The object icon is a user who participates in collaboration. And, the operator means interactive relations between users according to a point of collaborative time. The functional attributes that support various computing orders provide flexibility of interactive relations on collaboration. Also, using representation both synchronous and asynchronous relations in collaboration, the visual language supports efficiently collaboration than conventional visual languages. And, functional attributes of visual sentences are analyzed using $\lambda$ expressions.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.04a
• /
• pp.171-174
• /
• 2000

본 논문에서는 공동작업을 지원하기 위한 시각언어를 제안하고 생성되는 시각문장에서 공동작업을 위한 속성과 컴파일 방법을 설명한다. 생성되는 시각문장은 객체 아이콘과 연산자로 구성되며, 각각은 공동작업 참여자와 참여자간 상호작용 시점에 따른 공동작업 관계를 의미한다. 생성되는 시각 문장은 객체 아이콘과 연산자의 결합 관계에 따라 다양한 공동작업을 지원한다. 또한, 동기 및 비동기 공동작업을 함께 표현함으로써 기존 공동작업을 위한 시각언어보다 효율적으로 공동작업을 지원한다.

• Annual Conference on Human and Language Technology
• /
• 2004.10d
• /
• pp.270-272
• /
• 2004

본 논문에서는 뇌손상으로 인하여 난독증을 보이는 환자를 대상으로 시각적 단어 재인과정에 대한 평가와 기능적 자기공명영상기법을 통한 언어처리과정의 대뇌활성 양상을 살펴봄으로써 난독증의 특성을 알아보고자 한다. 인지신경심리학적 언어행동평가를 통해 환자 JYM는 자소-음소 변환(grapheme-phoneme conversion)경로와 직접 경로(direct route) 모두가 손상된 심층성 난독증(deep dyslexia)으로 보이며. 기능적 자기공명영상촬영 결과 언어처리과정에서 특정한 언어관련영역보다 등외측전전두영역과 시각피질의 활성이 증가되는 양상을 나타냈다.

• Annual Conference on Human and Language Technology
• /
• 2004.10d
• /
• pp.319-322
• /
• 2004

한글은 알파벳 문자처럼 소리를 바탕으로 한 표음문자이지만, 각 글자의 형태는 표의문자인 한자와 유사한 시각적인 효과를 제공한다. 본 연구에서는 자기공명 영상법을 이용하여 한국인이 한글문자와 그림을 인지할 경우 나타나는 신경망적 특성을 알아보았다. 그 결과. 한글과 그림 자극에 대하여 양반구 모두에서 후측두엽 부위의 활성화가 나타났다. 그러나, 전두엽과 측두엽 부분의 활성화는 오직 한글자극의 경우에만 관찰되었다. 좌반구 중전 두엽의 활성화는 음성 및 의미론적 처리와 관련되어 있다고 볼 수 있으며, 우반구 anterior cingulate 활성화는 언어 및 소리의 형성과 관계가 있다고 할 수 있다. 본 연구에서는 우반구 medial frontal 영역인 BA 8의 활성화가 관찰되었다 이 영역은 시각적으로 고차적인 비음성적 자극을 통제하거나 그와 유사한 시각공간적인 정보의 분석과 관련이 있다고 알려져 있다. 본 연구의 결과는 한글의 특성적인 형태가 특정 영역을 활성화시킨 것을 시사한다.

• Journal of KIISE:Software and Applications
• /
• v.26 no.3
• /
• pp.431-440
• /
• 1999

기존 시각언어 컴파일러 자동화 도구는 시각 구문의 그래픽 정의부분을 명세하고 확장 및 수정하는 방법의 한계로 인해 어휘분석단계를 처리하는데 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 객체지향 시각언어 문법을 기반으로 한 새로운 방식의 문법 기반 자동 생성 시스템인 시각언어 컴파일러 자동 생성 환경(CGE-VL)을 구축한다. 이 시스템은 객체지향 패러다임을 기초로 한 시각언어 컴파일러 구축을 위한 실질적인 도구로 기존의 시각언어 컴파일러 자동화 도구와는 구별되는 객체지향 시각언어의 효과적인 명세 방법 제공, 어휘분석기를 이용한 파싱 시간의 단축, 객체지향 파서를 자동 생성하는 등의 새로운 특성을 제공한다. 이러한 특성은 특히 동일한 의미를 가지는 언어 구성요소가 그 쓰임에 따라 서로 다른 구체화된 의미 및 행동을 가지는 객체지향 시각언어에서는 언어 명세에서 최종 산물인 컴파일러에 이르는 전 단계에 동일한 객체 지향 패러다임을 사용함으로써 일관된 개발방법을 제공하여 그 효과가 두드러진다.

• Annual Conference on Human and Language Technology
• /
• 1995.10a
• /
• pp.244-252
• /
• 1995

본 연구는 한자를 이용하여 시각 정보 (Visual Information)와 음성 정보(Phonological Information)가 단어 재인과 단어 명명 과정에 어떻게 영향을 주는 지를 조사하기 위하여 실시되었다. 기존의 영어를 이용한 연구에서는 시각 정보와 음성 정보를 독립적으로 조작할 수 없었기에 두 요소가 단어 재인에 어떤 영향을 주는 지를 살피는데 어려움이 있었다. 그러나 한자단어를 이용하면 시각 정보와 음성 정보를 독립적으로 조작할 수 있기 때문에 영어 단어를 사용하는 것보다 유리하다. 본 실험에서는 한자 단어를 이용하여 점화 단어 (Prime Word)와 목표 단어(Target Word)간의 시간간격(SOA)을 100 ms, 200 ms, 750 ms, 그리고 2000 ms로 변화시키면서 시간이 흐름에 따라 시각적 유사성과 음성적 유사성에 의한 점화 효과(Priming Effect)가 어떻게 변화하는 지를 조사하였다. 이 실험 결과에 의하면, 100 ms 조건에서는 시각적 유사성에 의한 점화 효과만 있었다. 그러나, 200 ms, 750 ms, 2000 ms 조건들에서는 시각적 유사성뿐만 아니라 음성적 유사성에 의해서도 점화효과가 있었다. 이와 같은 실험 결과는 최초의 한자 단어의 어휘 접근 (Lexical Access)이 시각 정보에 의해 결정됨을 보여주고 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.05a
• /
• pp.487-490
• /
• 2019

시각과 언어 기반의 이동(VLN)은 3차원 실내 환경에서 실시간 입력 영상과 자연어 지시들을 이해함으로써, 에이전트 스스로 목적지까지 이동해야 하는 인공지능 문제이다. 이 문제는 에이전트의 영상 및 자연어 이해 능력뿐만 아니라, 상황 추론과 행동 계획 능력도 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각과 언어 기반의 이동(VLN) 작업을 위한 새로운 심층 신경망 모델을 제안한다. 제안모델에서는 입력 영상에서 합성곱 신경망을 통해 추출하는 시각적 특징과 자연어 지시에서 순환 신경망을 통해 추출하는 언어적 특징 외에, 자연어 지시에서 언급하는 장소와 랜드마크 물체들을 영상에서 별도로 탐지해내고 이들을 추가적으로 행동 선택을 위한 특징들로 이용한다. 다양한 3차원 실내 환경들을 제공하는 Matterport3D 시뮬레이터와 Room-to-Room(R2R) 벤치마크 데이터 집합을 이용한 실험들을 통해, 본 논문에서 제안하는 모델의 높은 성능과 효과를 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.468-472
• /
• 2020

시각적 질의응답(Visual Question Answering, VQA)은 주어진 이미지에 연관된 다양한 질문에 대한 올바른 답변을 예측하는 기술이다. 해당 기술은 컴퓨터 비전-자연어 처리 연구분야에서 활발히 연구가 진행되고 있으며, 질문의 의도를 정확히 파악하고, 주어진 이미지에서 관련 단서 정보를 찾는 것이 중요하다. 또한, 서로 이질적인 특성을 지닌 정보(이미지 객체, 객체 위치, 질문)를 통합하는 과정도 중요하다. 본 논문은 질문의 의도에 알맞은 정보를 효율적으로 사용하기 위해 멀티 모달 입력 이미지 객체, 객체 위치, 질문)에 대한 Multi-modal Message Aggregation (MMA) 제안하며 이를 통해 한국어 시각적 질의응답 KVQA에서 다른 모델보다 더 좋은 성능을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.755-758
• /
• 2000

시각 언어는 인간-컴퓨터 사이의 인터랙션 수단이다. 올바른 인터랙션을 위하여 저작된 컨텐츠와 재생되는 씬의 시맨틱이 인간과 컴퓨터는 물론 인간과 인간 사이에서 일관성과 신뢰성을 가져야 한다. 본 논문에서는 인터랙션의 일관성과 신뢰성을 위한 시각 언어의 시각문장 집합을 정의하고 형식화한다. 이러한 형식화는 시각 언어의 시각적 저작 내용의 모호성을 제거하여 공동 참여자의 신뢰성을 높인다. 또한 형식 정의에 대하여 저작 컨텐츠와 재생 씬의 동일성을 그래프로 증명한다. 이러한 형식 정의를 MPEG-4 컨텐츠 저작 도구에 적응한다. 즉. 각 객체 사이의 시간관계 정의에 따라 저작하며, 사용자 인터랙션에 따른 씬의 속성의 변화를 효율적으로 지원한다. 저작된 컨텐츠는 씬의 속성 정보에 따라 객체 사이의 동기화를 유지하면서 재생한다.