• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권11호
• /
• pp.4118-4136
• /
• 2014

To preserve the spatial consistency of low-level features, generalized Riesz-wavelet transform (GRWT) is adopted for fusing multi-modality images. The proposed method can capture the directional image structure arbitrarily by exploiting a suitable parameterization fusion model and additional structural information. Its fusion patterns are controlled by a heuristic fusion model based on image phase and coherence features. It can explore and keep the structural information efficiently and consistently. A performance analysis of the proposed method applied to real-world images demonstrates that it is competitive with the state-of-art fusion methods, especially in combining structural information.

• 대한인간공학회지
• /
• 제26권3호
• /
• pp.67-80
• /
• 2007

Digital convergence, defined as the creative fusion of once-independent technologies and service, is getting more attention recently. Interruptions among internal functions happen frequently in digital convergence products because many functions that were in separate products are merged into a single product. Multi-tasking and multi-modality are two distinctive features of interruption in digital convergence products, but their impacts to the user have not been investigated yet. This study conducted a controlled experiment to investigate the impacts of multi-tasking and multi-modality on the subjective satisfaction and objective performance of digital convergent products. The study results indicate that multi-tasking and multi-modality have substantial effects individually as well as together. The paper ends with practical and theoretical implications of study results as well as research limits and future research.

• Journal of Electrical Engineering and Technology
• /
• 제9권2호
• /
• pp.739-748
• /
• 2014

In this paper, we propose pyramid appearance and global structure action descriptors on both RGB and depth motion history images and a model-free method for human action recognition. In proposed algorithm, we firstly construct motion history image for both RGB and depth channels, at the same time, depth information is employed to filter RGB information, after that, different action descriptors are extracted from depth and RGB MHIs to represent these actions, and then multimodality information collaborative representation and recognition model, in which multi-modality information are put into object function naturally, and information fusion and action recognition also be done together, is proposed to classify human actions. To demonstrate the superiority of the proposed method, we evaluate it on MSR Action3D and DHA datasets, the well-known dataset for human action recognition. Large scale experiment shows our descriptors are robust, stable and efficient, when comparing with the-state-of-the-art algorithms, the performances of our descriptors are better than that of them, further, the performance of combined descriptors is much better than just using sole descriptor. What is more, our proposed model outperforms the state-of-the-art methods on both MSR Action3D and DHA datasets.

• 한국멀티미디어학회논문지
• /
• 제15권3호
• /
• pp.291-298
• /
• 2012

일반적인 ATR시스템에서는 대부분 FLIR센서에 의존하여 영상을 획득하나, 표적의 경계가 모호한 경우 견실한 표적 분할을 보장할 수 없는 한계점이 있다. 이에 본 논문은 FLIR과 CCD센서를 통해 획득된 영상에 대한 적응적 가중치 기반의 융합 방법을 제안함으로써 보다 정확한 표적 분할 성능을 재현한다. 융합을 위한 FLIR영상의 가중치는 모호한 경계를 구분하기 위한 bi-modality 척도와 표적 경계와의 거리를 통해 결정되고, CCD영상의 가중치는 표적과 배경의 질감차이를 나타내는 질감 척도와 거리 척도를 통해 도출된다. 제안 방법의 타당성 검증을 위하여 다양한 환경에서 획득된 표적 영상에 대한 제안 방법과 단일 센서 기반의 표적 분할의 성능 비교를 수행하였다.

• Nuclear Engineering and Technology
• /
• 제55권10호
• /
• pp.3844-3853
• /
• 2023

Although radiation and chemotherapy methods for cancer therapy have advanced significantly, surgical resection is still recommended for most cancers. Therefore, intraoperative imaging studies have emerged as a surgical tool for identifying tumor margins. Intraoperative imaging has been examined using conventional imaging devices, such as optical near-infrared probes, gamma probes, and ultrasound devices. However, each modality has its limitations, such as depth penetration and spatial resolution. To overcome these limitations, hybrid imaging modalities and tracer studies are being developed. In a previous study, a multi-modal laparoscope with silicon photo-multiplier (SiPM)-based gamma detection acquired a 1 s interval gamma image. However, improvements in the near-infrared fluorophore (NIRF) signal intensity and gamma image central defects are needed to further evaluate the usefulness of multi-modal systems. In this study, an attempt was made to change the NIRF image acquisition method and the SiPM-based gamma detector to improve the source detection ability and reduce the image acquisition time. The performance of the multi-modal system using a complementary metal oxide semiconductor and modified SiPM gamma detector was evaluated in a phantom test. In future studies, a multi-modal system will be further optimized for pilot preclinical studies.

• Nuclear Medicine and Molecular Imaging
• /
• 제42권2호
• /
• pp.153-163
• /
• 2008

다중영상기기는 1990년대 초에 처음 개발되어 현재 주요 영상 장비 회사에서 상품으로 개발되어 판매되고 있다. 단순한 소프트웨어적인 정합과 융합을 통해 해부학적 영상과 기능적 영상의 상호 보완하는 단계에서 발전하여 하드웨어적으로 정합하는 하드웨어의 개발은 새로운 연구의 시작이다. 다중영상기기의 발전 이전에는 해부학적 구조를 보여주는 영상 장비와 기능적 영상을 표현하는 장비가 각각 고 분해능과 고 해상도로 많은 발전을 이루어 왔다. 현재는 각 영상 장비의 특징을 살려 효과적으로 결합시킨 다중영상기기의 개발이 활발하게 이루어지고 있다. 다중영상기기는 단순하게 두 장비를 결합시키는 개념에서 기능적 영상에서 필요한 감쇠 보정을 하면서 동시에 해부학적 위치를 융합 영상 형태로 표현하는 새로운 영상 장비로 발전하고 있다 다중영상기기의 특징을 살릴 수 있는 프로토콜이 개발되고 하드웨어적으로도 상호 보완적으로 결합되고 있다. 실제로 PET/CT와 같은 다중영상기기는 임상적으로 중요한 역할을 하고 있으며 PET 영상기기를 대체하고 있다. PET/CT 스캐너는 PET에서 나오는 기능적 영상과 CT에서 나오는 해부학적 영상뿐만 아니라 융합 영상을 함께 보여 주므로 임상적으로 유용한 정보를 제공하고 있다. 현재 SPECT/CT는 아직 보급이 많이 되지 않았으나 PET/CT와 같이 임상적으로 유용한 SPECT와 CT 장비가 결합된 상품들이 나오고 있어 그 시장이 점점 성장할 것으로 기대된다. 다중영상기기는 각각의 단독 영상장비에서 갖고 있는 문제뿐만 아니라 두 영상 장비를 결합시키므로 인해 새로운 문제들이 발생하고 있다. 대표적으로 호흡에 의한 움직임, 조영제의 영향, 금속 물질의 영향과 환자의 피폭에 관한 문제가 있다. 이를 해결하기 위해 새로운 프로토콜과 프로세싱 방법이 개발되고 있다. 뇌를 동시에 촬영할 수 있는 PET/MR의 개발은 뇌 과학에 많은 발전을 줄 것으로 기대된다. PET/MR의 개발은 PET/CT 에서 촬영한 영상의 일부분을 대체할 것으로 예상된다. MR 영상이 CT 영상보다 우수한 분해능을 보이는 분야에서는 PET/MR을 이용한 검사와 연구가 활발하게 진행될 것으로 보인다. 해부학적 영상과 기능적 영상을 결합시킨 융합 영상을 함께 제공하는 다중영상기기는 환자의 질병을 진단뿐만 아니라 치료 후의 효과를 보는데 있어서 중요한 역할을 할 것으로 기대된다. 또 앞으로 검사 목적에 맞는 다양한 다중영상기기의 개발이 이루어질 것으로 기대된다.

• 한국정보전자통신기술학회논문지
• /
• 제14권3호
• /
• pp.208-214
• /
• 2021

최근 많은 지능형 보안 시나리오 및 범죄수사에서는 사진이 아닌 얼굴 영상과 다수의 정면 사진과의 매칭을 요구한다. 기존의 얼굴 인식 시스템은 이러한 요구를 충분히 충족시킬 수 없다. 본 논문에서는 동일 인물의 스케치와 사진 간의 양식 차이를 줄임으로써, 이질적 얼굴 인식 시스템의 성능을 향상시키는 알고리즘을 제안한다. 제안하는 알고리즘은 텍스처 기술자들(그레이 레벨 동시 발생 행렬, 멀티스케일 지역 이진 패턴)을 통하여 영상의 텍스처 특징들을 각각 추출하고, 이를 바탕으로 고유특징 정규화 및 추출기법을 통해 변환 행렬을 생성하게 된다. 이렇게 생성된 벡터들 간 계산된 스코어 값은 스코어 정규화 방식들을 통하여 최종적으로 스케치 영상의 신원을 인식하게 된다.

• 한국정보통신학회논문지
• /
• 제26권8호
• /
• pp.1121-1129
• /
• 2022

RGB 이미지를 활용하는 다양한 객체 인식 분야에서 조도가 어둡거나 특정 물체에 의해 가려진 환경에서의 RGB 이미지는 객체 인식 성능 저하를 일으킨다. IR 이미지는 가시광선이 아닌 적외선 파동을 감지하기 때문에 이러한 환경에서 강인한 객체 인식 성능을 가질 수 있고, RGB-IR 이미지 쌍을 가지고 각자의 강점을 결합 하는 것을 통해 객체 인식 성능을 향상시킬 수 있다. 본 논문에서는 RGB-IR 이미지 쌍의 강점만을 결합하여 객체 인식 성능을 향상시키는 다중 스펙트럼 융합 모델인 high-frequency interchange network (HINet)을 제안한다. HINet은 RGB-IR 이미지 간 주요 정보를 교환하기 위해 두 가지 객체 인식 모델을 mutual high-frequency transfer (MHT)를 이용하여 연결하였다. MHT에서는 RGB-IR 이미지 쌍 각각을 discrete cosine transform (DCT) 스펙트럼 도메인으로 변환하여 고주파 정보를 추출한다. 추출된 고주파 정보는 서로의 네트워크에 전달되어 객체 인식성능 향상을 위해 활용되어 진다. 실험 결과는 제안하는 네트워크의 우수성을 보이며 다중 스펙트럼 객체 인식 성능을 향상시키는 것을 확인할 수 있다.

• Nuclear Medicine and Molecular Imaging
• /
• 제42권5호
• /
• pp.401-409
• /
• 2008

목적: 최근 들어, 분자 영상에서 다중 영상 기법이 널리 보급되고 있다. 우리는 PET/MR 융합 영상을 얻기 위해 쉽게 이용 가능한 점토와 순간 고형제를 이용하여 동물 특이적 자세 고정 틀을 제작하였다. 동물 특이적 자세 고정 틀은 동물의 고정과 재현성 있는 자세 연출이 가능하도록 한다. 여기에서 우리는 실험 동물의 틀을 제작하는데 있어 점토와 순간 고형제를 비교해 보았다. 재료 및 방법: MicroPET의 받침대와 잘 맞는 바닥이 둥근 아크릴 받침대를 먼저 제작하였다. 실험 동물은 마취 후, 자세 고정을 위해서 틀 위에 올려놓았다. 틀 제작을 위하여 순간 고형제와 점토가 사용되었다. 순간 고형제와 점토를 사용한 두 가지 경우 모두, 실험 동물의 자세 고정을 위하여 부드럽게 실험 동물을 눌러 위치를 잡았다. 위치가 잡혔으면, 쥐를 들어내고, 점토로 뜬 틀은 $60^{\circ}C$ 건조기에 넣어 두어 완전히 경화시켰다. 그리고 $[^{18}F]FDG$용액이 든 밀봉된 4개의 파이펫 팁을 기준 마커로 사용하였다. 실험 동물의 꼬리에 $[^{18}F]FDG$를 정맥 주사하여 microPET 스캔을 실시한 후, 동일한 실험동물을 순차적으로 MRI 스캔하였다. 결과: 다중 영상을 위하여 점토와 순간 고형제로 동물 특이적 자세 고정 틀을 제작하였다. MicroPET과 MRI를 통하여 기능적이고 해부학적인 영상을 얻었다. PET/MR 융합 영상은 무료로 이용 가능한 AMIDE 프로그램을 사용하여 획득할 수 있었다. 결론: 쉽게 이용 가능한 점토, 순간 고형제와 일회용 파이펫 팁을 사용하여 성공적으로 동물 특이적 자세 고정 틀을 제작할 수 있었다. 동물 특이적 자세 고정 틀 덕택으로, 적은 오차 범위 내에서 PET/MR 융합 영상을 얻을 수 있었다.

• 한국엔터테인먼트산업학회논문지
• /
• 제8권2호
• /
• pp.283-297
• /
• 2014

미래 인간의 삶은 사회, 경제, 정치와 개인 등 삶의 전 영역에 걸쳐 다학제적 기술의 파급효과 증대에 의해 혁신될 것이다. 특히 로봇 분야와 로봇을 이용한 차세대 게임 분야에서는 다학제적 기여와 상호작용에 의해 더욱 더 기술간 융합화가 가속화 될 것으로 전망된다. 본 연구는 지금까지의 "인간-로봇 인터페이스 기술"의 기술적인 한계 및 시공간적 제약을 뛰어넘는 새로운 인터페이스 모델로, 기존 인간-로봇 인터페이스 기술에서 가질 수 없는 다양한 모달리티(modality)들의 융합을 통해 보다 신뢰성 있으며 편하고 자유로운 "인간-로봇 인터페이스 기술"의 연구이다. 이족보행의 휴먼로봇과 모바일 기기 화면의 3D 콘텐츠(contents) 로봇(가상로봇)의 동작과 위치 값을 실시간적으로 연동하는 동기화(Synchronization) 엔진을 개발하고, 상호간의 정보를 주고받기 위한 무선 프로토콜(Protocol) 및 효율적인 티칭(Teaching)을 위한 학습에 의한, 다이렉트 티칭앤플레이(Direct Teaching & Play)의 티칭 프로그램 개발과, 이를 이용한 로봇 게임 시스템을 연구한다.