• 제목/요약/키워드: Visual signal

검색결과 549건 처리시간 0.027초

영상 화질 평가 딥러닝 모델 재검토: 스트라이드 컨볼루션이 풀링보다 좋은가? (Revisiting Deep Learning Model for Image Quality Assessment: Is Strided Convolution Better than Pooling?)

  • 우딘 에이에프엠 사합;정태충;배성호
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.29-32
    • /
    • 2020
  • Due to the lack of improper image acquisition process, noise induction is an inevitable step. As a result, objective image quality assessment (IQA) plays an important role in estimating the visual quality of noisy image. Plenty of IQA methods have been proposed including traditional signal processing based methods as well as current deep learning based methods where the later one shows promising performance due to their complex representation ability. The deep learning based methods consists of several convolution layers and down sampling layers for feature extraction and fully connected layers for regression. Usually, the down sampling is performed by using max-pooling layer after each convolutional block. We reveal that this max-pooling causes information loss despite of knowing their importance. Consequently, we propose a better IQA method that replaces the max-pooling layers with strided convolutions to down sample the feature space and since the strided convolution layers have learnable parameters, they preserve optimal features and discard redundant information, thereby improve the prediction accuracy. The experimental results verify the effectiveness of the proposed method.

  • PDF

Application of Image Super-Resolution to SDO/HMI magnetograms using Deep Learning

  • Rahman, Sumiaya;Moon, Yong-Jae;Park, Eunsu;Cho, Il-Hyun;Lim, Daye
    • 천문학회보
    • /
    • 제44권2호
    • /
    • pp.70.4-70.4
    • /
    • 2019
  • Image super-resolution (SR) is a technique that enhances the resolution of a low resolution image. In this study, we use three SR models (RCAN, ProSRGAN and Bicubic) for enhancing solar SDO/HMI magnetograms using deep learning. Each model generates a high resolution HMI image from a low resolution HMI image (4 by 4 binning). The pixel resolution of HMI is about 0.504 arcsec. Deep learning networks try to find the hidden equation between low resolution image and high resolution image from given input and the corresponding output image. In this study, we trained three models with HMI images in 2014 and test them with HMI images in 2015. We find that the RCAN model achieves higher quality results than the other two methods in view of both visual aspects and metrics: 31.40 peak signal-to-noise ratio(PSNR), Correlation Coefficient (0.96), Root mean square error (RMSE) is 0.004. This result is also much better than the conventional bi-cubic interpolation. We apply this model to a full-resolution SDO/HMI image and compare the generated image with the corresponding Hinode NFI magnetogram. As a result, we get a very high correlation (0.92) between the generated SR magnetogram and the Hinode one.

  • PDF

Allosteric Probe-Based Colorimetric Assay for Direct Identification and Sensitive Analysis of Methicillin Resistance of Staphylococcus aureus

  • Juan Chu;Xiaoqin Zhao
    • Journal of Microbiology and Biotechnology
    • /
    • 제34권3호
    • /
    • pp.681-688
    • /
    • 2024
  • The accurate and rapid detection of methicillin-resistance of Staphylococcus aureus (SA) holds significant clinical importance. However, the methicillin-resistance detection strategies commonly require complicated cell lysis and gene extraction. Herein, we devised a novel colorimetric approach for the sensitive and accurate identification of methicillin-resistance of SA by combining allosteric probe-based target recognition with self-primer elongation-based target recycling. The PBP2a aptamer in the allosteric probe successfully identified the target MRSA, leading to the initiation of self-primer elongation based-cascade signal amplification. The peroxidase-like hemin/G-quadruplex undergo an isothermal autonomous process that effectively catalyzes the oxidation of ABTS2- and produces a distinct blue color, enabling the visual identification of MRSA at low concentrations. The method offers a shorter duration for bacteria cultivation compared to traditional susceptibility testing methods, as well as simplified manual procedures for gene analysis. The overall amplification time for this test is 60 min, and it has a detection limit of 3 CFU/ml. In addition, the approach has exceptional selectivity and reproducibility, demonstrating commendable performance when tested with real samples. Due to its advantages, this colorimetric assay exhibits considerable potential for integration into a sensor kit, thereby offering a viable and convenient alternative for the prompt and on-site detection of MRSA in patients with skin and soft tissue infections.

광학암흑영역을 이용한 CCD 센서의 영역 적응적 스미어 제거 방식 (Region-adaptive Smear Removal Method Using Optical Black Region for CCD Sensors)

  • 한영석;송기선;강문기
    • 대한전자공학회논문지SP
    • /
    • 제47권6호
    • /
    • pp.107-116
    • /
    • 2010
  • 스미어 현상은 CCD 센서의 전하 전달 과정에 기인한다. 정지 영상에서는 기계적 셔터와 같은 하드웨어적인 구조로 이를 제거하지만, 동영상에서는 수행 시간의 제약 등의 문제로 이러한 방식이 적용될 수 없다. 본 논문에서는 신호처리 관점에서 스미어 현상을 제거하여 정지 영상뿐만 아니라 동영상에도 적용이 가능한 스미어 제거 방식을 제안한다. 제안하는 방식은 CCD 센서의 모서리 부분에 존재하는 화소들의 집단인 광학암흑영역(optical black region)을 이용한다. 광학암흑영역은 실제로 빛의 영향을 받지 않아 상이 맺히지 않지만, 스미어가 발생할 경우 전하 전달에 의하여 스미어 신호가 저장된다. 따라서 제안하는 방식은 스미어 신호를 정확하게 추정하기 위해서 광학암흑영역에 발생한 신호로부터 스미어와 잡음에 의한 영향을 구분하고 잡음은 제거하면서 스미어 신호는 유지하는 과정을 선행하며, 이렇게 처리된 광학암흑영역 신호를 영상 전반에 빼주어 스미어 현상을 제거한다. 또한 스미어 현상에 의해 포화가 발생한 경우는 손실된 원 신호의 정보를 주변의 화소 값으로 대체하여 스미어 현상에 의한 시각적 열화를 개선한다. 실험 결과를 통해 제안하는 방법이 기존 방법에 비해 시각적인 면에서 뛰어난 결과를 보임을 확인할 수 있다.

영상 융합 기술을 이용한 색 번짐 개선 방법 (Color Transient Improvement Algorithm Based on Image Fusion Technique)

  • 장준영;강문기
    • 대한전자공학회논문지SP
    • /
    • 제45권4호
    • /
    • pp.50-58
    • /
    • 2008
  • 본 논문에서는 대역 제한된 색도 신호에 의해 발생하는 색 번짐 현상을 TV 수신단이나 MPEG 디코더에서 효과적으로 개서하는 색 버짐 개선 방법을 제안한다. 비디오 영상 신호는 영상의 밝기 정보를 가지고 있는 한 개의 휘도 신호와 색상 정보를 가지고 있는 두 개의 색도 신호로 구성되어 있으며 사람의 눈이 미세한 면적에 대해서는 색의 변화를 거의 인식하지 못하는 점을 이용하여 색도 신호의 고주파 정보를 제한하고 있다. 하지만 HDTV와 같은 고화질 화상 제품이 생산됨에 따라 색 번짐 현상이 화질 저하의 요인으로 인식되기 시작하였다. 본 논문에서는 영상 융합 기술을 이용하여 색도 신호보다 더 많은 고주파 정보를 가지고 있는 휘도 신호의 고주파 성분을 이용하여 손상된 색도 신호의 고주파 성분을 추정하는 방법을 제안한다. 휘도 신호로부터 추출된 고주파 성분은 추정된 색도 신호와 원본 색도 신호 사이에 발생하는 에러의 ${\iota}_2-norm$이 최소화 되도록 설계된 공간 적응적 가중치에 의해서 적절히 조절된 후에 입력 색도 신호와 결합되어 색 번짐이 개선된 색도 신호를 얻을 수 있게 하다. 제안하는 색 번짐 개선 방법은 색도 신호의 해상도를 휘도 신호의 해상도만큼 향상시키기 때문에 자연스러운 결과를 출력하며 또한 기존의 방법에서는 개선하기 힘들었던 좁은 경계에서의 색 번짐 현상도 효과적으로 개선한다. 실험 결과에서는 제안된 방법이 기존의 방법에 비해 시각적 및 수치적인 면에서 뛰어난 결과를 보임을 확인할 수 있다.

멀티미디어 네트워킹을 위한 압축 신호상에서 동영상 처리 : 압축 동영상 비트율 변환 (Manipulation of the Compressed Video for Multimedia Networking : A Bit rate Shaping of the Compressed Video)

  • 황대환;조규섭;황수용
    • 한국통신학회논문지
    • /
    • 제26권11A호
    • /
    • pp.1908-1924
    • /
    • 2001
  • 유무선 통신망, 지상파, 위성 등을 포함한 다양한 이종 네트워크 환경하에서의 멀티미디어 서비스는 급속한 인터넷 보급과 병행하여, 이전과는 전혀 다른 새로운 통합 멀티미디어 네트워킹 인프라를 요구하고 있다. 네트워크와 멀티미디어 유형에 관계 없이 사용자에게 이음새 없는 투명한 멀티미디어 통신서비스를 제공하자는 기술적 요구는 국내외에서 GII를 축으로 연구가 진행되고 있으나, 아직 뚜렷한 형상이 완성되지 않은 실정이다. 이 GII의 배경에는 이종 네트워크, 이종 미디어 그리고 다양한 이종 프로토콜이 포함되는 응용 서비스가 상호 투명하게 연결되어야 하는 복잡한 기술적 측면이 있으며, 멀티미디어의 네트워킹은 가장 핵심적인 연구항목이 되고 있다. 본 논문에서는 통신 대역폭의 QoS를 보장할 수 없는 인터넷 그리고 유무선을 통한 디지털 TV 방송에 직접 적용할 수 있는 압축 통영상 비트율 변환 알고리즘을 제안한다. 통영상 비트율 변환은 상기의 네트워크 환경하에서 동영상 스트리밍 서비스를 위해 필요한 기술이다. 기존의 비트율 변환은 해당되는 압축 통영상 디코더와 인코더를 쌍으로 연결하여, 선형 PCM 신호로 변환하고, 목적하는 비트율로 맞추어 주는 방법이 일반적이나, 그 구현의 복잡성, 수반되는 처리지연 등으로 실시간 멀티미디어 네트워킹에 단점을 갖고 있다. 본 논문에서 제안한 알고리즘은 화질과 구현의 복잡도를 고려하여 비트율 변환을 압축영역에서 행하며, 특히 실시간 처리에 주안점을 두었다. 제안한 알고리즘은 IS0/1EC의 MPEG-2 동영상을 대상으로 소프트웨어로 구현하였으며, 화소영역의 처리방법을 포함하는 기존의 비트율 변환방법에 비해 구현의 복잡도, 처리시간에 장점을 갖는다.

  • PDF

MRI Assessment of Complete Response to Preoperative Chemoradiation Therapy for Rectal Cancer: 2020 Guide for Practice from the Korean Society of Abdominal Radiology

  • Seong Ho Park;Seung Hyun Cho;Sang Hyun Choi;Jong Keon Jang;Min Ju Kim;Seung Ho Kim;Joon Seok Lim;Sung Kyoung Moon;Ji Hoon Park;Nieun Seo;Korean Society of Abdominal Radiology Study Group for Rectal Cancer
    • Korean Journal of Radiology
    • /
    • 제21권7호
    • /
    • pp.812-828
    • /
    • 2020
  • Objective: To provide an evidence-based guide for the MRI interpretation of complete tumor response after neoadjuvant chemoradiation therapy (CRT) for rectal cancer using visual assessment on T2-weighted imaging (T2) and diffusion-weighted imaging (DWI). Materials and Methods: PubMed MEDLINE, EMBASE, and Cochrane Library were searched on November 28, 2019 to identify articles on the following issues: 1) sensitivity and specificity of T2 or DWI for diagnosing pathologic complete response (pCR) and the criteria for MRI diagnosis; 2) MRI alone vs. MRI combined with other test(s) in sensitivity and specificity for pCR; and 3) tests to select patients for the watch-and-wait management. Eligible articles were selected according to meticulous criteria and were synthesized. Results: Of 1615 article candidates, 55 eligible articles (for all three issues combined) were identified. Combined T2 and DWI performed better than T2 alone, with a meta-analytic summary sensitivity of 0.62 (95% confidence interval [CI], 0.43-0.77; I2 = 80.60) and summary specificity of 0.89 (95% CI, 0.80-0.94; I2 = 92.61) for diagnosing pCR. The criteria for the complete response on T2 in most studies had the commonality of remarkable tumor decrease to the absence of mass-like or nodular intermediate signal, although somewhat varied, as follows: (near) normalization of the wall; regular, thin, hypointense scar in the luminal side with (near) normal-appearance or homogeneous intermediate signal in the underlying wall; and hypointense thickening of the wall. The criteria on DWI were the absence of a hyperintense signal at high b-value (≥ 800 sec/mm2) in most studies. The specific algorithm to combine T2 and DWI was obscure in half of the studies. MRI combined with endoscopy was the most utilized means to select patients for the watch-and-wait management despite a lack of strong evidence to guide and support a multi-test approach. Conclusion: This systematic review and meta-analysis provide an evidence-based practical guide for MRI assessment of complete tumor response after CRT for rectal cancer.

시각피질의 기능적 MR 연구: 광자극 크기와 피질 활성화와의 관계 (Functional MRI of Visual Cortex: Correlation between Photic Stimulator Size and Cortex Activation)

  • 김경숙;이호규;최충곤;서대철
    • Investigative Magnetic Resonance Imaging
    • /
    • 제1권1호
    • /
    • pp.114-118
    • /
    • 1997
  • 목적: 기능적 MR 영상은 외부자극에 따라, 이에 상응하는 특정한 뇌피질 부위의 혈류량의 변화를 신호강도의 차이로 나타내는 방법이다. 시각피질에 대한 기능적 MR은 환자가 광자극을 응시함으로써 수행될 수 있는 것으로, 이의 수행에는 적절한 형태의 광자극원이 필수적이다. 이에 저자는 광자극원의 크기가 시각피질 활성화에 영향을 미칠 수 있는지 알아보기 위하여 본 연구를 하였다. 대상 및 방법: 정상적인 시력을 가진 자원자 5명을 대상으로 시각활성화 기능적 MR을 시행하였다. 광자극원은 $11{\times}8cm$ 크기의 기판에 적색 LED(light-emitting diodes) 39개를 박고 직류전원을 사용하도록 만들었다. 이를 크기에 따라 full field, half field 및 focal central field의 3가지로 구분하고 8Hz로 점멸하였다. EPI 기법으로 6회의 광자극 기간과 6회의 휴식기간을 번갈아 3차례 시행하여 총 36회의 검사를 하고, Z-score로 통계처리하였다. 이 때 얻은 활성화 영상을 같은 부위의 T1강조영상에 결합시켰다. 각 경우에서 시각피질에서 활성화된 pixel의 수를 full field, half field 및 focal central field에서 얻어진 pixel 수의 합으로 나누어 활성화지수를 구하였다. 이 활성화지수를 토대로 광원크기와의 관계를 분석하였다. 결과: Full field로 자극을 주었을 때 시각피질의 평균 신호강도의 증가는 약 9.6%였다. 4명에서 활성화지수는 full field, half field, focal central field의 순으로 감소하였으며, 나머지 1명에서는 half field 시의 값이 full field 시의 값보다 컸다. 광원크기에 따른 활성화지수의 범위는 full field 43-73%(평균 55%), half field 22-40%(평균 32%), focal central field 5-24%(평균 13%)였다. 결론: 기능적 MR영상을 이용하여 시각피질의 활성화를 용이하게 확인할 수 있었으며 광자극원의 크기에 따라 증가되는 시각피질 활성화를 입증할 수 있었다.

  • PDF

확장형 비디오 부호화(SVC)의 AR-FGS 기법에 대한 부호화 성능 개선 기법 (Improved AR-FGS Coding Scheme for Scalable Video Coding)

  • 서광덕;정순흥;김진수;김재곤
    • 한국통신학회논문지
    • /
    • 제31권12C호
    • /
    • pp.1173-1183
    • /
    • 2006
  • 본 논문에서는 H.264의 확장형(scalable extension) 부호화 기법인 SVC(Scalable Video Coding)에서 채택하고 있는 AR-FGS(Adaptive Reference FGS) 기법의 재생화면 화질 향상을 위한 효과적인 방법을 제안한다. 표준 FGS(Fine Granularity Scalability) 기법에서는 FGS 계층의 부호화 성능 향상을 위하여 기본계층(base layer) 재생화면과 향상계층(enhancement layer) 참조화면에 대해 가중평균(weighted average)을 적용하여 FGS 부호화를 수행하는 AR-FGS 기법을 채택하고 있다. 그러나, 향상계층 부호화 정보가 비트스트림 절삭(bitstream truncation)에 의하여 FGS 복호기에 전달이 되지 못 할 경우 FGS 부호기와 복호기에 이용이 되는 참조화면의 차이로 인하여 움직임 보상 과정에서 오류의 전파(error drift)가 발생하여 FGS 계층에서 화질 저하를 초래하게 된다. 이를 해결하기 위하여 본 논문에서는 FGS 계층에서 움직임 보상에 이용될 예측신호를 구하기 위해 활용이 되는 향상계층 참조화면을 효과적으로 생성하기 위하여 사이클 블록 부호화(cyclical block coding)의 원리를 이용한다. 사이클 블록 부호화에서는 FGS 계층의 복호화 화질에 큰 영향을 미치는 중요 양자화 변환계수(quantized transform coefficient)를 초기 부호화 사이클에 포함시킴으로써 우선적으로 부호화 및 전송이 되게 하는 부호화 기술이다. 양자화 변환계수가 사이클 블록 부호화에 포함되는 순서가 앞설 경우 대역폭 감소로 인한 비트스트림 절삭이 적용될 때에도 복호기에 우선적으로 전달될 확률이 상대적으로 높다. 이러한 원리를 바탕으로 사이클 블록 부호화에 서 각 사이클 별로 생성되는 비트스트림이 향상계층 참조화면의 생성에 기여하는 중요도에 따라 그 가중치를 다르게 조절함으로써 특정 부호화 사이클에서 생성된 비트스트림 정보가 절삭에 의해 FGS 복호기에 전달되지 못하더라도 복호화 시 그 영향을 최소화하여 화질 저하를 줄이는 방법을 제안한다. 제안된 방법을 이용하여 개선된 AR-FGS 기법을 구현할 경우 기존의 표준 방법에 비하여 재생화면의 화질이 최대 1dB 안팎으로 개선이 됨을 실험을 통해 확인하였다.

배드민턴 동호회의 스포츠 상해 예방을 지원하는 스마트의류 디자인 제안 (Designing Smart Sportswear to Support the Prevention of Sports Injuries in Badminton Club Activities)

  • 김신혜;이주현
    • 감성과학
    • /
    • 제23권3호
    • /
    • pp.37-46
    • /
    • 2020
  • 본 연구의 목적은 배드민턴 동호회 활동을 조사하고 배드민턴 활동에서 발생하는 스포츠 상해를 예방하는 스마트 의류를 디자인 개발하는 것이다. 고령화 사회에서, 스포츠는 생활체육으로 친숙하게 접하고 있으며, 점차 동호회 형식으로 발달되고 있다. 배드민턴 동호회 활동은 많은 스포츠 상해가 있으며, 특히 높은 발생률을 보이는 발목 부상은 스포츠 참여를 방해하는 심각한 문제로 대두되고 있다. 그러므로 본 연구는 발목 부상을 포함한 스포츠 상해를 예방하는 스마트의류의 디자인 프로토타입을 제안하는 것을 목표로 하였다. 첫째, 배드민턴 동호인들의 특성 및 고려사항, 그리고 스포츠 부상을 예방하기 위한 스마트 의류의 구성요소를 도출하였다. 둘째, 배드민턴 동호인들과 엘리트 배드민턴 선수, 전문가의 대상으로 스마트의류 사용에 따른 문제 및 사용자 평가들을 고찰하였다. 셋째, 선행연구와 사용자 평가 항목들을 통하여 스마트의류의 사용 시나리오를 도출하였다. 넷째, 발목 상해를 포함한 스포츠 상해를 방지하는 스마트의류 프로토타입을 사용 시나리오를 기반으로 제안하였다. 본 연구에서 제안된 스마트의류를 통하여, 스포츠 상해 예방에 도움이 필요한 배드민턴 동호인들은 스마트 단말기를 통해서 그들의 상해와 건강 상태를 가상 게임의 아바타로 모니터링이 가능하다. 이러한 가상 게임 시스템은 스포츠의 상해 및 건강에 관련한 정보에 접근을 용이하게 한다. 따라서 이와 같은 스포츠용 스마트의류는 배드민턴 동호인들의 부상을 예방하고 스스로 재검토를 가능하게 한다. 본 연구는 스포츠 상해를 예방하거나 스포츠 활동 또는 생체 신호 모니터링 하는 스마트의류 디자인 시에도 활용될 수 있다.