• Title/Summary/Keyword: 멀티모듈

검색결과 696건 처리시간 0.022초

딥러닝 기반의 Multi Scale Attention을 적용한 개선된 Pyramid Scene Parsing Network (Modified Pyramid Scene Parsing Network with Deep Learning based Multi Scale Attention)

  • 김준혁;이상훈;한현호
    • 한국융합학회논문지
    • /
    • 제12권11호
    • /
    • pp.45-51
    • /
    • 2021
  • 딥러닝의 발전으로 인하여 의미론적 분할 방법은 다양한 분야에서 연구되고 있다. 의료 영상 분석과 같이 정확성을 요구하는 분야에서 분할 정확도가 떨어지는 문제가 있다. 본 논문은 의미론적 분할 시 특징 손실을 최소화하기 위해 딥러닝 기반 분할 방법인 PSPNet을 개선하였다. 기존 딥러닝 기반의 분할 방법은 특징 추출 및 압축 과정에서 해상도가 낮아져 객체에 대한 특징 손실이 발생한다. 이러한 손실로 윤곽선이나 객체 내부 정보에 손실이 발생하여 객체 분류 시 정확도가 낮아지는 문제가 있다. 이러한 문제를 해결하기 위해 의미론적 분할 모델인 PSPNet을 개선하였다. 기존 PSPNet에 제안하는 multi scale attention을 추가하여 객체의 특징 손실을 방지하였다. 기존 PPM 모듈에 attention 방법을 적용하여 특징 정제 과정을 수행하였다. 불필요한 특징 정보를 억제함으로써 윤곽선 및 질감 정보가 개선되었다. 제안하는 방법은 Cityscapes 데이터 셋으로 학습하였으며, 정량적 평가를 위해 분할 지표인 MIoU를 사용하였다. 실험을 통해 기존 PSPNet 대비 분할 정확도가 약 1.5% 향상되었다.

콘포머 기반 FastSpeech2를 이용한 한국어 음식 주문 문장 음성합성기 (A Korean menu-ordering sentence text-to-speech system using conformer-based FastSpeech2)

  • 최예린;장재후;구명완
    • 한국음향학회지
    • /
    • 제41권3호
    • /
    • pp.359-366
    • /
    • 2022
  • 본 논문에서는 콘포머 기반 FastSpeech2를 이용한 한국어 메뉴 음성합성기를 제안한다. 콘포머는 본래 음성 인식 분야에서 제안된 것으로, 합성곱 신경망과 트랜스포머를 결합하여 광역과 지역 정보를 모두 잘 추출할 수 있도록 한 구조다. 이를 위해 순방향 신경망을 반으로 나누어 제일 처음과 마지막에 위치시켜 멀티 헤드 셀프 어텐션 모듈과 합성곱 신경망을 감싸는 마카론 구조를 구성했다. 본 연구에서는 한국어 음성인식에서 좋은 성능이 확인된 콘포머 구조를 한국어 음성합성에 도입하였다. 기존 음성합성 모델과의 비교를 위하여 트랜스포머 기반의 FastSpeech2와 콘포머 기반의 FastSpeech2를 학습하였다. 이때 데이터셋은 음소 분포를 고려한 자체 제작 데이터셋을 이용하였다. 특히 일반대화 뿐만 아니라, 음식 주문 문장 특화 코퍼스를 제작하고 이를 음성합성 훈련에 사용하였다. 이를 통해 외래어 발음에 대한 기존 음성합성 시스템의 문제점을 보완하였다. ParallelWave GAN을 이용하여 합성음을 생성하고 평가한 결과, 콘포머 기반의 FastSpeech2가 월등한 성능인 MOS 4.04을 달성했다. 본 연구를 통해 한국어 음성합성 모델에서, 동일한 구조를 트랜스포머에서 콘포머로 변경하였을 때 성능이 개선됨을 확인하였다.

ICT기반 시설원예 재해 경감장치 설계 (Design of ICT based Protected Horticulture for Recovering Natural Disaster)

  • 이명훈;여현
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제6권10호
    • /
    • pp.373-382
    • /
    • 2016
  • 우리나라의 농업은 사계절의 뚜렷함으로 기후의 영향을 받아 온실과 같은 시설을 이용하여 작물을 재배하는 농업이 발전하고 있다. 점차 첨단 기술의 농업으로 발전하고 있지만 아직 여러 자연 재해에 취약한 점이 나타나고 있다. 이러한 문제로 본 논문에서는 농업인의 고충을 줄이기 위해 폭설이나 풍해로 인한 작물 생산 및 시설 유지를 위한 비닐 회전을 이용하여 비닐하우스 제설 및 복구 시스템을 설계 하였다. 본 논문에서는 온실의 실시간 피드백 제어를 위한 기본 연구로써, 자체 기술력을 바탕으로 개발된 무선 IoT 센서 시스템 및 시설원예 관리 시스템을 결합하여, IoT 장치를 통한 적설량 및 바람의 세기를 평가하고자 하였다. 기존 비닐하우스 제설 시스템의 경우 온수를 분사하여 제설하거나 기존 시설의 구조를 새롭게 하여 피해를 방지하였지만 본 논문에서는 비닐하우스의 실질적 외관인 비닐을 회전함으로 적설된 눈을 치우거나 파손 부위를 복구함으로 피해를 복구한다. 이를 위하여 본 논문에서는 먼저 MEMS 소자 및 무선 통신 모듈 기반의 무선 IoT 센서 유닛, 실시간 응답 측정이 가능하도록 운영 프로그램 등을 개발하였다. 이로 인하여 기존의 노동력 절감과 작물 성장의 피해를 막아 효율적인 시설 운영에 도움을 주게 될 것이다.

수명진단이 가능한 전기철도차량 추진제어장치의 커패시터 교환 형 GDU 개발에 관한 연구 (A Study on the Development of Capacitor Exchange Type GDU of Propulsion Control Device of Electric Railway Vehicle Capable of Life Diagnosis)

  • 김성준;채은경;강정원
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제8권7호
    • /
    • pp.475-484
    • /
    • 2018
  • 전기철도차량의 추진제어장치는 자동차의 엔진에 해당되는 핵심 주요부품이며 이를 제어하는 장치는 GDU(Gate Drive Unit)라는 장치를 이용한다. 또한, 추진제어장치의 고장 빈도를 파악해보면 GDU에 대한 부적합 비율이 가장 높았다. GDU는 외국산 도입으로 인하여 핵심기술의 접근이 불가하였고, 제작사의 GDU 단종으로 전반적인 유지보수 활동에 전반적인 문제점이 있었다. GDU는 최장 23년부터 최근 14년의 장기간 사용으로 수명이 도래하였다. 본 연구는 이러한 문제점을 해결하고자 호환이 가능한 GDU의 확보와 고장을 분석하여 적정수명을 파악하기 위한 것으로, 기존의 상태검사 위주의 유지보수 방법 개선을 위해 설계를 변경하여 추진제어장치의 GDU를 커패시터 교환 형으로 개발하였다. 전체수명에 비해 비교적 수명이 짧은 구성부품의 유지보수는 필수이며, 대부분의 건설초기의 최초 외산도입 부품은 기술종속 및 장기운영의 결과로 관련 부품의 단종이 발생하면 고장발생 시 수급불가 등으로 기본적인 교환에 대한 유지보수에 문제점이 발생되고 있으나, 25년 이상으로 전체수명이 긴 철도차량의 특성상 앞으로도 상당기간 운영이 필요하여 개조 혹은 대체품 개발로 부품확보 및 일정수준의 품질을 유지할 필요가 강조되며, 이에 대한 연구는 보다 구체적이고 실증적으로 이루어져야 한다. 커패시터 교환 형 GDU는 커패시터 모듈의 분리를 통해 정전용량을 쉽게 측정하여 수명을 판단하고, 단품 시험과 커패시터의 수명을 측정하여 정확한 예방유지보수를 할 수 있어서 운행 중 열차의 부적합을 미리 예방할 수 있으며, 24개월 이상의 영업 운전을 통하여 한건의 부적합 없이 영업운행에 성공하여 기존품의 대체 가능여부를 검증하였다.

BuddyMirror: 이미지 메이킹 서비스를 지원하는 스마트 미러 (BuddyMirror: A Smart Mirror Supporting Image-Making Service)

  • 조연정;심채린;장효원;진재환;이명준
    • 예술인문사회 융합 멀티미디어 논문지
    • /
    • 제9권5호
    • /
    • pp.811-821
    • /
    • 2019
  • 사람에 대한 이미지 메이킹은 외모나 인상, 자신감 등 자신을 표현할 수 있는 다양한 요소들을 개선하는 방법이다. 사람들은 이미지 메이킹을 위하여 전통적인 방법으로서 거울이나 카메라를 이용하여 자신의 모습을 확인하거나 발표 연습을 수행한다. 최근에는 스마트 미러가 여러 분야에서 널리 활용됨에 따라 스마트 미러가 거울을 대신하여 이미지 메이킹 도구로 사용하고자 하는 시도가 빈번하게 등장하고 있다. 스마트 미러는 쉽게 접근이 가능하다는 거울의 특성을 가질 뿐만 아니라 카메라나 마이크 등 다양한 기기를 부착할 수 있으므로 이미지 메이킹 서비스를 제공하기 위한 도구로서 적합하다. 본 논문에서는 사용자에게 이미지 메이킹 서비스를 제공하는 스마트 미러 소프트웨어인 BuddyMirror와 이를 유연하게 동작시키기 위한 전용 모바일 앱의 개발에 대하여 기술한다. BuddyMirror는 사용자의 요청에 따라 발표준비, 모의면접, 스타일링 서비스를 제공하고 전용 모바일 앱과의 연동 기능을 제공한다. 이를 위하여, 본 논문에서는 개발된 새로운 서비스를 널리 사용되는 스마트 미러 개발 플랫폼인 MagicMirror의 모듈로서 구현하고 동작시키기 기법을 설명한다. 전용 모바일 앱은 사용자가 이미지 메이킹 서비스를 제공 받기 위해 발표 자료를 스마트 미러에 전달하거나 촬영된 영상을 다운로드하는 기능을 제공한다.

효율적인 개방형 어휘 3차원 개체 분할을 위한 클래스-독립적인 3차원 마스크 제안과 2차원-3차원 시각적 특징 앙상블 (Class-Agnostic 3D Mask Proposal and 2D-3D Visual Feature Ensemble for Efficient Open-Vocabulary 3D Instance Segmentation)

  • 송성호;박경민;김인철
    • 정보처리학회 논문지
    • /
    • 제13권7호
    • /
    • pp.335-347
    • /
    • 2024
  • 개방형 어휘 3차원 포인트 클라우드 개체 분할은 3차원 장면 포인트 클라우드를 훈련단계에서 등장하였던 기본 클래스의 개체들뿐만 아니라 새로운 신규 클래스의 개체들로도 분할해야 하는 어려운 시각적 작업이다. 본 논문에서는 중요한 모델 설계 이슈별 기존 모델들의 한계점들을 극복하기 위해, 새로운 개방형 어휘 3차원 개체 분할 모델인 Open3DME를 제안한다. 첫째, 제안 모델은 클래스-독립적인 3차원 마스크의 품질을 향상시키기 위해, 새로운 트랜스포머 기반 3차원 포인트 클라우드 개체 분할 모델인 T3DIS[6]를 마스크 제안 모듈로 채용한다. 둘째, 제안 모델은 각 포인트 세그먼트별로 텍스트와 의미적으로 정렬된 시각적 특징을 얻기 위해, 사전 학습된 OpenScene 인코더와 CLIP 인코더를 적용하여 포인트 클라우드와 멀티-뷰 RGB 영상들로부터 각각 3차원 및 2차원 특징들을 추출한다. 마지막으로, 제안 모델은 개방형 어휘 레이블 할당 과정동안 각 포인트 클라우드 세그먼트별로 추출한 2차원 시각적 특징과 3차원 시각적 특징을 상호 보완적으로 함께 이용하기 위해, 특징 앙상블 기법을 적용한다. 본 논문에서는 ScanNet-V2 벤치마크 데이터 집합을 이용한 다양한 정량적, 정성적 실험들을 통해, 제안 모델의 성능 우수성을 입증한다.