• 제목/요약/키워드: Convolutional encoding

검색결과 44건 처리시간 0.023초

Contextual Modeling in Context-Aware Conversation Systems

  • Quoc-Dai Luong Tran;Dinh-Hong Vu;Anh-Cuong Le;Ashwin Ittoo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권5호
    • /
    • pp.1396-1412
    • /
    • 2023
  • Conversation modeling is an important and challenging task in the field of natural language processing because it is a key component promoting the development of automated humanmachine conversation. Most recent research concerning conversation modeling focuses only on the current utterance (considered as the current question) to generate a response, and thus fails to capture the conversation's logic from its beginning. Some studies concatenate the current question with previous conversation sentences and use it as input for response generation. Another approach is to use an encoder to store all previous utterances. Each time a new question is encountered, the encoder is updated and used to generate the response. Our approach in this paper differs from previous studies in that we explicitly separate the encoding of the question from the encoding of its context. This results in different encoding models for the question and the context, capturing the specificity of each. In this way, we have access to the entire context when generating the response. To this end, we propose a deep neural network-based model, called the Context Model, to encode previous utterances' information and combine it with the current question. This approach satisfies the need for context information while keeping the different roles of the current question and its context separate while generating a response. We investigate two approaches for representing the context: Long short-term memory and Convolutional neural network. Experiments show that our Context Model outperforms a baseline model on both ConvAI2 Dataset and a collected dataset of conversational English.

구내 데이터 통신용 무선모뎀 설계 및 구현 (Design and Implementation of Wireless Modem for Indoor Data Communication)

  • 조병학
    • 정보통신설비학회논문지
    • /
    • 제11권1호
    • /
    • pp.16-22
    • /
    • 2012
  • Wireless data communication is easy to be affected by channel noise and degrade reliability and stability by the multipath fading and ISI compared with wired data communication. In this paper, we designed and implemented indoor wireless modem adopted DQPSK modulation scheme for improvement of bandwidth efficiency, and convolutional encoding, Viterbi decoding and hybrid ARQ algorithm combinig FEC with CRC for efficient error control in indoor wireless channel. Testing the implemented wireless modem, we verified the proposed scheme is proper to efficient and reliable indoor wireless data communication.

  • PDF

Ensemble of Degraded Artificial Intelligence Modules Against Adversarial Attacks on Neural Networks

  • Sutanto, Richard Evan;Lee, Sukho
    • Journal of information and communication convergence engineering
    • /
    • 제16권3호
    • /
    • pp.148-152
    • /
    • 2018
  • Adversarial attacks on artificial intelligence (AI) systems use adversarial examples to achieve the attack objective. Adversarial examples consist of slightly changed test data, causing AI systems to make false decisions on these examples. When used as a tool for attacking AI systems, this can lead to disastrous results. In this paper, we propose an ensemble of degraded convolutional neural network (CNN) modules, which is more robust to adversarial attacks than conventional CNNs. Each module is trained on degraded images. During testing, images are degraded using various degradation methods, and a final decision is made utilizing a one-hot encoding vector that is obtained by summing up all the output vectors of the modules. Experimental results show that the proposed ensemble network is more resilient to adversarial attacks than conventional networks, while the accuracies for normal images are similar.

A New Multicarrier Multicode DS-CDMA Scheme for Time and Frequency Selective Fading Channels

  • Cao Yewen;Tjhung Tjeng Thiang;Ko Chi Chung
    • Journal of Communications and Networks
    • /
    • 제7권1호
    • /
    • pp.13-20
    • /
    • 2005
  • In this paper, a new multi carrier, direct sequence code division multiple access (MC-DS-CDMA) system is proposed. Our new signal construction is based on convolutional encoding of the transmitted data, serial-to-parallel (S/P) conversion of the encoded data, Walsh-Hadamard-transformation (WHT), a second S/P conversion of the WHT outputs, spread spectrum (SS) modulation with a common pseudo-noise (PN) sequence, and then multicarrier transmission. The system bit error rate (BER) performance in frequency selective fading channel in the presence of additive white Gaussian noise (AWGN) and a jamming tone is analyzed and simulated. The numerical results are compared with those from an orthogonal MC-DS-CDMA system of Sourour and Nakagawa [7]. It is shown that the two systems have almost the same BER performance, but the proposed scheme has better anti-jamming ability.

Image Understanding for Visual Dialog

  • Cho, Yeongsu;Kim, Incheol
    • Journal of Information Processing Systems
    • /
    • 제15권5호
    • /
    • pp.1171-1178
    • /
    • 2019
  • This study proposes a deep neural network model based on an encoder-decoder structure for visual dialogs. Ongoing linguistic understanding of the dialog history and context is important to generate correct answers to questions in visual dialogs followed by questions and answers regarding images. Nevertheless, in many cases, a visual understanding that can identify scenes or object attributes contained in images is beneficial. Hence, in the proposed model, by employing a separate person detector and an attribute recognizer in addition to visual features extracted from the entire input image at the encoding stage using a convolutional neural network, we emphasize attributes, such as gender, age, and dress concept of the people in the corresponding image and use them to generate answers. The results of the experiments conducted using VisDial v0.9, a large benchmark dataset, confirmed that the proposed model performed well.

딥 러닝 기반의 이미지 압축 알고리즘에 관한 연구 (Study on Image Compression Algorithm with Deep Learning)

  • 이용환
    • 반도체디스플레이기술학회지
    • /
    • 제21권4호
    • /
    • pp.156-162
    • /
    • 2022
  • Image compression plays an important role in encoding and improving various forms of images in the digital era. Recent researches have focused on the principle of deep learning as one of the most exciting machine learning methods to show that it is good scheme to analyze, classify and compress images. Various neural networks are able to adapt for image compressions, such as deep neural networks, artificial neural networks, recurrent neural networks and convolution neural networks. In this review paper, we discussed how to apply the rule of deep learning to obtain better image compression with high accuracy, low loss-ness and high visibility of the image. For those results in performance, deep learning methods are required on justified manner with distinct analysis.

화면 간 예측에서 인코딩 정보를 고려한 딥러닝 기반 인루프 필터 (Considering Encoding Information for CNN based In-loop Filter in Inter Video Coding)

  • 김양우;이영렬
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.143-144
    • /
    • 2020
  • VVC (Versatile Video Coding)는 HEVC이후 차세대 표준 비디오 코딩으로 JVET(Joint Video Exploration)에 의해 2018년 표준화를 시작하였다. VVC에는 복원픽쳐의 변환-양자화에러에 의해 발생한 블로어, 블로킹, 링잉 아티팩트를 감소시키기 위하여 deblocking filter (DF), sample adaptive offset (SAO), adaptive loop filter(ALF)와 같은 모듈을 사용한다. 한편 CNN (Convolutional Neural Network)은 최근 이미지와 비디오 복원에 높은 성능을 보이고 있다. VVC에서 픽쳐는 CTU (Coding Tree Unit)으로 분할되고 각 CTU는 다시 CU (Coding Unit)으로 분할된다. 그리고 인코딩을 위한 중요한 정보들이 Picture, CTU, CU단위로 디코더에 전송된다. 이 논문에서는 화면 간 예측으로 인코딩 된 픽처에서 블록과 픽처정보를 이용한 딥러닝 기반의 인루프 필터 모델을 제안한다. 제안하는 모델은 화면 간 예측에서 QP, 4×4 블록단위의 모션벡터, 참조블록과의 시간적거리, CU의 깊이를 모델에 추가적인 정보로 이용한다.

  • PDF

그래프 트랜스포머 기반 농가 사과 품질 이미지의 그래프 표현 학습 연구 (A Study about Learning Graph Representation on Farmhouse Apple Quality Images with Graph Transformer)

  • 배지훈;이주환;유광현;권경주;김진영
    • 스마트미디어저널
    • /
    • 제12권1호
    • /
    • pp.9-16
    • /
    • 2023
  • 최근 농가의 사과 품질 선별 작업에서 인적자원의 한계를 극복하기 위해 합성곱 신경망(CNN) 기반 시스템이 개발되고 있다. 그러나 합성곱 신경망은 동일한 크기의 이미지만을 입력받기 때문에 샘플링 등의 전처리 과정이 요구될 수 있으며, 과도 샘플링의 경우 화질 저하, 블러링 등 원본 이미지의 정보손실 문제가 발생한다. 본 논문에서는 위 문제를 최소화하기 위하여, 원본 이미지의 패치 기반 그래프를 생성하고 그래프 트랜스포머 모델의 랜덤워크 기반 위치 인코딩 방법을 제안한다. 위 방법은 랜덤워크 알고리즘 기반 위치정보가 없는 패치들의 위치 임베딩 정보를 지속적으로 학습하고, 기존 그래프 트랜스포머의 자가 주의집중 기법을 통해 유익한 노드정보들을 집계함으로써 최적의 그래프 구조를 찾는다. 따라서 무작위 노드 순서의 새로운 그래프 구조와 이미지의 객체 위치에 따른 임의의 그래프 구조에서도 강건한 성질을 가지며, 좋은 성능을 보여준다. 5가지 사과 품질 데이터셋으로 실험하였을 때, 다른 GNN 모델보다 최소 1.3%에서 최대 4.7%의 학습 정확도가 높았으며, ResNet18 모델의 23.52M보다 약 15% 적은 3.59M의 파라미터 수를 보유하여 연산량 절감에 따른 빠른 추론 속도를 보이며 그 효과를 증명한다.

계층간 교차 개념을 적용한 광 부호분할 다중접속 시스템의 성능 분석 (Performance Analysis of Optical CDMA System with Cross-Layer Concept)

  • 김진영;김은철
    • 대한전자공학회논문지TC
    • /
    • 제46권7호
    • /
    • pp.13-23
    • /
    • 2009
  • 본 논문에서는 계층간 교차 (Cross-Layer) 개념을 적용하여 터보 (Turbo) 부호화된 광 (Optical) 부호분할 다중접속 (CDMA : Code Division Multiple Access) 시스템의 네트워크 성능을 분석하고 실험하였다. 계층간 교차 개념은 물리 (Physical) 계층과 매체접근제어 (MAC : Medium Access Control) 계층을 고려하였다. 시스템은 펄스위치변조 (PPM : Pulse Position Modulation)를 적용한 강도변조/직접검파 (IM/DD : Intensity Modulation/Direct Detection) 방식의 광 시스템을 고려하였다. 그리고 시스템의 성능을 향상시키기 위해 병렬 연접된 길쌈부호 (PCCC : Parallel Concatenated Convolutional Code)로 이루어진 터보 부호를 사용하였다. 네트워크의 성능은 비트오류확률 (BEP : Bit Error Probabiliy) 측면에서 분석되었다. 모의실험 결과, 터보 부호는 적당한 부호화 및 복호화 복잡도에서 상당한 부호화 이득을 제공하는 것을 확인할 수 있었다. 또한 일정한 부호화율 (Code Rate)에서 인터리버 길이와 복호과정에서의 반복 복호 횟수를 증가시킬수록 시스템 성능이 향상되는 것을 확인하였다.

60GHz WPAN 시스템의 전송 효율 향상을 위한 협력 통신 기법 (Efficient Cooperative Transmission Scheme for High Speed WPAN System in 60GHz)

  • 이원진;이재영;서영길;허준
    • 한국통신학회논문지
    • /
    • 제35권3C호
    • /
    • pp.255-263
    • /
    • 2010
  • 본 논문에서는 60GHz WPAN (Wireless Personal Area Network) 시스템에서 릴레이를 이용한 협력 통신 기법을 제안하였다. 60GHz 대역은 LOS (Line-Of Sight)가 보장되어 있지 않은 경우 통신이 불가능하고 거리에 따른 신호 감쇄가 심하기 때문에 릴레이를 이용한 협력 통신 기법이 효과적이다. LOS가 존재하는 환경에서도 수신단이 송신단으로부터 받은 데이터뿐만 아니라 릴레이를 통해 데이터를 수신한다면 수신된 정보의 신뢰성을 높일 수 있다. 하지만 이 경우에 송신단이 데이터를 전송하는 시간뿐만 아니라 릴레이가 데이터를 전송하는 시간이 필요하기 때문에 정보의 전송률이 저하된다. 본 논문에서는 이러한 문제점을 해결하기 위하여 협력 통신 시스템에 적합한 Reed-Solomon(RS) code와 convolutional code(CC)의 직렬 연접 부호 구조를 이용하여 이러한 단점을 최소화 한다. 제안하는 협력 통신 기법은 릴레이에서 systematic RS code의 parity만을 convolutional code로 인코딩하여 전송하므로, 릴레이가 전송해야 하는 데이터의 양이 매우 적어 시스템의 전송 효율을 향상시킨다.