• 제목/요약/키워드: 연산지연

검색결과 451건 처리시간 0.023초

트랜스포머 알고리즘의 멀티 헤드 어텐션과 피드포워드 네트워크에서 활용 가능한 효율적인 행렬 곱셈기 (An Efficient Matrix Multiplier Available in Multi-Head Attention and Feed-Forward Network of Transformer Algorithms)

  • 장석우;김동순
    • 전기전자학회논문지
    • /
    • 제28권1호
    • /
    • pp.53-64
    • /
    • 2024
  • 자연어 처리 모델이 발전함에 따라 챗 GPT와 같은 대화형 언어 생성 AI 모델이 널리 사용되고 있다. 따라서 자연어 처리 최신 모델의 기반이 되는 트랜스포머 알고리즘을 하드웨어로 구현하여 연산 속도와 전력 소비량을 개선하는 것은 중요하다고 할 수 있다. 특히, 행렬 곱셈을 통해 문장에서 서로 다른 단어 간의 관계를 분석하는 멀티 헤드 어텐션과 피드 포워드 네트워크는 트랜스포머에서 연산량이 가장 큰 핵심적인 알고리즘이다. 본 논문에서는 기존의 시스톨릭 어레이를 변형하여 행렬 곱 연산 속도를 개선하고, 입력 단어 개수 변동에 따라 지연시간도 변동되는 유동적인 구조를 제안한다. 또한, 트랜스포머 알고리즘의 정확도를 유지하는 형태로 양자화를 하여 메모리 효율성과 연산 속도를 높였다. 본 논문은 평가를 위해 멀티헤드어텐션과 피드포워드 네트워크에서 소요되는 클럭사이클을 검증하고 다른 곱셈기와 성능을 비교하였다.

리프팅 스킴의 2차원 이산 웨이브릿 변환 하드웨어 구현을 위한 고속 프로세서 구조 및 2차원 데이터 스케줄링 방법 (A Fast Processor Architecture and 2-D Data Scheduling Method to Implement the Lifting Scheme 2-D Discrete Wavelet Transform)

  • 김종욱;정정화
    • 대한전자공학회논문지SD
    • /
    • 제42권4호
    • /
    • pp.19-28
    • /
    • 2005
  • 본 논문에서는 리프팅 스킴의 2차원 고속 웨이블릿 변환에서 2차원 처리 속도를 향상시키고, 내부 메모리 사이즈를 감소시키는 병렬 처리 하드웨어 구조를 제안한다. 기존의 리프팅 스킴을 이용한 병력 처리 2차원 웨이블릿 변환 구조는 행 방향의 예측, 보상 연산 모듈과 열 방향의 예측 보상 연산 모듈로 구성되며, 2차원 웨이블릿에서 역 방향 변환을 위해서는 행 방향의 결과가 나와야 하고, 열 방향 연산을 위한 데이터가 연속적으로 발생하는 것이 아니라 행 방향의 샘플 데이터 수만큼의 시차를 갖고 발생함으로 내부 버퍼를 사용하고 있다. 이에 제안하는 구조에서는 행 방향 연간에 있어서 짝수 행과 홀수 행을 동시에 할 수 있도록 하드웨어 구조와 데이터 흐름을 구성하여 속도를 향상시키고, 열 방향 연산의 시작 지연 시간을 단축 시켰다. 그리고, 행 방향 처리 결과를 버퍼에 저장하지 않고 열 방향 연산의 입력으로 사용할 수 있도록 열 방향 처리 모듈을 개선하였다. 제안하는 구조는 입력 데이터를 4개의 분한 셋으로 분할하여 기존의 2개의 입력 데이터를 동시에 처리하는 방식에서 4개의 입력 데이터를 동시에 받아 처리 할 수 있도록 데이터의 흐름과 각 모듈의 연산 제어를 구성하였다. 그 결과 행 방향연산 속도를 향상시키고, 열 방향 연산 수행의 지연을 줄여 내부 버퍼 메모리를 절반으로 줄일 수 있었다. 제안하는 데이터흐름과 하드웨어 구조를 이용하여 VHDL을 이용하여 설계한 결과 기존의 $N^2/2+\alpha$의 전체 처리 시간을 $N^2/4+\beta$로 줄이는 결과를 얻었고, 내부 메모리 역시 기존의 방법에 비해 최대 $50\%$까지 줄이는 결과를 얻을 수 있었다.이 길었다. D, F 2개 시험구의 부화된 계통수는 각 48계통, 29계통으로 전체 조사계통의 15.6%, 9.4%를 차지하였다. D, F시험구의 평균부화비율은 각 54.5%, 71.6%였으며 평균사란비율은 각 33.0%, 25.0%였다 이상의 시험 결과를 보면 D, F 두 시험구 모두 최청사란비율이 일반계통보다 높게 나타나 월년잠종의 2년간 냉장보존을 위해서는 최청사란비율에 직접적으로 작용하는 최청 조건의 재검토가 우선적으로 필요함을 알 수 있었다.L)보다 높았다. 특히, 0.5 mM의 salicylic acid를 처리한 경우는 control에 비해 1.74배로 증가하였다. Methyl jasmonate 100 mM을 배양 6일째 첨가했을 때의 세포생장 변화를 보면, 첨가 후 2일이 지나면서부터 세포의 양이 크게 감소하기 시작하여 첨가 4일 후부터는 변화가 없었다. 따라서 methyl jasmonate를 처리 후 4일이 지나면 세포가 모두 죽는다는 것을 알 수 있었다. Methyl jasmonate 100 mM을 첨가한 후 4일째에 수확한 세포로부터 나온 oleanolic acid의 앙은 5.3 mg/L로 매우 적었다. 반면에 첨가 후 2일째에 수확한 세포로부터 나온 양은 94.1 mg/L로 control (43.4 mg/L)에 비해 2.17배로 증가되었다.재래시장과 백화점에서 시판되고 있는 계란 총 446개에 대해서도 동일한 절차와 방법으로 조사하였던바, 재래시장에서 구입했던 계란의 난각부분(Egg-shell)에서만 가금티푸스(fowl Typhoid)의 병원체인 S. gallinarum이 1주$(0.2\%)$만이 분리되었고, 기타 세균으로서는 대장균군이 역시 난각에서 가장 높은 빈도로 분리되었고,

GIS 응용을 위한 바다-III의 다단계 사전인출과 지연쓰기의 설계 및 구현 (Design and Implementation of the Multi-level Pre-fetch and Deferred-flush in BADA-III for GIS Applications)

  • 박준호;박성철;심광훈;성준화;박영철
    • 한국지리정보학회지
    • /
    • 제1권2호
    • /
    • pp.67-79
    • /
    • 1998
  • 대부분의 GIS 응용 프로그램은 다수의 공간객체에 대하여 주로 읽기 연산을 수행하며 접근하는 공간객체가 복합 객체인 경우 그 복합객체와 그 복합객체가 포함하는 공간객체에 모두 접근하게 된다. GIS 응용 프로그램에서 공간객체의 생성, 삭제, 변경연산은 매우 드물게 일어나지만 다수의 공간객체에 대하여 수행된다. 본 논문은 GIS 응용 프로그램의 이러한 특성을 고려하여 다수의 공간객체들을 신속히 탐색하기 위한 다단계 사전인출 질의의 개념을 제시하고 생성하는 영속객체들을 최적의 성능으로 데이타베이스에 반영하기 위한 지연쓰기 기능을 객체지향 데이타베이스 시스템인 바다-III에 설계하고 구현한 내용을 제시한다. 다단계 사전인출 질의는 그 질의를 만족하는 객체들뿐만 아니라 그 객체들이 포함하는 객체들을 사용자가 명시한 단계만큼 데이타베이스로부터 인출하여 클라이언트 캐쉬에 등록하는 기능이다. 지연쓰기 기능은 응용 프로그램이 생성한 객체들에 대하여 서버의 부담을 최소화하고 클라이언트와 서버간의 통신을 최소화하면서 데이타베이스에 반영하는 기법이다. 이들 두 기능은 GIS 응용과 같이 다수의 복합객체를 탐색하고 생성하는 응용에 적합하다.

  • PDF

CRT를 이용한 하이래딕스 RSA 모듈로 멱승 처리기의 구현 (Implementation of High-radix Modular Exponentiator for RSA using CRT)

  • 이석용;김성두;정용진
    • 정보보호학회논문지
    • /
    • 제10권4호
    • /
    • pp.81-93
    • /
    • 2000
  • 본 논문에서는 RSA 암호 시스템의 핵심 연산인 모듈로 멱승의 처리속도를 향상시키기 위한 방법으로 하이래딕스 (High-Radix) 연산 방식과 CRT(Chinese Remainder Theorem)를 적용한 새로운 하드웨어 구조를 제안한다. 모듈로 멱승의 기본 연산인 모듈로 곱셈은 16진 연산 방법을 사용하여 PE(Processing Element)의 개수를 1/4고 줄임으로써, 기존의 이 진 연산 방식에 비해 클럭 수차 파이프라이닝 플립플롭의 지연시간을 1/4로 줄였다. 복호화시에는 합성수인 계수 N 의 인수, p, q를 알고 있는 점을 이용하여 속도를 향상시키는 일반적인 방법인 CRT 알고리즘을 적용하였다. 즉, s비트 의 키에 대해, s/2비트 모듈로 곱셈기 두 개를 병렬로 동시 수행함으로써 처리 속도를 CRT를 사용하지 않을 때보다 4 배정도 향상시켰다. 암호화의 경우는 두 개의 s/2비트 모듈로 곱셈기를 직렬로 연결하여 s/비트에 대한 연산이 가능하도록 하였으며 공개키는 E는 17비트까지의 지수를 허용하여 빠른 속도를 유지하였다. 모듈로 곱셈은 몽고메리 알고리즘을 변형하여 사용하였으며, 그 내부 계산 구조를 보여주는 데이터 종속 그래프(Dependence Graph)를 수평으로 매핑하여 1차원 선형 어레이 구조로 구성하였다. 그 결과 삼성 0.5um CMOS 스탠다드 셀 라이브러리를 근거로 산출한 때, 1024 비트 RSA 연산에 대해서 160Mhz의 클럭 주파수로 암호화 시에 15Mbps, 복호화 시에 1.22Mbs의 성능을 가질 것으로 예측되며, 이러한 성능은 지금가지 발표된 국내의의 어느 논문보다도 빠른 RSA 처리 시간이다.

애드 혹 네트워크에서 인접 행렬 기반의 라우팅 연구 (A Study of Routing based on Adjacency Matrix in Ad hoc Networks)

  • 이성수;김정미;박희주;김종근
    • 정보처리학회논문지C
    • /
    • 제15C권6호
    • /
    • pp.531-538
    • /
    • 2008
  • 애드 혹 네트워크의 동적인 환경에서는 네트워크 토폴로지의 변화로 잦은 경로 단절과 이로 인한 전송 지연이 일어난다. 따라서 전송 지연에 민감한 애드 혹 네트워크의 실시간 환경에서는 효율적인 라우팅 방법이 주요 관심이 될 수밖에 없다. 그래프를 이용하는 통신 관련 이론의 주요 관심 중 하나는 주어진 노드들 중에서 어떠한 노드들이 연결되어 있으며, 최소 비용을 가진 경로는 어떻게 쉽게 찾을 것인가 하는 것 들이다. 애드 혹 네트워크에서 노드간의 연결은 인접 행렬로 나타낼 수 있다. 본 논문에서는 이러한 인접 행렬에 기반한 일련의 행렬 연산을 이용한 경로 검색 기법을 제안한다. 인접 행렬의 연산을 통해 구해진 연결 행렬을 이용하여 목적지로부터 소스까지 경로를 구하는 방법이다. 최단 경로를 검색하기 위한 인접 행렬 기반의 역검색 방법과 노드-비중첩 다중 경로를 검색하기 위한 인접 행렬 기반의 노드-비중첩 다중 경로 역검색 방법을 제안한다.

오존발생장치용 정출력 전원장치의 개발 (Development of Constant Output Power Supply System for Ozonizer)

  • 우정인;우성훈;노인배;박지호;김동완
    • 조명전기설비학회논문지
    • /
    • 제19권7호
    • /
    • pp.113-121
    • /
    • 2005
  • 본 논문에서는 오존발생장치의 전원측 파형에 포함되는 고주파수의 노이즈를 제거하고, 디지털 궤환 제어에 의해 오존 출력을 제어하기 위하여 전원장치의 출력측 LC 필터와 방전관 용량으로부터 커패시터 전압과 전류를 검출하여 2중의 제어루프를 설계하였다. 디지털 제어기의 연산지연시간을 보상하기 위하여 연산지연시간을 전원장치 플랜트의 고유한 파라미터로 가정하고, 플랜트 모델에 포함시켜 모델링 하였다. 오존발생장치의 부하변동에 따르는 과도상태 응답특성을 개선하고, 파라미터 변동에 강인한 특성을 얻기 위하여 내부 전류 모델 제어기를 제안하였다. 또한 오존발생장치용 전원장치에서 영 오차의 정상 상태를 얻기 위하여 외부 전압 제어루프를 구성하여 비례 제어기와 공진 제어기를 병렬로 연결한 비례-공진 전압제어기를 제안하였다.

웜홀 방식 망에서의 효율적인 완전교환 통신 알고리즘 (Efficient All-to-All Personalized Communication Algorithms in Wormhole Networks)

  • 김시관;맹승렬;조정완
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권5호
    • /
    • pp.464-474
    • /
    • 2000
  • 완전교환 통신은 행렬전이, 푸리에변환 혹은 분산 테이블 검색과 같은 여러 가지 응용에서 아주 많이 활용되는 통신 방법이다. 본 논문은 웜홀 방식을 채용한 2차원 토러스에서의 개시 지연 시간을 줄이기 위하여 분할 및 합병 (divide-and-conquer) 방식을 사용한 효율적인 완전교환 통신 알고리즘을 제 안한다. 전체망을 2x2 형태의 기본셀로 분할한 뒤 각 기본셀에서는 마스터노드라고 불리는 특정 노드를 지정하여 기본셀내의 여타 노드들의 메시지를 이 마스터노드가 수집한다. 이 마스터노드들이 다른 모든 노드로 보내질 메시지를 수집한 뒤 각 기본셀내의 모든 마스터 노드들만이 가상 망을 형성하여 망의 크기가 N/2 x N/2으로 줄어든 상태로 완전 교환 알고리즘을 수행한다. 마스터노드들간의 완전교환 연산을 수행 한 뒤 이 마스터노드들은 자기가 전담했던 여타 노드들의 메시지를 재분배해 줌으로써 주어진 완전교환 연산을 완료한다. 기존의 여러 가지 알고리즘과의 비교 분석을 제시하였으며 제시한 알고리즘이 약 2배 정도의 개시 지연시간 면에서 우수함을 보인다.

  • PDF

UPS 인버터의 성능 개선을 위한 강인한 2중 디지털 제어기의 설계 (Design of Robust Double Digital Controller to Improve Performance for UPS Inverter)

  • 박지호;노태균;김춘삼;안인모;우정인
    • 전력전자학회논문지
    • /
    • 제8권2호
    • /
    • pp.116-127
    • /
    • 2003
  • 본 논문에서는 UPS 인버터의 성능 개선을 위하여 출력측 LC 필터의 커패시터 전압과 전류의 2중 제어루프를 구성하고, 2중 제어루프에 디지털 제어시스템을 채택하였다 또한, 디지털 제어기의 연산지연시간을 보상하기 위하여 이러한 연산지연시간을 인버터 플랜트의 고유한 파라미터로 가정하고, 플랜트 모델에 포함시켜 모델링 하였다. UPS 인버터 출련전압의 과도상태 응답특실을 개선하고, 파라미터 변동에 강인한 특성을 얻기 위하여 2중 제어루프에서 내부 전류 제어루프는 내부 모델 제어기를 제안하였다. UPS 인버터 출력전압의 0의 정상상태 오차를 얻기 위하여 외부 전압 제어루프는 비례 제어기와 공진 제어기를 병렬로 연결한 비례-공진 진압제어기를 제안하였다.

유전 알고리즘의 연산처리를 통한 개선된 경로 탐색 기법 (Improved Route Search Method Through the Operation Process of the Genetic Algorithm)

  • 지홍일;문석환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 춘계학술대회
    • /
    • pp.632-635
    • /
    • 2015
  • 본 논문에서는 제안한 알고리즘은 이전 유전 알고리즘의 분산처리를 위해 라우터 그룹 단위인 셀을 도입하였다. 셀 단위로 유전 알고리즘을 시행하여 전체 네트워크의 탐색 지연시간을 줄이는 방법을 제시하였다. 실험을 통하여 기존 유전 알고리즘과의 성능 분석에 대한 결과는 비용면에서나 지연시간면에서 제안한 알고리즘이 우위에 있는 것으로 나타났다. 또한, 기존 최적경로 알고리즘인 Dijkstra 알고리즘에서 네트워크가 손상되었을 경우 제안한 알고리즘에는 대체 경로 설정의 연산시간이 단축되었으며 손상된 네트워크의 셀 안에서 2순위의 경로를 가지고 있으므로 Dijkstra 알고리즘보다 신속하게 대체경로를 설정하도록 설계되었다. 이는 제안한 알고리즘이 네트워크상에서 Dijkstra 알고리즘이 손상되었을 경우 대체 경로설정을 보완할 수 있음을 확인하였다.

  • PDF

최소자승법과 후보군 선택 기법을 이용한 2-18GHz 디지털 주파수 변별기 설계 (Design of A 2-18GHz Digital Frequency Discriminator using Least-squares and Candidate-selection Methods)

  • 박진오;남상원
    • 전자공학회논문지
    • /
    • 제50권6호
    • /
    • pp.246-253
    • /
    • 2013
  • 위상 펼침 (phase unwrapping)과 최소자승(least-squares) 기법들을 이용한 기존 디지털 주파수 변별기 (Digital Frequency Discriminator: DFD) 설계를 바탕으로, 본 논문에서는 주파수 판별 대역이 4배 확장한 새로운 DFD 설계를 제안한다. 구체적으로, 주파수 판별 대역을 기존 2-6GHz에서 2-18GHz로 4배 확장함에 따라 주파수 판별 정확도를 높이기 위해 DFD 내의 지연선 수가 증가되고, 이에 따른 주파수 추정 연산량이 증가되는데, 본 논문에서는 이러한 2-18GHz 대역 주파수 판별을 위해 보다 효율적인 주파수 추정 알고리즘을 제안한다. 특히, 제안하는 주파수 추정 방법에서는 기존 방법인 위상 펼침 기법을 기반으로 펼친 위상의 후보군을 만들되, 각 지연선에서 발생할 수 있는 위상 잡음을 미리 추정하여, 적절한 펼친 위상 후보군을 선택하는 새로운 주파수 후보군 선택 방법을 제안한다. 이렇게 선택된 위상 후보군만을 최소자승 기법에 적용하여 주파수를 추정함으로써, 결과적으로 기존 DFD의 주파수 추정에 비해 연산량을 줄일 수 있다. 끝으로, 제안한 DFD에 대한 주파수 변별 방법을 비교 분석하고, 시뮬레이션을 통해 제안된 방법의 주파수 판별 성능을 검증한다.