• 제목/요약/키워드: 쓰레드

검색결과 290건 처리시간 0.028초

쓰레드를 이용한 파이썬 웹 크롤러 구현 (An Implementation of Python Web Crawler Using Thread)

  • 양희찬;김정길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.70-72
    • /
    • 2019
  • 최근 ICT의 발전으로 인해 웹사이트 수가 폭발적으로 증가하고 있으며 인터넷상에는 여러 가지 다양하고 방대한 데이터들이 존재한다. 이러한 데이터를 효과적으로 검색하고 이용하기 위하여 웹 검색 기능은 주요한 역할을 담당한다. 본 논문에서는 웹 데이터를 자동으로 스크랩하여 파일로 저장하는 웹 크롤러를 구현하고 처리 속도 향상을 위하여 쓰레드 기능을 추가하였다. 웹 크롤러 구현을 위한 프로그래밍 언어는 파이썬을 사용하였으며 다양한 크기의 레퍼런스 사이트의 크롤링 속도 비교는 쓰레드 수를 변경함으로 측정하여 성능향상을 확인하였다.

알맵 지도 인터페이스를 이용한 궤적 데이터의 시간적 표현 방법 (A sequential presentation method for trajectory data using Almap interface)

  • 이정훈;홍영신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.1219-1221
    • /
    • 2008
  • 본 논문에서는 막대한 양의 위치 정보가 축적되는 차량 텔레매틱스 시스템을 대상으로 이동 이력 데이터에 대한 효과적인 분석을 위하여 이동 객체들의 궤적과 위치 변화를 시간적인 흐름에 따라 디지털 맵에 표현하는 인터페이스를 설계하고 구현하였다. 분석기 모듈은 쓰레드로 구현되어 윈도우즈 운영체제의 쓰레드 제어함수에 의해 분석 모듈도 같이 수행이 제어될 수 있으며 상용 디지털 맵인 알맵에 기반하여 이의 API에 따라 지도 인터페이스를 구현하였다. 또한 도로상에서의 분석을 위해 도로 네트워크 상에서의 표현도 구현하였다. 본 논문에서 구현된 분석 인터페이스의 구조는 쓰레드, 디지털 맵 등에 대한 요소들을 적절히 결합하여 새로운 Add-in 분석 기능을 추가할 수 있도록 한다.

멀티코어 환경에서 SEDA 기반 메시지 처리기의 수행함수 특성을 고려한 쓰레드 매핑 기법 (A Function-characteristic Aware Thread-mapping Strategy for an SEDA-based Message Processor in Multi-core Environments)

  • 강희은;박성용;이윤정;지승배
    • 정보과학회 논문지
    • /
    • 제44권1호
    • /
    • pp.13-20
    • /
    • 2017
  • 메시지 처리기란 클라이언트들로부터 수신된 다양한 포맷의 메시지를 수신 메시지 별 쓰레드를 생성하여 처리하고 그 결과를 목적지로 전달하는 서버 소프트웨어를 말한다. 본 논문에서는 SEDA(The Stage Event Driven Architecture) 구조의 메시지 처리기에서 각 수행함수가 CPU 또는 IO bound 특성을 가질 수 있다는 점에 착안하여, 수행 함수 별 특성을 고려해 쓰레드를 각 코어에 매핑하는 FC-TM(Function Characteristic aware Thread Mapping) 기법을 제안하였다. 본 논문에서는 메시지 처리에 필요한 각 수행함수의 특성이 정적인 것으로 가정하였다. 따라서 수행 가능한 함수를 미리 프로파일링(profiling)하여 특성을 분석한 후, 실제 수신되는 메시지에 따라 단위시간 당 처리량(throughput)이 최대가 되도록 쓰레드를 매핑하였다. 성능 평가 결과 IO bound한 함수가 특정 비율 이상 있을 경우, 기존 연구보다 단위시간당 처리량이 최대 72%까지 증가하였다.

POSIX 쓰레드를 이용한 SR 실행지원시스템의 설계 및 구현 (Design and Implementation of SR Run-Time Support System Using POSIX ZThreads)

  • 김영곤;정영필;박양수;이명준
    • 한국정보처리학회논문지
    • /
    • 제4권4호
    • /
    • pp.1106-1120
    • /
    • 1997
  • 본 연구에서는 POSIX 쓰레드(Pthreads)를 사용하여 구현한 새로운 SR 실행지원 시스템인 SR/RTS+를 제시한다. SR은 다중의 병행 제어 프리미티브를 이용해서 다양한 병행 프로그래밍 기법을 제공한다. 윈 SR 실행지원시스템이 자신의 고유한 쓰레드 경영 기법을 사용하였기 때문에 다른 컴퓨터 시스템에서 동작하기 위해서는 실행지원 시스템의 수정이 필요하다. 더우기 실행지원시스템의 실행 효율성은 이런 각각의 상이한 시스템에 연관되어 개별적으로 고려되어야 한다. 따라서 이식성을 증가시키고 실행 효 율성을 예측 가능하도록 하기 위해서 SR/RTS+를 하나의 POSIX프로세스내에서 다중의 실행의 쓰레드를 제공하는 Pthreaes(POSIX쓰레드)상에서 설계되었다. 또한 ,SR 컴파일러 Ptherads 인터페이스를 위한 코드를 적절히 생성하도록 수정되었다. SR/RTS+는 Florida Sate Univerisity에서 제공하는 Pthreads 라이브러리를 사용하여 Spare Workstation 상에서 개발되었으며, University of Arizona에서 제공하는 SR 검증 도구로 테스트하였다.

  • PDF

순차적 SMT Processor를 위한 Scoreboard Array와 포트 중재 모듈의 구현 (Implementation of a Scoreboard Array and a Port Arbiter for In-order SMT Processors)

  • 허창용;홍인표;이용석
    • 대한전자공학회논문지SD
    • /
    • 제41권6호
    • /
    • pp.59-70
    • /
    • 2004
  • SMT(Simultaneous Multi Threading)구조는 여러 개의 독립적인 쓰레드들로부터의 명령어들을 이용하여, 이슈 슬롯을 채울 수 있도록 하는 쓰레드 레벨 병렬 성을 사용함으로서, 결국 프로세서의 성능을 향상시킨다. 독립적인 여러 개의 준비된 쓰레드들을 갖는다는 것은 실행 유닛들이 무용의 상태로 남아 있는 가능성을 줄일 수 있다는 의미이며, 이러한 사항은 결국 프로세서의 효율성을 증가 시키게 된다. SMT 프로세서에서 그러한 이점을 이용하기 위해서는, 이슈 유닛은 서로 다른 쓰레드들로부터의 여러 명령어들 간의 흐름을 제어해서, 그러한 명령어들 사이에서 충돌이 일어나지 않도록 해야 하지만, 이러한 사실로 인해 SMT 프로세서의 이슈 로직은 매우 복잡해지게 된다. 따라서, 본 논문에서 제안된 SMT 구조는 순차적 이슈와 완료 방식을 채택하여, 복잡한 레지스터 리네이밍이나 재순차 버퍼 등을 사용할 필요가 없이 비교적 간단한 스코어보드 어레이만을 사용하는 이슈 구조를 사용할 수 있게 하였다, 그러나, 여전히 SMT용 스코어보드 구조는 일반적인 단일 쓰레드의 범용 프로세서의 경우보다는 훨씬 더 복잡하고 많은 비용이 소요된다. 본 논문은 ARM 기본의 순차적 SMT 아키텍처 상에서의 최적의 스코어보드메커니즘에 대한 구현을 제안한다.

분산된 컴퓨팅 환경을 위한 자바 동기화 (Java Synchronization for Distributed Computing Environment)

  • 이상윤
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.391-393
    • /
    • 2004
  • 자바는 쓰레드 상호간의 동기를 프로그래밍 언어 자체의 기능으로 제공하고 있으므로 자바가 제공하는 동기화 메커니즘과 쓰레드는 병행처리를 수행하는 응용프로그램을 작성하는데 상당한 역할을 담당할 수 있다. 이에 따라, 병행처리와 관련된 자바의 기능을 분산된 컴퓨팅 환경에 적용하기 위한 많은 연구결과가 있다. 본 연구팀 에서는 자바 프로그램의 객체변환을 통하여 분산된 컴퓨팅 환경에서 동작하도록 지원하는 시스템을 발표한 바 있으나 분산처리와 관련된 기능을 지원하는 것으로 제한되었다. 병행처리를 수행하는 레거시 자바 프로그램을 분산된 컴퓨팅 환경에서 동작시키기 위하여 TORB(Transparent Object Request Broker)라고 명명된 이 시스템의 기능 확장을 시도하고 있으며 관련된 많은 문제들을 해결하였다. 본 논문에서는 서로 다른 컴퓨터에서 동시에 동작하는 자바 쓰레드간의 동기문제를 해결하기 위한 방안을 제시한다. 이는 단일 컴퓨팅 환경에서의 자바 동기화 메커니즘과 동일한 효과를 분산된 컴퓨팅 환경에서 얻을 수 있도록 지원하는 방안이며 TORB를 위하여 고안된 것이다.

  • PDF

CNS/ATM 구축을 위한 항공 이동 데이터 링크 응용 시스템의 구축에 관한 연구 (Development of an Wireless Aeronautical Data Link Application System, PDC, for the Korean CNS/ATM)

  • 김용중;박효달
    • 한국항행학회논문지
    • /
    • 제3권2호
    • /
    • pp.185-195
    • /
    • 1999
  • 항공이동통신분야에서는 아날로그형 음성통신의 한계점을 극복하고, 운용자의 업무 부담을 경감할 목적으로 항공이동데이터통신망(VDL)을 이용한 데이터 통신이 항공운용통신(AOC) 분야에서 발전되었으며, 이를 항공교통서비스(ATS) 분야에 적용하기 위한 연구가 국제민간항공기구(ICAO)의 CNS/ATM 구축 권고에 의하여 미국, 유럽 등 항공 선진국에서 진행되고 있다. 본 논문은 항공교통서비스 분야에 VDL을 이용한 데이터 링크 서비스를 제공하기 위하여 디지털형의 출발전비행허가(PDC) 시스템을 개발한 내용의 결과이다. 개발된 PDC 시스템은 하나의 PC급 단일 시스템으로 항공교통관제소, VDL 통신망, 관제사 등이 원격으로 연동되어 실시간 및 동시에 PDC 정보를 처리하여야 한다. 이를 위하여 제안된 기법은 하나의 프로세서에 여러 개의 쓰레드를 갖는 멀티 쓰레드 방식이 도입되어 설계되었다. 멀티 쓰레드 방식이 사용된 이유는 시스템의 간소화, 효율적인 내부 자원의 이용, 데이터 처리에 있어서 우수한 성능을 발휘하기 때문이다. 본 논문은 김포공항 PDC 시스템의 구조 및 설계 내용을 기술하고, 실제 운용 결과에 대한 데이터를 분석하였다. 김포공항 PDC 시스템의 운용결과를 이용한 분석한 결과, 운용초기단계로 모든 항공기에 시스템이 구축되지 않아 매일 평균 25대의 항공기가 운용하여 평균 10%의 이용률을 나타내며, 최대 34대의 항공기가 이용하고 있다. 메시지 송/수신에 걸리는 시간을 분석한 결과, 항공기의 PDC 요청부터 MAS의 수신에 소요되는 시간은 최소 14초부터 최대 983초(16분 23초)까지로써, 평균 122초(2분 2초)의 시간을 나타내었다. 또한 신뢰성을 확인하기 위하여 가용도를 계산한 결과 99.7%로써 상당히 신뢰할 수 있는 수준이었다. 또한, 다중 처리를 위하여 사용된 방식인 멀티 쓰레드 방식이 적절히 동작함을 확인할 수 있었다. 앞으로, 전체 연동 시스템이 자동화로 구축될 경우, PDC의 요청부터 발송 및 확인까지 상당히 짧은 시간 내에 이루어져 관제업무 능률을 향상시킬 수 있을 것이다.

  • PDF

이벤트 기반 다중 쓰레드에 의한 멀티미디어 프리젠테이션에 관한 연구 (A Study on Multimedia Presentation by Event based Multi-thread)

  • 이규남;나인호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.328-330
    • /
    • 2003
  • 본 논문에서는 멀티미디어 프리젠테이션 과정에서 발생할 수 있는 여러 동기화 요소를 고려한 프리젠테이션 제어 방안에 대하여 기술하였다. 효율적인 프리젠테이션을 위하여 모노 미디어의 개별적인 효과 표현과 시나리오를 기반으로 한 스케줄러, 그리고 여러 하드웨어 및 소프트웨어 관리 쓰레드 등으로부터 동기화와 직.간접적으로 관련된 이벤트를 발생시키고 이러한 이벤트를 종합적으로 관리하도록 하였다. 발생된 이벤트는 불규칙하고 동시다발적이기 때문에 발생 환경에 따라 적절하게 폐기하거나 처리의 선후관계를 다시 정의하는 등 프리젠테이션 환경에 따른 최적의 서비스 품질을 유지할 수 있도록 고려하였다.

  • PDF

샘플 쓰레드 기반 실시간 BRDF 렌더링 (Sample thread based real-time BRDF rendering)

  • 김순현;경민호;이주행
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제16권3호
    • /
    • pp.1-10
    • /
    • 2010
  • 본 논문에서는 BRDF를 이용한 재질 렌더링에서 적은 수의 샘플을 사용하면서 화소(pixel) 노이즈가 없는 렌더링 방법을 제안한다. BRDF를 이용한 재질 렌더링에서 이미지 품질을 결정하는데 가장 중요한 요소 중 한가지는 모든 방향으로부터 들어오는 빛의 양을 어떻게 적분할 것인가 이다. 일반적으로 이러한 적분에는 빛의 양을 샘플값들의 합으로 근사시키는 Monte Carlo 기법이 널리 사용된다. 이 방법은 샘플링 수를 늘릴수록 실제 물체의 재질에 가깝게 렌더링이 가능하지만 많은 렌더링 연산이 필요하고, 반대로 샘플링 수를 줄이면 심각한 화소 노이즈가 발생한다. 적은 수의 샘플을 사용하면서도 화소 노이즈가 없는 렌더링을 하기 위해서, 본 논문에서는 BRDF데이터에서 렌더링 결과에 미치는 영향을 고려하여 중요한 부분을 더욱 많이 샘플링 하는 중요 샘플링 기법을 응용하며, 시점 방향에 따른 샘플들을 위치 변화를 최소화한 후, 이 인접한 시점 방향의 샘플들을 엮어서 만든 샘플 쓰레드를 제안한다. 이 샘플 쓰레드는 반사광에 따라 변화하는 샘플들의 자취를 연결한 데이터로, 이는 시점 방향에 따라 연속적으로 변하는 샘플 집합을 갖는다. 따라서 샘플 기반의 렌더링이 기본적으로 가지고 있는 화소 노이즈 현상이 발생하지 않는다. 따라서 적은 수의 샘플 쓰레드로도 노이즈가 없는 만족할만한 렌더링 결과를 얻을 수 있으며, 샘플 쓰레드를 BRDF에 따라 미리 계산해 놓을 수 있어 그래픽 하드웨어를 통한 실시간 BRDF 렌더링이 가능하다.

HEVC 부호화기 고속화를 위한 타일 기반 병렬화 (Tile-based Parallelizing for a Fast HEVC Encoder)

  • 김연희;전동산;정순흥;석진욱;최진수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2012년도 하계학술대회
    • /
    • pp.290-293
    • /
    • 2012
  • 본 논문에서는 기존 AVC 보다 50% 압축성능 향상을 목표로 표준화가 진행되고 있는 차세대표준인 HEVC 부호화기의 속도를 높이기 위한 방안으로, HEVC 의 기술 중 화면 분할 기술인 타일(Tile)을 기반으로 효율적으로 부호화기를 병렬화하는 구조를 제안한다. 부호화기에서 복잡도가 높은 율왜곡 기반 모드 결정 과정을 멀티코어 병렬프로그래밍으로 구현하고, 병렬처리에 의한 속도 개선 결과를 제시한다. 타일은 병렬처리를 지원하기 위해 HEVC 가 채택한 구조로, 화면을 여러 개로 분할하여 부/복호화 할 수 있어 병렬처리 단위로 적합하며, 표준화의 기고서를 통해 화면분할로 인한 압축성능 변화량은 여러 차례 보고되고 있다. 본 논문의 결과에 의하면 타일의 수만큼 쓰레드를 생성하여 각 타일 단위로 율왜곡 기반 부호화 모드 결정을 하도록 병렬화 하였을 때 기존 참조 소프트웨어 대비 12 개의 쓰레드 생성 시 6 배의 속도 개선을 보인다. 향후 병렬로 처리할 수 있는 모듈을 확장하면 쓰레드 수 증가에 따른 속도개선 효과가 증대되어 부호화기 실용화를 위한 실시간 부호화기 개발에 한 걸음 다가갈 수 있을 것이라 기대한다.

  • PDF