• 제목/요약/키워드: Store Size

검색결과 340건 처리시간 0.028초

하둡 플랫폼을 이용한 대량의 스몰파일 처리방법 (Processing Method of Mass Small File Using Hadoop Platform)

  • 김창복;정재필
    • 한국항행학회논문지
    • /
    • 제18권4호
    • /
    • pp.401-408
    • /
    • 2014
  • 하둡(Hadoop)은 맵리듀스(MapReduce) 분산처리 프로그래밍 모델과 HDFS(Hadoop distributed file system) 분산 파일시스템으로 구성된다. 하둡은 빅데이터 처리에 적합한 프레임워크로서, 대량의 스몰파일 처리에 문제점이 있다. 하둡에서 대량의 스몰파일 처리는 하나의 파일마다 매퍼가 생성되며, 파일의 메타정보를 저장하기 위해 많은 메모리가 필요한 문제점이 있다. 본 논문은 하둡 플랫폼에서 다양한 방법으로 대량의 스몰파일 처리방법을 비교 검토하였다. 일반 압축은 데이터의 크기와 상관없이 하나의 매퍼로 처리해야 하기 때문에, 하둡 처리 포맷으로 적절하지 않다. 시퀀스 와 하둡 아카이브 파일의 처리는 스몰파일을 압축 및 병합을 통해 네임노드의 메모리 문제가 제거되었다. 하둡 아카이브 파일은 스몰파일의 병합시간이 시퀀스 파일보다 빠른 속도를 보였다. CombineFileInputFormat 클래스를 이용한 처리는 병합과정이 필요 없으며, 빅데이터 처리방법과 유사한 속도를 보였다.

The Product Information in Online Jeans Shopping by Consumers' Evaluation Criteria

  • Choi, Eun-Ha;Chun, Jong-Suk
    • The International Journal of Costume Culture
    • /
    • 제13권1호
    • /
    • pp.42-50
    • /
    • 2010
  • The purpose of this study was to find differences in evaluation criteria and product information based on jeans products consumers. The participants of this study were women age of 19 to 30 years. This study was implemented by descriptive survey method using questionnaires. A total 182 questionnaires were analyzed in this study. The subjects were grouped by the evaluation criteria of purchasing jeans through an online shopping. Finding of the study showed that, Group 1 was high involvement group. They conscious of both style feature and practicability of jeans when they bought jeans. Group 2 was low involvement group. They are not conscious of those features. The important factors were different by groups. The most important factors of purchasing jeans for Group 1 were fashion trend and practicality. Price was the most important factor for Group 2. They bought jeans at extremely low or high price. On the other hand, Group 1 bought jeans of diverse prices range. The popular shopping sites were different between two groups. The department store was the most important place purchasing jeans for both groups. The second important place was specialty stores for Group 1, and online shopping for Group 2. The usefulness of product informations were also examined when they evaluated the jeans at online shopping. The most useful product informations were leg cut style and rise length. Fit information was very important for Group 1. Group 1 considered that the function of zoomming the picture image was important. The material characteristic and name of brand were also useful than Group 2. But the size and care instruction were not highly useful.

  • PDF

공통 문서 구조 추출을 통한 XML DTD의 관계형 데이터 베이스 스키마 변환 기법 (A Transformation Technique of XML DTD to Relational Database Schema Based On Extracting Common Structure in XML Documents)

  • 안성은;최황규
    • 정보처리학회논문지D
    • /
    • 제9D권6호
    • /
    • pp.999-1008
    • /
    • 2002
  • XML은 W3C에 제안된 마크업 언어고 HTML의 단순함과 SGML의 복잡함을 극복하여, 웹 상에서 데이터를 표현하고 교환하기 위한 표준으로 등장하고 있다. XML 문서를 질의 처리하기 위한 방법으로 XML 문서 전용 질의 언어가 개발되고 있지만, 데이터의 양이 증가한다면 결국 막대한 양의 데이터를 처리 할 데이터베이스 시스템을 필요하게 된다. 본 논문에서는 XML DTD를 관계형 데이터베이스 시스템 스키마로 변환하는 기법을 제안한다. 제안된 기법은 XML 데이터의 스키마 역할을 하는 DTD의 트리 구조를 생성하여, XML 데이터들의 공통구조와 비공통구조를 추출한 후 관계형 데이터베이스 스키마를 추출하는 기법이다. 추출된 관계형 데이터베이스 스키마는 기존의 방법들에 비해 생성 테이블 수가 적으며, 널(NULL)값의 출현을 감소시킨다. 또한, 제안기법은 XML 데이터를 보다 적은 테이블로 맵핑(mapping)시킴으로써 데이터 검색 시 참조 테이블 수를 감소시킬 수 있으며 질의 처리 시에도 성능 면에서 우수함을 보인다.

H.264/AVC 디코더의 움직임 보상을 위한 메모리 접근 감소 기법 (Memory Access Reduction Scheme for H.264/AVC Decoder Motion Compensation)

  • 박경오;홍유표
    • 한국통신학회논문지
    • /
    • 제34권4C호
    • /
    • pp.349-354
    • /
    • 2009
  • H.264/AVC 디코더의 하드웨어 구현 시 실시간 동작을 위한 가장 큰 장애 요소 중 하나인 외부 메모리 엑세스량을 크게 줄인 움직임 보상 기법을 제안한다. H.264/AVC 디코더의 움직임 보상용 참조 영상은 큰 용량 때문에 대게 외부 메모리에 보관되며, 참조 영역은 수시로 디코더 코어 내부로 읽혀지게 되는데, 단순히 참조 영역 단위별 순차적 메모리 접근을 할 경우 그 데이터 엑세스 량은 디코더의 실시간 동작이 불가능할 정도로 막대할 수가 있다. 본 논문에서는 참조 영역을 매크로블럭 단위로 분석하여 가급적 적은 메모리 엑세스로 필요한 참조 영역을 읽어 들이는 방식을 제안하고 있으며, 실험 결과 제안된 움직임 보상 기법은 단순한 순차적 참조 블록별 데이터 접근 방식 대비 외부 메모리 사용 대역폭을 약 30% 감소시킴을 확인할 수 있었다.

3D 집적 영상에서 영역 분할을 이용한 요소 영상의 압축 기법 (Compression of Elemental Images Using Block Division in 3D Integral Imaging)

  • 강호현;신동학;김은수
    • 한국통신학회논문지
    • /
    • 제34권3C호
    • /
    • pp.297-303
    • /
    • 2009
  • 집적 영상 기술은 잘 알려진 3D 영상 기록 및 디스플레이 기술이다. 집적 영상에서 사용되는 대용량 데이터는 3D 영상을 저장하고 전송하기 위한 압축 기법을 요구한다. 기존의 압축 방법에서는 동일한 기록 시스템을 사용한 다할 지라도 요소 영상의 데이터 크기가 3D 물체의 위치, 조명과 렌즈 배열 등의 다양한 기록 조건에 따라 크게 달라진다. 본 논문에서는 기록 조건에 따른 요소 영상 특성의 의존성을 줄이기 위하여 집적 영상에서 요소 영상의 분할 영역을 이용한 압축 기법이 제안된다. 제안된 기법은 각 3D 물체의 픽업 위치에 따른 요소 영상의 지역적 유사성을 고려하여 향상된 압축률을 보여준다. 제안된 기법의 효율성을 보이기 위하여, 다양한 요소 영상들이 픽업되었고 표준 MPEG-4를 이용하여 압축이 진행되었다. 실험을 통하여 제안된 압축 기법이 기존의 압축 방식에 비하여 9%의 압축률 향상을 보였다.

SOAR : 저장장치를 기반으로 하는 시스템의 신뢰성 분석도구 개발 (SOAR : Storage Reliability Analyzer)

  • 김영진;원유집;김락기
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제35권6호
    • /
    • pp.248-262
    • /
    • 2008
  • 대용량 멀티미디어 파일의 증가와 개인의 디지털 정보의 중요성이 날로 증가하면서 저장장치는 고용량화, 고집적화 되는 방향으로 발전하고 있다. 따라서 저장장치에 발생되는 물리적인 오류는 단순히 작은 영역의 손상이 아닌 매우 넓은 영역에 대한 정보 손실로 이어진다. 이를 방지하기 위해서는 시스템을 사용하기 전에 물리적인 오류에 대한 시스템의 강인성과 대처 수준을 검증하고 사용해야 한다. SOAR(Storage Reliability Analyzer)는 검증의 핵심이 될 수 있는 물리적인 오류 발생 기능과 복구 기능을 가지고 있으며 이것은 시스템에 대한 신뢰성과 강인성을 검증 할 수 있는 유용한 도구이다. 이 기능을 보다 편리하게 사용하기 위해서 SOAR는 3가지의 특수한 오류 적용 기법과 파일시스템에 특화된 2가지 기법을 가지고 있다. 본 논문에서는 SOAR를 이용해서 어플리케이션부터 파일시스템까지 물리적인 오류에 대한 검증을 실제 수행하고 결과 분석을 진행하였다. 그러므로 SOAR는 물리적인 오류에 대한 시스템의 많은 문제점을 발견하였고 동시에 그 기능을 증명하였다.

포플러를 이용한 활성탄 제조 시스템에 대한 전과정 평가 (Life Cycle Assessment of Activated Carbon Production System by Using Poplar)

  • 김미형;김건하
    • 대한환경공학회지
    • /
    • 제36권11호
    • /
    • pp.725-732
    • /
    • 2014
  • 식물정화공법(Phytoremediation)은 식물을 이용하여 오염된 토양 또는 폐수의 유해한 오염물질을 흡수, 제거, 안정화, 무독화 시키는 기술을 의미하며, 친환경적, 경제적인 오염정화 방안이다. 포플러는 생장이 빠른 속성수종으로써 수분과 양분을 흡수하는 능력이 우수하여 각종 오염물질을 효과적으로 흡수제거하므로, 유기오염물질, 중금속 등 유해물질 제거에 높은 효율을 보이고 있다. 본 연구에서는 식물정화공법의 부산물로 발생되는 포플러를 원료로 이용한 활성탄 제조시스템을 대상으로 전과정평가 기법에 의해 환경에 미치는 영향을 분석하고자 하였다. 최적의 탄화 및 활성화 조건에서 이동식 소규모의 로터리킬른 회전로를 사용하여 에너지소비를 최소화 하였을 때 환경편익이 가능한 것으로 추정되었다. 시스템경계확장방법을 적용하여 야자각을 원료로 한 활성탄 제조시스템의 환경영향의 회피분석결과 자원고갈을 제외한 환경영향 범주에서 마이너스 효과를 보이므로 잠재적 가능성이 있는 것으로 사료된다.

도서관 빅데이터 서비스 모형 개발에 관한 연구: 공공도서관을 중심으로 (A Study on the Developing of Big Data Services in Public Library)

  • 표순희;김윤형;김혜선;김완종
    • 정보관리학회지
    • /
    • 제32권2호
    • /
    • pp.63-86
    • /
    • 2015
  • 본 연구는 최근 많은 이슈가 되고 있는 빅데이터를 도서관 분야에 적용하여 다양한 형태의 도서관 빅데이터의 활용 가치에 대한 이해를 높이고 이에 대한 수요자의 요구 분석을 바탕으로 공공도서관 빅데이터 서비스 모형을 개발하는 것을 목적으로 하고 있다. 이를 위해 도서관 빅데이터의 개념과 내용 및 가치 등을 고찰하고, 도서관 빅데이터 서비스에 대한 수요 분석을 바탕으로 도서관 빅데이터 서비스 모형을 개발하였다. 서비스 모형 개발을 위해 도서관 빅데이터의 유형에 따라 활용 가능한 도서관 빅데이터를 분석하였으며, 수요자의 요구를 다양한 방법으로 도출하였다. 수요자의 요구 분석은 도서관계 연구자 및 현장 사서와의 심층인터뷰, 표적집단인터뷰(Focus Group Interview, 이하 FGI), 사서 및 이용자 설문조사를 통해 이루어졌다. 이를 바탕으로 총 16개의 도서관 빅데이터 서비스 모형을 정의하고, 서비스의 필요성, 시급성, 개발 가능성을 고려해 최종적으로 사서 의사결정 지원 서비스와 이용자 도서 추천 및 독서이력 관리 서비스 모형을 개발하였다.

저온가스 저장공동 주위암반의 온도분포 예측에 관한 연구 (The Estimation of Temperature distribution around Gas Storage Cavern)

  • 이양;이승도;문현구
    • 터널과지하공간
    • /
    • 제14권1호
    • /
    • pp.16-25
    • /
    • 2004
  • 저온가스를 지하공동에 저장하는 것은 안전과 운영 측면에서 많은 장점이 있다. 그러나 저장된 극저온가스는 주변암반의 온도변화를 야기하여 공동의 안정성에 영향을 줄 수 있다. 따라서 성공적인 저장공동의 건설을 위해서는 건설 초기에 공동 주위암반의 온도분포를 정확히 예측하는 것이 필수적이다. 본 연구의 목적은 저장공동 주변의 온도분포를 예측할 수 있는 이론해의 개발과 평가이다. 이를 위해, 공동의 형상을 단순화하고 비정상 열전도 이론을 적용하여 이론해를 도출하였다. 이론해의 적용성을 평가하기 위해서 이론해와 유한 차분 해석프로그램인 FLAC을 이용한 수치해석을 이용해 저장공동 주변의 2차원$.$3차원 온도분포를 추정하여 그 결과를 비교하였다. 또한, 공동의 크기에 대한 영향도 조사되었다.

균형 다중 트리를 이용한 고속 IP 어드레스 검색 기법 (High-speed W Address Lookup using Balanced Multi-way Trees)

  • 김원정;이보미;임혜숙
    • 한국정보과학회논문지:정보통신
    • /
    • 제32권3호
    • /
    • pp.427-432
    • /
    • 2005
  • 링크기술이 발달하면서 인터넷 라우터로 들어오는 패킷의 수가 급격히 증가하고 있으며, 이로 인하여 입력 패킷을 실시간으로 처리하는 일은 점점 더 어려운 작업이 되어가고 있다. If 어드레스 검색은 라우터의 패킷 처리 기능 중 가장 필수적인 기능 중의 하나로서, 효율적인 IP 어드레스 검색을 위한 알고리즘과 구조에 대한 연구가 진행되고 있다. 본 논문에서는 작은 크기의 메모리를 사용하면서도 검색 속도를 빠르게 향상시킨 IP 어드레스 검색 구조를 제안한다. 제안하는 방법은 한번의 메모리 접근으로 여러 프리픽스를 동시에 비교하는 멀티웨이 트리에 기반을 두고 있는 구조로서, 약 4만개의 프리픽스를 저장하기 위해 280KByte 크기의 SRAM을 사용하근 평균 5.9번의 메모리 접근으로 IP 어드레스를 검색하는 구조이다.