• 제목/요약/키워드: python language

검색결과 140건 처리시간 0.024초

파이썬 활용한 데이터 처리 성능 향상방법 제안 (Proposal For Improving Data Processing Performance Using Python)

  • 김효관;황원용
    • 한국정보전자통신기술학회논문지
    • /
    • 제13권4호
    • /
    • pp.306-311
    • /
    • 2020
  • 본 논문은 대량의 데이터를 활용한 모델 개발 시 다양한 라이브러리를 갖춘 파이썬 언의의 성능 향상방법을 다룬다. 파이썬 언어는 엑셀과 같은 스프레드시트 형태 데이터 처리 시 Pandas 라이브러리를 사용한다. 데이터 처리 시파이썬은 기가단위 이하 데이터 처리 시에는 인-메모리로 연산하여 성능 측면에서 크게 이슈가 없다. 하지만 기가단위 이상 데이터 처리 시 성능 이슈가 발생한다. 이에 본 논문은 데이터 처리 시 Pandas와 같이 사용할 수 있는 Dask 라이브러리를 활용하여 단일 클러스터 및 다중 클러스터에서 실행 작업을 분산처리 가능한 방법을 소개한다. 실험은 동일 사양의 하드웨어에서 간단한 지수산출 모델을 Pandas만 사용해서 처리하는 속도와 Dask를 같이 사용해서 처리하는 속도를 비교한다. 본 논문은 파이썬의 장점인 다양한 라이브러리를 쉽게 사용할 수 있다는 점을 유지하면서 성능측면에서도 대량의 데이터를 CPU 코어들이 분산 처리하여 모델을 개발할 수 있는 방법을 제시한다.

작용식 2.0 기반 파이썬에 대한 형식 의미론 (Formal Semantics Based on Action Equation 2.0 for Python)

  • 한정란
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권6호
    • /
    • pp.163-172
    • /
    • 2021
  • 프로그래밍 언어의 형식적인 의미를 적절하게 표현하면 언어를 표준화하고 최적화하여 번역하는 과정에서 중요한 역할을 수행한다. 파이썬은 주목받는 강력한 언어이고, 파이썬에 대한 형식적인 의미 구조를 정의하고 표현하는 것은 향후 유사한 언어를 설계할 때 참고할 수 있고 표준화하는 과정이나 최적화된 번역기를 구현하는 과정에서도 필요하다. 본 연구에서는 파이썬에 대한 의미 구조를 표현하기 위해 기존의 작용식을 수정하고 업그레이드해서 파이썬의 정적이고 동적인 의미 구조를 표현하는 작용식 2.0을 새롭게 제시한다. 작용식 2.0에 명세된 의미구조를 자바로 구현해 파이썬 프로그램들에 대한 실행시간을 측정하고 시뮬레이션을 통해 작용식 2.0이 구현 가능한 실제적인 의미 구조임을 입증하고, 판독성(Readability), 모듈성(Modularity), 확장성(Extensibility), 융통성(Flexibility)의 네 영역에서 명세된 작용식 2.0을 기존의 대표적인 의미 표현법과 비교하여 본 작용식 2.0의 우월성을 확인하고자 한다.

Spark 기반에서 Python과 Scala API의 성능 비교 분석 (Performance Comparison of Python and Scala APIs in Spark Distributed Cluster Computing System)

  • 지경엽;권영미
    • 한국멀티미디어학회논문지
    • /
    • 제23권2호
    • /
    • pp.241-246
    • /
    • 2020
  • Hadoop is a framework to process large data sets in a distributed way across clusters of nodes. It has been a popular platform to process big data, but in recent years, other platforms became competitive ones depending on the characteristics of the application. Spark is one of distributed platforms to enable real-time data processing and improve overall processing performance over Hadoop by introducing in-memory processing instead of disk I/O. Whereas Hadoop is designed to work on Java and data analysis is processed using Java API, Spark provides a variety of APIs with Scala, Python, Java and R. In this paper, the goal is to find out whether the APIs of different programming languages af ect the performances in Spark. We chose two popular APIs: Python and Scala. Python is easy to learn and is used in AI domain in a wide range. Scala is a programming language with advantages of parallelism. Our experiment shows much faster processing with Scala API than Python API. For the performance issues on AI-based analysis, further study is needed.

블록코딩 선행학습자를 위한 Python 교육 프로그램 개발 (Development of Python Education Program for Block Coding Learners)

  • 김태령;한선관
    • 정보교육학회논문지
    • /
    • 제22권1호
    • /
    • pp.53-60
    • /
    • 2018
  • 본 연구는 블록 코딩을 선행 학습한 학생들에게 적용할 수 있는 Python 교육 프로그램의 개발에 관한 것이다. 우선 초중등학교 교육과정과 EPL 교재의 분석을 통해 블록코딩 학습자의 수준을 분석하고 블록 코딩에서 사용된 개념을 중심으로 Python 문법을 추출하여 교육과정을 구성한 뒤 PBL 수업에 맞는 Python 교육 프로그램을 총 16차시로 개발하였다. Python 교육프로그램의 적절성을 검증하기 위해 2차의 전문가의 타당도 검사를 하였다. 검사 결과, 1차 타당도 24문항에서 CVR값 .78 점 이상으로 나타나 일부 수정, 보완하였다. 2차 검사에서는 21개 문항은 타당성을 확보하였고 CVR 최소값인 .99 이하인 3개 문항의 내용에 대해 수정하여 교육 프로그램을 완성하였다. 개발된 교육 프로그램이 스크립트코딩을 학습하기 위한 기초 자료로 유용하게 활용되길 기대한다.

대규모 언어 모델(LLM) 기반의 파이썬 입문자를 위한 코딩 도우미 (Coding Helper for Python Beginners based on the Large Language Model(LLM))

  • 이세훈;최정빈;백영태;윤선호
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.389-390
    • /
    • 2023
  • 본 논문에서는 파이썬 코딩 플랫폼에서의 LLM(Large Language Models)을 로직 및 문법 에러 확인, 디버깅 도구로 활용할 수 있는 시스템을 제안한다. 이 시스템은 사용자가 코딩 플랫폼에서 작성한 파이썬 코드와 함께 발생한 에러 문구 및 프롬프트를 LLM 모델에 입력함으로써 로직(문법) 에러를 식별하고 디버깅에 활용할 수 있다. 특히, 입문자를 고려해 프롬프트를 제한하여 사용의 편의성을 높인다. 이를 통해 파이썬 코딩 교육에서 입문자들의 학습 과정을 원활하게 진행할 수 있으며, 파이썬 코딩에 대한 진입 장벽을 낮출 수 있다.

  • PDF

산업공학 전공 교과목 강의를 위한 파이썬 프로그래밍 활용: 경제성공학 교육 사례 연구 (Using Python Programming Language for Teaching Industrial Engineering Subjects: A Case Study on Engineering Economy)

  • 조용규
    • 실천공학교육논문지
    • /
    • 제14권2호
    • /
    • pp.245-258
    • /
    • 2022
  • 본 논문에서는 산업공학의 전통적인 전공 교과목을 강의할 때 현 시점 산업계 및 학계에서 가장 활용도가 높은 프로그래밍 언어인 파이썬 언어를 분석 도구로 활용하는 것을 제안한다. 사례 연구로서 공학 프로젝트의 경제성을 분석할 수 있는 역량을 길러주는 전공 교과목인 경제성공학을 채택하였으며, 파이썬에서 다양한 재무함수를 구현한 라이브러리인 numpy-financial를 포함하여 간단한 연산 및 수치 해석을 위한 numpy와 scipy, 시각화를 위한 matplotlib 라이브러리를 주로 활용하였다. 익명의 수강생들을 대상으로 강의의 만족도를 조사한 결과 본 논문에서 제안하는 교육 방식이 교육 만족도와 강의 전달력 측면에서 우수한 성과를 보였고, 경제성공학 뿐 아니라 다른 전통적인 산업공학 과목에 대해서도 전공 학생들의 추가적인 수요가 있음을 확인할 수 있었다.

파이썬을 이용한 프레임내 웹 페이지 스크래핑 기법 (A Scraping Method of In-Frame Web Sources Using Python)

  • 윤수진;승리;우영운
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2019년도 춘계학술대회
    • /
    • pp.271-274
    • /
    • 2019
  • 이 논문에서는 일반적인 웹 접근 방법으로 접근하기 어려운 프레임 내 웹 페이지의 데이터를 프로그램에 의해 자동으로 수집하기 위한 세부 주소 확보 기법을 제안하였다. 제안한 세부 주소 확보 기법과 HTML 실렉터를 활용할 수 있는 Python 언어와 Beautiful Soup 라이브러리를 이용하여 여러 페이지로 작성되어 있는 게시판 텍스트 데이터를 자동으로 모두 수집할 수 있었다. 제안한 기법을 활용하여 어떠한 형태의 주소 형식으로 되어 있는 웹 페이지들에 대해서도 Python 웹스크래핑 프로그램에 의해 자동으로 대량의 데이터를 수집할 수 있으며, 이를 통해 빅데이터 분석에 활용될 수 있을 것으로 예상한다.

  • PDF

효율적인 통계 계산을 위한 파이썬 numba 라이브러리의 소개 (Introduction to numba library in Python for efficient statistical computing)

  • 조윤상;유동현;손원;박선철
    • 응용통계연구
    • /
    • 제33권6호
    • /
    • pp.665-682
    • /
    • 2020
  • 본 논문은 순수하게 파이썬 언어로 작성된 연산에 대하여 just-in-time (JIT) 컴파일을 적용하여 전체 계산 속도를 향상시킬 수 있는 numba 라이브러리에 대한 사용법과 응용에 대하여 소개한다. 실제 통계 계산 문제에 대한 numba 라이브러리의 적용에 대한 예제로 반복문 사용이 요구되는 통계 계산 문제들 중 순열 검정과 정규 혼합 분포의 모수 추정의 EM 알고리즘을 고려하였으며 순수한 파이썬 구문 및 반복문을 활용한 계산 시간과 numba를 활용한 계산 시간을 비교하여 numba 라이브러리 활용의 효율성을 수치적으로 제시하였다.

비전공자를 위한 파이썬 기초 프로그래밍 커리큘럼과 평가문제 개발분석 (Python Basic Programming Curriculum for Non-majors and Development Analysis of Evaluation Problems)

  • 허경
    • 실천공학교육논문지
    • /
    • 제14권1호
    • /
    • pp.75-83
    • /
    • 2022
  • 파이썬 프로그래밍 언어를 강의하는 과목은, 일반 대학에서 모든 재학생이 필수로 이수하는 교양 과목으로 대부분 운영되고 있다. 이를 통해, 컴퓨팅 사고에 의한 기초 프로그래밍 과정을 학습한 비전공자 학생들이 다양한 전공 분야에서 SW를 적용할 수 있는 융합 역량을 강화하고 있다. 기존 연구결과에서는 컴퓨팅 사고 개념 이해와 코드 작성 역량에 대한 다양한 평가 방법들이 제시되었다. 그러나, 평가 문제 사례는 제시되지 않아, 실제 과목 운영 시 적용하는 데 어려움이 있다. 이에 본 논문에서는 비전공자들을 위한 교양과목으로 적용할 수 있는 파이썬 기초 프로그래밍 커리큘럼을 ADDIE 모형에 따라 제안하였다. 그리고 제안된 상세 커리큘럼에 따른 파이썬 요소별 평가 문제 사례를 1차와 2차로 나누어 제안하였다. 마지막으로 본 평가 문제 사례를 적용한 강좌에서 산출된 비전공자 학생들의 평가 점수 결과를 바탕으로 제안한 평가 문제의 유효성을 분석하였다. 제안된 평가 문제 사례는 실시간 온라인 비대면 평가 방식으로 적용하여, 효과적으로 비전공자 학생들의 프로그래밍 역량을 평가할 수 있음을 확인하였다.

딥러닝을 이용한 언어별 단어 분류 기법 (Language-based Classification of Words using Deep Learning)

  • 듀크;다후다;조인휘
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.411-414
    • /
    • 2021
  • One of the elements of technology that has become extremely critical within the field of education today is Deep learning. It has been especially used in the area of natural language processing, with some word-representation vectors playing a critical role. However, some of the low-resource languages, such as Swahili, which is spoken in East and Central Africa, do not fall into this category. Natural Language Processing is a field of artificial intelligence where systems and computational algorithms are built that can automatically understand, analyze, manipulate, and potentially generate human language. After coming to discover that some African languages fail to have a proper representation within language processing, even going so far as to describe them as lower resource languages because of inadequate data for NLP, we decided to study the Swahili language. As it stands currently, language modeling using neural networks requires adequate data to guarantee quality word representation, which is important for natural language processing (NLP) tasks. Most African languages have no data for such processing. The main aim of this project is to recognize and focus on the classification of words in English, Swahili, and Korean with a particular emphasis on the low-resource Swahili language. Finally, we are going to create our own dataset and reprocess the data using Python Script, formulate the syllabic alphabet, and finally develop an English, Swahili, and Korean word analogy dataset.