• 제목/요약/키워드: StyleGAN3

검색결과 8건 처리시간 0.021초

Generation of wind turbine blade surface defect dataset based on StyleGAN3 and PBGMs

  • W.R. Li;W.H. Zhao;T.T. Wang;Y.F. Du
    • Smart Structures and Systems
    • /
    • 제34권2호
    • /
    • pp.129-143
    • /
    • 2024
  • In recent years, with the vigorous development of visual algorithms, a large amount of research has been conducted on blade surface defect detection methods represented by deep learning. Detection methods based on deep learning models must rely on a large and rich dataset. However, the geographical location and working environment of wind turbines makes it difficult to effectively capture images of blade surface defects, which inevitably hinders visual detection. In response to the challenge of collecting a dataset for surface defects that are difficult to obtain, a multi-class blade surface defect generation method based on the StyleGAN3 (Style Generative Adversarial Networks 3) deep learning model and PBGMs (Physics-Based Graphics Models) method has been proposed. Firstly, a small number of real blade surface defect datasets are trained using the adversarial neural network of the StyleGAN3 deep learning model to generate a large number of high-resolution blade surface defect images. Secondly, the generated images are processed through Matting and Resize operations to create defect foreground images. The blade background images produced using PBGM technology are randomly fused, resulting in a diverse and high-resolution blade surface defect dataset with multiple types of backgrounds. Finally, experimental validation has proven that the adoption of this method can generate images with defect characteristics and high resolution, achieving a proportion of over 98.5%. Additionally, utilizing the EISeg annotation method significantly reduces the annotation time to just 1/7 of the time required for traditional methods. These generated images and annotated data of blade surface defects provide robust support for the detection of blade surface defects.

Enhanced ACGAN based on Progressive Step Training and Weight Transfer

  • Jinmo Byeon;Inshil Doh;Dana Yang
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.11-20
    • /
    • 2024
  • AI(Artificial Intelligence)의 다양한 모델 중 생성 모델, 특히 GAN(Generative Adversarial Network)은 이미지 처리, 밀도 추정, 스타일 전이 등 다양한 응용 분야에서 성공을 거두었다. 이러한 GAN은 CGAN(Conditional GAN), CycleGAN, BigGAN 등의 방식으로 확장 및 개선되었지만 재난 시뮬레이션, 의료 분야, 도시 계획 등 특정 분야에서는 데이터 부족과 불안정한 학습에 의한 이미지 왜곡 문제로 실제 시스템 적용에 문제가 되고 있다. 본 논문에서는 클래스 항목을 판별하는 ACGAN(Auxiliary Classifier GAN) 구조를 기반으로 기존 PGGAN(Progressive Growing of GAN)의 점진적 학습 방식을 활용한 새로운 점진적 단계의 학습 방법론 PST(Progressive Step Training)를 제안한다. PST 모델은 기존 방법 대비 70.82% 빠른 안정화, 51.3% 낮은 표준 편차, 후반 고해상도의 안정적 손실값 수렴 그리고 94.6% 빠른 손실 감소를 달성한다.

치아 보철물 디자인을 위한 이미지 대 이미지 변환 GAN 모델 (An Image-to-Image Translation GAN Model for Dental Prothesis Design)

  • 김태민;김재곤
    • 한국IT서비스학회지
    • /
    • 제22권5호
    • /
    • pp.87-98
    • /
    • 2023
  • Traditionally, tooth restoration has been carried out by replicating teeth using plaster-based materials. However, recent technological advances have simplified the production process through the introduction of computer-aided design(CAD) systems. Nevertheless, dental restoration varies among individuals, and the skill level of dental technicians significantly influences the accuracy of the manufacturing process. To address this challenge, this paper proposes an approach to designing personalized tooth restorations using Generative Adversarial Network(GAN), a widely adopted technique in computer vision. The primary objective of this model is to create customized dental prosthesis for each patient by utilizing 3D data of the specific teeth to be treated and their corresponding opposite tooth. To achieve this, the 3D dental data is converted into a depth map format and used as input data for the GAN model. The proposed model leverages the network architecture of Pixel2Style2Pixel, which has demonstrated superior performance compared to existing models for image conversion and dental prosthesis generation. Furthermore, this approach holds promising potential for future advancements in dental and implant production.

3D 변환을 활용한 NFT 기반 메타버스 패션 컨텐츠 플랫폼 (Towards a NFT-based Metaverse Fashion Contents Platform using 3D Conversion)

  • 김민호;한수한;박민규;정동주;이병정
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.329-332
    • /
    • 2022
  • 본 연구에서는 하나의 2D 이미지를 StyleGAN을 통해 다각도의 이미지를 생성하고, 그것을 다시 Kaolin으로 구현한 역그래픽 렌더러의 입력으로 받아 3D 오브젝트로 변환한다. 또한, 클레이튼 기반의 블록체인을 통해 NFT 기술을 통하여 3D 오브젝트를 NFT로 만들 수 있도록 한다. 최종적으로 2D 이미지를 메타버스에서 활용할 수 있는 3D 패션 아이템으로 변환하고 NFT를 발행하여 거래한다. 본 연구는 개인이 자유롭게 메타버스 콘텐츠를 제공하고 거래하여 메타버스 활성화에 기여할 것으로 기대한다.

ISFRNet: A Deep Three-stage Identity and Structure Feature Refinement Network for Facial Image Inpainting

  • Yan Wang;Jitae Shin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권3호
    • /
    • pp.881-895
    • /
    • 2023
  • Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

20세기 초 한성부 종로 주변 시전 건물의 공간구조와 특징 (The spatial structure and characteristics of the Sijeon around Jongno in Hanseong-bu(漢城府) in the Early 20th Century)

  • 정수인;한동수
    • 건축역사연구
    • /
    • 제31권1호
    • /
    • pp.7-17
    • /
    • 2022
  • The purpose of this thesis is to understand the shape of The Sijeon (Licensed-Markets) established around the Jongno and Namdaemun-ro Avenues in Hanyang during the Joseon Dynasty in the 19th and 20th centuries and then to examine the relationship with the urban structures of Hanyang City. By investigating the excavation results of the Cheongjin and Gongpyeong areas, drawings, photos, and documentary records related to the city, this study classified the building types in the Jonggak area. As a result, since the 19th century, the basic form of Sijeon with 2 Gan(間, bay) in the front facade and 3 Gan(間) on the side, in other words, 5M in the front and 8M in the side was arranged in parallel, and it was a type with a corridor-type courtyard inside. The inner sides of Jongno Avenue had an atypical flat shape that suited the more free lot, and a courtyard-type plan with a single entrance was also confirmed in the one or two Bang(房, district). This study reflected the operation method of the Sijeon buildings b between the one unit and the other units, which affected the internal spatial structures, and it found that the size and style of the Sijeon buildings were closely relevant to the size of the lots near Jongno Avenue.

한국 전통사찰에 있어서 부불전의 건축요소와 의장적 특성에 관한 연구 (A Study of Architectural and Design Elements of Secondary Shirines in Traditional Buddhist Temples in Korea)

  • 조정식
    • 한국조경학회지
    • /
    • 제38권5호
    • /
    • pp.102-112
    • /
    • 2010
  • 본 연구는 전통사찰에 자리잡고 있는 부불전의 건축적 특성을 파악하기 위하여 25개 사찰을 대상으로 건축요소와 의장요소를 고찰한 것이다. 연구의 대상이 된 한 부불전은 명부전, 영산전, 응진전, 약사전, 원통전, 미륵전이며, 이들에 대하여 건축의 규모, 지붕의 형태, 공포구성, 단청, 닫집의 유무 및 형태를 상호비교하여 부불전의 현황을 분석하였다. 명부전은 모든 사찰에 조성되어 있지만(25사례)규모나 건축요소(지붕, 공포)등에서 가장 획일적인 모습으로 나타났다. 영산전(14사례)과 응진전(15사례)도 대부분 3간 규모이며, 맞배지붕과 익공식이 주류를 이루고 있음을 알 수 있다. 반면에 관음전(12사례)은 팔작지붕의 사례가 8사례이며, 내부의 단청도 금단청을 사용한 사례가 9건, 그리고 닫집이 있는 경우도 6건에 이르는 등, 부불전 중에서 가장 화려한 건축요소가 구사되어 있다. 약사전은 사례수는 적지만(6건) 대부분이 공포를 사용하고 있으며, 소규모 건물임에도 불구하고 각 사찰의 약사전은 대부분이 문화재로 지정되어 있을 정도로 건축적 가치가 높이 평가 받고 있다.

16세기(十六世紀) 실경산수화(實景山水畫) 이해의 확장 : <경포대도(鏡浦臺圖)>, <총석정도(叢石亭圖)>를 중심으로 (Broadening the Understanding of Sixteenth-century Real Scenery Landscape Painting: Gyeongpodae Pavilion and Chongseokjeong Pavilion)

  • 이수미
    • 미술자료
    • /
    • 제96권
    • /
    • pp.18-53
    • /
    • 2019
  • 최근 국립중앙박물관이 기증을 받아 "우리 강산을 그리다: 화가의 시선, 조선시대 실경산수화" 특별전(2019년)에서 처음으로 공개한 작품인 <경포대도>와 <총석정도>는 조선시대 회화사 이해에 있어 시사하는 바가 매우 지대하다. 두 작품이 1557년의 관동 유람을 계기로 그려진 병풍의 일부였음을 알 수 있어서 16세기 산수화에 대한 이해의 폭을 넓히는 데 획기적인 자료가 되기 때문이다. 이러한 중요성을 밝히기 위해서 본고에서는 <경포대도>와 <총석정도>에 담긴 경물의 내용을 살펴보고 제작시기와 양식상의 특징을 분석한 후, 다른 작품과의 비교를 통해서 이 작품에 담긴 회화사적인 의미에 대해서 살펴보았다. 이 작품의 제작 배경은 <총석정도>의 발문으로 알 수 있다. 본고에서 박충간(朴忠侃)(?~1601)으로 비정한 정상일로(商山逸老)가 1557년 봄에 홍연(洪淵)(?~?)과 함께 금강산(풍악산)과 관동 지역을 유람하고 유산록(遊山錄)을 작성하였으며 시간이 흐른 뒤 그중 몇몇 명승지를 그려 병풍을 만든 것을 알 수 있었다. 홍연은 자가 덕원(德遠)으로 1551년에 별시문과에 급제하고 1584년까지는 생존했던 인물이다. 박충간은 호가 남애(南崖)로서 1589년 정여립(鄭汝立)의 모역을 고변하여, 그 공으로 형조참판으로 승진되고 평난공신(平難功臣) 1등에 책록된 후 상산군(商山君)에 봉해진 인물이다. 이 글로 작품의 제작 시기를 1557년의 유람 후이자, 발문을 쓴 박충간이 50대 이상이 되는, 1571년 이후 곧 16세기 후반경으로 보았다. 산수나 나무 표현 등의 화풍을 기준으로도 16세기 후반의 시대 양식과 부합한다. 전술한 발문의 내용으로 <경포대도>와 <총석정도>가 병풍의 일부였던 것을 알수 있으며, 발문이 써 있는 <총석정도>가 마지막 폭이었을 것으로 생각된다. <경포대도>를 보면 구도면에서 조선 초기 안견파(安堅派) 산수화에서 볼 수 있는 편파(偏頗) 3단 구도의 요소를 찾을 수 있으나 실경(實景)을 대상으로 하여 그 배치와 화법이 현실화된 양상을 볼 수 있다. 시점(視點)에 있어서도 여러 경물간의 관계나 경관의 특징이 효과적으로 표현되도록 사선각(斜線角)의 부감시(俯瞰視), 정면시(正面視) 등을 활용하여 경포대의 넓은 영역을 효과적으로 표현하는 다각적(多角的)인 관점(觀點)을 보여준다. 산의 형태나 태점(苔點)의 사용은 1557년작 <의순관영조도(義順館迎詔圖)>(서울대학교 규장각한국학연구원 소장)와 매우 유사하다. 16세기 안견파의 특징인 짧은 선이나 점으로 질감을 내는 단선점준(短線點皴)과 구름 모양 운두준(雲頭皴)은 현장감 있게 변모되었다. 조선 초기 산수화의 전통적인 구도와 연결성을 찾을 수 있는 <경포대도>와 달리 <총석정도>는 그 구도가 매우 파격적이다. 화면에 중심축을 두고 돌기둥들이 첩첩이 도열하여 삼각형을 이루고 있는 데 근경(近景)의 돌기둥, 중앙의 사선봉(四仙峯), 절벽 위의 사선정(四仙亭)을 삼단계 정도의 깊이감으로 배치하여 화면에 공간감을 조성하였다. 중앙의 사선봉이 화면의 대부분을 차지하며 압도적인 비중을 점하고 있으나 수직적인 돌기둥들이 유기적인 관계를 형성하지 못하고 분질적(分節的), 평면적(平面的)인 양상으로 그려져 아직 입체적이고 자연스러운 공간감을 조성하는 데에는 이르지 못하고 있다. 기둥의 아랫부분은 희게 하고 윗부분은 어둡게 하여 고원(高遠)의 상승감을 고조시키는 효과가 있는데 각 기둥을 묘사하는 준법을 보면 기둥으로 설정된 면에 담묵을 바르고 그 위에 농묵의 가는 선들을 그어 총석의 질감과 쪼개짐을 묘사하였다. 붓끝을 사선으로 누르며 수직으로 내려 긋고 있어서 부벽준(斧劈皴)의 초기적 양상을 보인다. 일관되게 보이는 이러한 흑백의 대조, 수직적 준법의 구사는 앞으로 전개될 절파계(浙派係) 화풍의 유행을 예시해준다. 한편 기둥의 윤곽 및 균열문이 각각 다 달라서 실제의 특징을 살리려고 한 것을 알 수 있다. 기둥 위에 올라앉은 새들의 묘사, 파도와 흰 거품의 표현 등에서 반복적인 붓질을 찾을 수가 없고 매우 생생한 묘사력을 볼 수 있다. 이러한 <경포대도>와 <총석정도>의 경물 배치는 이후 변화를 보인다. <경포대도>는 아래쪽에 죽도(竹島)를 두고 경포호를 넘어 위쪽에 위치한 경포대 건물과 오대산 일대를 올려보는 구도였다. 이러한 배치는 경포대를 화면 아래쪽에 두고 위쪽의 바다를 향하는 18세기 이래의 전형적인 구성과 차이를 보인다. 바다 쪽에서 총석을 바라보며 그린 <총석정도> 역시 이후의 작품에서는 내륙에서 바다를 향하는 것으로 관점의 변화를 보인다. 이러한 변화는 정선(鄭敾)(1676~1759)과 김홍도(金弘道)(1745~1806 이후)의 작품이 제작된 이후, 두 사람의 구도를 따라 관동도의 유형이 정착되는 것과 관련이 있다. 하지만 사라진 듯 했던 16세기 <경포대도>의 구도가 조선 말기 <강릉 경포대도>에서와 같이 민간 회화에서 전승된 것도 확인해 볼 수 있다. 관동 지역의 명승도는 이른 시기부터 그려져 고려 김생(金生)(711~?)의 관동도(關東圖), 조선 초 안견(安堅)(15세기 활동)의 낙산사도(洛山寺圖) 등 여러 화가가 단폭이거나 여러 폭의 관동도를 병풍이나 첩 형태로 그렸던 것을 문헌으로 확인할 수 있다. 이처럼 기록은 많으나 이를 증명할 수 있는 작품이 없었는데 본고에서 고찰하는 이 두 점은 현존하는 관동도 중 연대가 가장 올라가는 예로 기록으로만 남아 있는 관동도(關東圖) 병풍(屛風)의 제작 양상을 알게 해주어 회화사적인 의미가 크다. 특히 발문의 내용에 따라 8폭 병풍일 것으로 생각되어 16세기 후반에 이미 관동팔경도(關東八景圖) 형식이 형성되었음을 알 수 있다. 그 성격에 있어서 현존하는 16세기 실경산수화의 예로 거론되는 작품들이 모두 실용적, 공적인 목적의 계회도나 기록화로 제작되어 실경산수화적 요소가 부분적으로 나타난 것과 달리 이 작품은 실제 경관을 대상으로 자연의 변화무쌍함과 아름다움을 담고자 하는 것이 일차적인 목적이었다는 점이 주목된다. 발문을 쓴 박충간은 유람할 때 지었던 감상시를 곁들여 자연의 진면목을 반추하는 태도를 보인다. 이 점은 기존에 알려진 실경산수화의 성격과 그 양상을 달리하는 것으로 순수 감상을 목적으로 한 본격적인 실경산수화의 예라는 점에서 그 중요성이 높다. 이처럼 <경포대도>와 <총석정도>의 두 작품은 유람의 결과를 시화(詩畫)로 제작하였다는 역사적 사실을 현존 작품으로 확인할 수 있는 가장 이른 예라는 점에서 그 의미가 지대하다. 또한 그간 확인할 수 없었던 16세기 실경 산수화의 다양한 형태와 구도 및 시점의 면모를 보여주어 한국 실경산수화에 대한 이해의 폭을 확장한 점에서도 그 중요성이 매우 크다.