-03.png){kind=small}
GANs(Generative Adversarial Networks)란?
GANs(Generative Adversarial Networks)란 생성적 적대 신경망이라고 하는데 이는 비지도 학습에 사용되는 인공지능 알고리즘으로, 서로 경쟁하는 두 개의 신경 네트워크가 존재하며 각각 Generator(생성기)와 Discriminator(판별기)이다.
즉 GANs란 이 두 신경 네트워크를 서로 대립시켜 학습을 시키는 신경망을 말하는데 이 경쟁에서 Generator(생성기)는 진짜와 같은 가짜를 만들어내는 기능을 점차 제고하고 반면 Discriminator(판별기)는 가짜를 판별해내는 기능을 점차 제고한다. Discriminator(판별기)가 가짜를 판별해내는 기능이 좋아질 수록 이 판별에 대응하기 위한 Genarotor(생성기)이 가짜를 만들어 내는 기능 역시 제고가 되면서 진짜와 같은 가짜 데이터를 만들어낸다.
그렇다면 GANs, 어떻게 활용되고 있을까?
흔히 GAN이 사용되고 있는 영역을 18가지로 분류하고 있다.
Generate Examples for Image Datasets
Generate Photographs of Human Faces
Generate Realistic Photographs
Generate Cartoon Characters
Image-to-Image Translation
Text-to-Image Translation
Semantic-Image-to-Photo Translation
Face Frontal View Generation
Generate New Human Poses
Photos to Emojis
Photograph Editing
Face Aging
Photo Blending
Super Resolution
Photo Inpainting
Clothing Translation
Video Prediction
3D Object Generation
1 l Facebook ExGAN (Exemplar Generative Adversarial Networks)
사진을 찍은 후, 사진의 배경과 구도와 모든 것이 완벽하지만 유독 눈을 감아 사용하지 못하는 사진들이 있어 아쉬웠던 경험이 있지 않은가? 페이스북이 발표한 논문에 따르면 "in-painting technology"으로 이미지에 나오는 사람의 '감은 눈'을 '뜬 눈'으로 대체할 수 있는 기술이 발표되었는데, "in-painting" 결과를 생성하기 위해 예제 정보를 활용하는 조건부 GAN 유형인 ExGAN을 사용하였다.
2 l PIZZA GAN _ 피자 사진을 보고 레시피를 알아채는 AI
MIT와 카타르컴퓨팅연구소(QCRI)는 피자 사진만 보여주고 피자 만드는 순서를 예측할 수 있는 모델을 만들었다. 연구진들은 아래의 3가지의 목표를 세웠었다.
1. 학습을 통해 피자 토핑을 분류
2. 토핑을 제거하고 토핑 아래에 무엇이 있는지 보여줌
3. 피자 토핑 순서 유추
피자간은 먼저 클립아트 스타일 피자 이미지 5500개로 학습을 하고 다음 인스타그램에서 #pizza라는 해시태그로 검색한 피자 사진 9213장으로 학습을 진행하여 피자 위에 올려진 토핑의 종류와 토핑이 놓인 순서를 결정하는 단계까지 발전했다.
그 후 피자간은 피자에서 토핑을 더하거나 뺀 피자 이미지를 만들 수 있게 되었다. 토핑이 없는 피자 위에 페퍼로니를 올려 페퍼로니 피자를 만들 수도, 버섯 토핑이 있는 피자 이미지에서 버섯 토핑을 빼면 버섯 토핑이 없는 피자로 만들 수도 있다.
피자간 기술은 피자 레시피에만 한정되지 않는다. 먹음직한 요리 사진으로 GAN이 레시피를 분석하면 레시피대로 직접 요리를 할 수도 있고, 요리를 하지 않고도 GAN으로 완성된 요리 이미지를 만들 수도 있다.
또한 패션에도 적용 가능하다. 모델이 입은 옷을 GAN으로 분석하여 옷을 입은 순서나 옷의 스타일을 알아낼 수도 있고 GAN을 사용하여 옷의 패턴 역시 바꿀 수도 있다.
3 l 웹툰 독자가 웹툰 주인공으로 등장하다
GAN은 네이버 웹툰 '마주쳤다'에도 적용 되었다. 웹툰의 독자들이 본인의 셀카를 업로드하면 자신의 어굴이 웹툰화 되어 만화에 등장한다. 웹툰의 그림 스타일과 독자 개개인의 얼굴 특징을 활용하여 독자가 웹툰 세상의 주인공이 되어볼 수 있는 것이다.
4 l 베이비페이스_뱃속의 아이를 먼저 만나보다
네이버 D2SF(D2 스타트업 팩토리)에 입주한 '알레시오' 스타트업 회사는 태아의 입체 초음파 사진에서 아기 얼굴을 구성하는데 필요한 특징들을 딥 러닝으로 판톡해서 추출한 다음, 태아의 생후 얼굴을 예측해 준다. 이 기술을 개발하는 과정에서 제일 까다로운 초음파 사진의 각종 노이즈를 제거하는 작업인데 '알레시오'는 이 작업을 위해 이미지 생성과 복원에 쓰이는 GAN 알고리즘을 활용했다.
베이비페이스 서비스는 산부인과 병원과 계약을 진행하여 상용화됐다.
5 l 불량 데이터를 만드는 GAN
인공지능을 학습 시키려면 불량의 양태들이 필요한데 종종 불량 데이터를 구하기 힘든 경우가 많다. '라온피플'은 불량 데이터를 학습시키기 위해 GAN 기술을 이용하고 있다. 우선 취득한 몇개의 실제 불량 데이터를 이용하여 GAN 알고리즘에 학습을 시켜 더 많은 불량 데이터를 얻을 수 있게 된다.
6 l 뉴럴 보코더, 보이스 생성 기술 'VocGAN'
엔씨소프트는 게임 개발 과정에 전문 성우의 도움이 필요없는 수준으로 더 빠른 속도, 가벼운 모델, 자연스러운 음질 등 AI 음성합성 기술을 진화시켰다. 이 기술 역시 GAN을 기반으로 한 뉴럴 보코더(Neural Vocoder) 기술로 'VocGAN'라고도 한다. GAN은 이미지 생성 뿐만 아니라 음성 생성까지 가능해졌다.
기존 전문 성우가 직접 대사를 익혀 녹음하고 검수하는 과정이 필요 없이 엔씨소프트의 'VocGAN'으로 음성을 생성하여 대사를 읽으면 제작시간이 단축될 수 있다.
이러한 'VocGAN'은 게임의 성우 역할 뿐만 아니라 사내방송, 오디오 북에 사용될 수도 있다.
7 l GAN 의료
GAN은 의료 및 제약 산업에도 적용이 되고 있다. 예를 들어 환자의 장기와 건강한 장기 이미지와 비교 분석을 통해 차이를 식별하여 종양을 식별할 수 있다. GAN을 사용한다면 암 종양을 더 빠르고 정확하게 탐지하여 빠르면 초기에 암을 진단해낼 수 있다.
그 외, GAN은 또한 신약 개발에도 사용이 가능하다. GAN은 질병을 치료할 수 있는 약품의 분자 구조를 생성하는 데 사용될 수 있다. 연구원들은 기존 데이터를 사용하여 GAN 모델 중 Generator(생성기)를 훈련을 시켜 새로운 질병을 치료하는데 사용될 수 있는 새로운 약을 찾을 수 있다. 이렇게 된다면 연구원들은 신약을 개발하기 위해서 일일이 데이터를 수동으로 분석할 필요가 없게 된다. 알고리즘이, GAN이 훨씬 더 빠르고 정확하게 약 성분을 식별하고 새로운 분자 구조를 생성해 줄 것이다.
8 l 애니메이션 모델 생성
비디오 게임 산업에서 개발자들과 디자이너들 역시 GAN을 이용해 작업 시간을 단축시킬 수 있다. GAN은 비디오 게임, 애니메이션 영화의 3D 캐릭터를 생성하는데 사용될 수 있다. 2D 이미지의 데이터를 기반으로 학습을 시키면 새로운 3D모델을 생성할 수 있다. 이는 캐릭터 뿐만 아니라 영상에 나오는 테이블, 의자, 자동차 및 총과 같은 3D 모델 모두 2D 이미지만 있다면 GAN을 통해 생성 가능하다. Apple에서도 GAN 기술로 사용자의 얼굴 특징과 유사한 맞춤형 이모티콘을 생성해주고 있다.
Comentarios