논문 리뷰
-
cs236 9-10장 Generative Adversarial Networks(GAN)논문 리뷰/cs236 2024. 7. 29. 12:19
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. Recap앞서 배운 내용들을 다시 상기시켜보자.- Autoregressive Model- VAE(Variational Autoencoder)- Normalizing Flow Models 이 세 모델은 모두 KL divergence $D_{KL}(p_{data}||p_{\theta..
-
StyleGAN(A Style-Based Generator Architecture for Generative Adversarial Networks)논문 리뷰/Generative Model 2024. 7. 27. 20:45
오늘은 2019년 CVPR에 게재된 StyleGAN 논문 리뷰를 해보고자 한다. 처음엔 논문 자체가 어렵게 적혀 있어 이해하기 힘들었는데, 나동빈님 유튜브를 보고 훨씬 쉽게 이해했다. 설명을 정말 잘하셔서.. 논문을 한 번 읽고 이 강의를 들으면 클리어하게 정리될 것이다!! 이 논문을 리뷰하기에 앞서 논문의 퍼포먼스를 먼저 살펴보자. 초고해상도의 사진 샘플들을 생성한 결과로, 여기 있는 모든 인물들은 실존 인물이 아니다! 얼굴의 주름, 표정, 배경 등에 이질감이 전혀 느껴지지 않고 뒤에서 살펴보겠지만 StyleGAN으로 인종, 머리색, 안경의 유무 등을 컨트롤 할 수 있다..! 논문이 다소 테크니컬하게 적혀있다고 생각할 수 있으나, 아이디어 위주로 보면 또 이해 못할 내용도 아닌지라, 나동빈님 유튜브와 ..
-
CycleGAN 논문 리뷰(Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks)논문 리뷰/Generative Model 2024. 7. 24. 16:22
CycleGAN 논문 리뷰를 해보고자 한다. 이 논문은 사실 첫 페이지에 있는 그림이 이 논문의 모든 것을 말해주는데, 엄청난 퍼포먼스에 비해 논문 자체는 쉽고 직관적으로 쓰여있어서 어렵지 않게 읽을 수 있다.이 논문의 아이디어는 이미지 쌍에 대한 supervised learning의 image-to-image 학습은 많이 발전해왔는데, 이미지 쌍이 없는 unsupervised learning으로의 image-to-image는 어려움을 겪고 있다는 점에서 착안해 Generative model 중 GAN을 이용해 image-to-image 학습을 진행하는 것에서 시작한다. CycleGAN의 특징은 inverse mapping을 하나 더 추가하고, cycle consistency loss를 이용한다는 점이며..
-
BiGAN 논문 리뷰(Adversarial Feature Learning)논문 리뷰/Generative Model 2024. 7. 23. 20:15
오늘은 BiGAN 논문을 리뷰할 예정이다. BiGAN(Bidirectional GAN)은 GAN의 일종의 inverse mapping을 학습하는 모델로 역방향 변환은 일종의 feature representation을 학습할 수 있는 변환임을 논문에서 보여주고 있다. 아이디어는 한 번쯤 많은 사람들이 해봄직한 생각인데, 이를 수학적인 증명과 함께 논문에 녹여내고 있어 많이 인용되는 것 같다. 다른 포스팅에서 리뷰한 논문(특히 GAN 등) 관련 내용은 생략할 예정이다. 필요하다면 기존 포스팅을 참고하면 된다. Introductionlatent space에서의 값을 interpolation시키고 generator에 넣으면 상당히 의미있는 semantic variations(의미있는 차이를 나타내는 변화)를 찾..
-
WGAN-GP 리뷰(Wasserstein GAN with gradient penalty)논문 리뷰/Generative Model 2024. 7. 22. 19:14
2017년 NeuIPS에 게재된 WGAN-GP 논문을 리뷰하고자 한다. 이 논문은 WGAN의 발전된 버전으로 WGAN과 주저자가 동일해 WGAN에 대한 설명은 많이 생략했다. 따라서 이 논문을 읽기 전에 WGAN에 대한 이해가 필요하다. (틈새 홍보) WGAN 논문 리뷰 ↓ ↓ ↓ ↓ ↓ https://jjo-mathstory.tistory.com/entry/WGAN-%EB%A6%AC%EB%B7%B0Wasserstein-GAN WGAN 리뷰(Wasserstein GAN)오늘은 WGAN 논문을 읽어보았다. 여러가지 수학적 개념들이 등장해서 개인적으로 좀 반가운 논문이였다ㅎㅎ 수학적 배경이 탄탄한 논문이라서 WGAN이 학습이 잘 되는 이유에 대한 증명이 많이 담jjo-mathstory.tistory.com ..
-
WGAN 리뷰(Wasserstein GAN)논문 리뷰/Generative Model 2024. 7. 19. 19:17
오늘은 WGAN 논문을 읽어보았다. 여러가지 수학적 개념들이 등장해서 개인적으로 좀 반가운 논문이였다ㅎㅎ 수학적 배경이 탄탄한 논문이라서 WGAN이 학습이 잘 되는 이유에 대한 증명이 많이 담겨있다. Introduction앞선 연구들은 real data distribution과 model distribution의 KL divergence를 최소화하는 방향으로 model distribution을 학습하고자 했다. 하지만 이러한 방법론은 상당한 문제점을 가지고 있는데, model manifold와 true distribution의 support는 잘 겹치지 않아서 이 둘 사이의 KL divergence를 계산하기 어렵다는 것이다. 이러한 문제를 극복하기 위해 simple한 distribution을 시작해 ..
-
DCGAN 논문 리뷰(Deep Convolutional Generative Adversarial Networks)논문 리뷰 2024. 7. 19. 12:47
오늘은 GAN 논문에 이어 DCGAN 논문 리뷰를 해보고자 한다. 논문의 이론보다는 테크니컬한 부분을 많이 다루고 있는 논문이라고 생각된다. GAN이 아무래도 학습하기 어려운 모델이라서 그런지 초기 세팅 등에 대한 팁을 많이 제공하고 있다.(누가 봐도 학습하느라 저자들이 엄청 고생한거 같은 논문이다..ㅋㅋㅋㅋ) 꽤나 오래된 논문이라서 과거 논문들과의 비교는 생략하고, 이 논문에서 도입한 3가지 CNN 구조에 대해 소개하겠다. 1. pooling 대신에 strided convolution을 사용하자. 2. convolutional feature의 가장 윗 부분에서 fully connected layers를 제거하자. 자세한 구조는 Fig. 1에서 제안하고 있다. DCGAN에서 제안한 구조에서는 4개의 ..
-
GAN을 어떻게 학습할 것인가(How to Train a GAN?)논문 리뷰/Generative Model 2024. 7. 18. 17:42
GitHub - soumith/ganhacks: starter from "How to Train a GAN?" at NIPS2016 GitHub - soumith/ganhacks: starter from "How to Train a GAN?" at NIPS2016starter from "How to Train a GAN?" at NIPS2016. Contribute to soumith/ganhacks development by creating an account on GitHub.github.com cs236을 듣다가 알게된 페이지인데 흥미로워서 한국어로 정리해보고자 한다.정확한 내용은 위에 페이지를 참고하면 된다! 1. Normalize the inputs : 입력값을 정규화하자-1에서 1사이의 값으로..