논문 리뷰/Generative Model
-
WGAN-GP 리뷰(Wasserstein GAN with gradient penalty)논문 리뷰/Generative Model 2024. 7. 22. 19:14
2017년 NeuIPS에 게재된 WGAN-GP 논문을 리뷰하고자 한다. 이 논문은 WGAN의 발전된 버전으로 WGAN과 주저자가 동일해 WGAN에 대한 설명은 많이 생략했다. 따라서 이 논문을 읽기 전에 WGAN에 대한 이해가 필요하다. (틈새 홍보) WGAN 논문 리뷰 ↓ ↓ ↓ ↓ ↓ https://jjo-mathstory.tistory.com/entry/WGAN-%EB%A6%AC%EB%B7%B0Wasserstein-GAN WGAN 리뷰(Wasserstein GAN)오늘은 WGAN 논문을 읽어보았다. 여러가지 수학적 개념들이 등장해서 개인적으로 좀 반가운 논문이였다ㅎㅎ 수학적 배경이 탄탄한 논문이라서 WGAN이 학습이 잘 되는 이유에 대한 증명이 많이 담jjo-mathstory.tistory.com ..
-
WGAN 리뷰(Wasserstein GAN)논문 리뷰/Generative Model 2024. 7. 19. 19:17
오늘은 WGAN 논문을 읽어보았다. 여러가지 수학적 개념들이 등장해서 개인적으로 좀 반가운 논문이였다ㅎㅎ 수학적 배경이 탄탄한 논문이라서 WGAN이 학습이 잘 되는 이유에 대한 증명이 많이 담겨있다. Introduction앞선 연구들은 real data distribution과 model distribution의 KL divergence를 최소화하는 방향으로 model distribution을 학습하고자 했다. 하지만 이러한 방법론은 상당한 문제점을 가지고 있는데, model manifold와 true distribution의 support는 잘 겹치지 않아서 이 둘 사이의 KL divergence를 계산하기 어렵다는 것이다. 이러한 문제를 극복하기 위해 simple한 distribution을 시작해 ..
-
GAN을 어떻게 학습할 것인가(How to Train a GAN?)논문 리뷰/Generative Model 2024. 7. 18. 17:42
GitHub - soumith/ganhacks: starter from "How to Train a GAN?" at NIPS2016 GitHub - soumith/ganhacks: starter from "How to Train a GAN?" at NIPS2016starter from "How to Train a GAN?" at NIPS2016. Contribute to soumith/ganhacks development by creating an account on GitHub.github.com cs236을 듣다가 알게된 페이지인데 흥미로워서 한국어로 정리해보고자 한다.정확한 내용은 위에 페이지를 참고하면 된다! 1. Normalize the inputs : 입력값을 정규화하자-1에서 1사이의 값으로..
-
MAF IAF 논문 리뷰(Masked Autoregressive Flow for Density Estimation & Improved Variational Inference with Inverse Autoregressive Flow)논문 리뷰/Generative Model 2024. 7. 17. 17:08
2017년 Papamakarios et at.의 MAF(Masked Autoregressive Flow)과 2016년 Kingma et al.의 IAF(Inverse Autoregressive Flow)를 리뷰할 예정이다. 두 논문은 사실상 완전히 대칭되는 아이디어를 가지고 쓰여진 논문으로 혼자 흥미로웠던 점은 IAF가 먼저 나오고 MAF가 나중에 나온 논문이라는 점이다. IAF와 MAF는 완전히 반대의 아이디어를 사용하기 때문에 장단점도 정확히 반대이다. IAF는 samlpling이 빠른 대신 likelihood를 계산하는데 오래 걸린다.MAF는 반대로 likelihood 계산이 빠른 대신 sampling이 오래 걸린다는 단점이 있다. MAF와 IAF 모두 Autoregressive model + Fl..
-
Neural ODE 논문 리뷰 [18' NeurIPS] Neural Ordinary Differential Equation(Chen et al.)논문 리뷰/Generative Model 2024. 7. 15. 20:39
몇 번을 봐도 이해가 어렵던 Neural ODE를 드디어 정리해보겠다.증명이 이해가 안되면 다음 줄로 못 넘어가는 성격인지라 논문의 내용 + Appendix에 초점을 맞춰 정리해보고자 한다. Neural ODE는 RNN과 Normalizing flow의 식이 일종의 ODE처럼 생겼다는 점에서 착안하여, neural net을 원하는 함수의 미분값으로 보고 학습한다. 우리에게 잘 알려진 Euler method나 Runge Kutta method를 통해 ODE를 풀고(이게 논문에서 말하는 ODEsolver이다.) Backpropagation을 위해 adjoint sensitivity method를 가져왔다. 우선 Appendix를 잘 정리해두면 이해가 쉬워서 Appendix를 먼저 살펴보자. 우선 insta..
-
MADE 논문리뷰(Masked Autoencoder for Distribution Estimation)논문 리뷰/Generative Model 2024. 7. 6. 18:06
MAF, IAF 등의 논문을 읽다보면 자주 나오는 MADE 논문에 대해 정리해볼 예정이다. 이 논문의 아이디어는 매우 심플한데, Autoregressive model을 구현하기 위해 sequential한 계산을 하는게 아니라 하나의 마스크를 사용하는 것이다. 개인적으로는 아이디어가 매우 번뜩이는 논문이라고 생각한다(모든 논문이 다 그렇게 보이긴 하지만..) [15' PMLR] MADE(Masked Autoencoder for Distribution Estimation)(Germain et al.)더보기Our method masks the autoencoder’s parameters to respect autoregressive constraints: each input is reconstructed o..
-
VAE 논문 리뷰 ['13 arXiv] Auto-encoding variational bayes(Kingma, D.P. & Welling, M.)논문 리뷰/Generative Model 2024. 6. 28. 17:13
2013년도 Kingma, D.P. & Welling, M.의 Auto-encoding variational bayes 논문을 리뷰해보겠다. 이 논문은 정말 불친절한 논문이라고 생각이 드는데, cs236 5장과 6장 강의를 보지 않았다면 읽고 이해하는데 정말 많은 시간이 걸렸을 것이라고 생각한다. 배경지식이 없다면 VAE의 개괄을 설명하는 유튜브 강의나 블로그 글을 읽는 것을 추천한다. 사전지식 이 논문에서는 posterior distribution, prior distribution, likelihood에 대한 단어가 정의 없이 나오므로 용어를 숙지하는 것이 중요하다. Setting 우리의 세팅은 위와 같다. θ와 z(i)는 알 수 없기 때문에 우리는 recognition mod..
-
Flow-based generative model(NICE, Real NVP, Glow 논문리뷰)논문 리뷰/Generative Model 2024. 6. 21. 14:12
flow-based generative의 시작에 있어 매우 중요한 세 개의 논문 NICE, Real NVP, Glow에 대해 리뷰해보고자 한다. 그 전에, 먼저 flow-based generative model 관련 기초 개념에 대해서 설명하고자 한다. ※ 기초 개념은 출처 [1] https://lilianweng.github.io/posts/2018-10-13-flow-models/Flow-based Generative ModelFlow-based generative model은 GAN, VAE 같은 다른 generative model과 다르게 invertible한 transformations를 쌓아서 만든다. 또한 data distribution p(x)를 학습하며, loss function은 n..