논문 리뷰
-
GAN 논문리뷰(Generative Adversarial Nets)논문 리뷰 2024. 7. 18. 16:22
GAN 논문에 대해 정리해볼 예정이다.이 논문은 14년도 NIPS에 Generative Adversarial Nets라는 이름으로 게재되었으며 Goodfellow, Bengio 등 개쩌는 사람들이 작성에 참여한 것을 알 수 있다. 이제는 너무나 많이 알려진 개념이라서 논문 자체가 어렵게 느껴지진 않지만 꼼꼼히 리뷰해보고자 한다. 또한 GAN 관련 강의는 cs236 9, 10장에서 자세히 다루고 있어서 한 번쯤 보는 걸 추천한다! Abstract 이 논문의 모든 것이 Abstract에 있다고 해도 과언이 아니다. 생성자 G는 data distribution을 학습하기 위해, 판별자 D는 training data와 G가 생성한 샘플을 구분하기 위해 존재하는 모델이다. 이 두 모델은 동시에 학습되며, 이상적..
-
MAF IAF 논문 리뷰(Masked Autoregressive Flow for Density Estimation & Improved Variational Inference with Inverse Autoregressive Flow)논문 리뷰/Generative Model 2024. 7. 17. 17:08
2017년 Papamakarios et at.의 MAF(Masked Autoregressive Flow)과 2016년 Kingma et al.의 IAF(Inverse Autoregressive Flow)를 리뷰할 예정이다. 두 논문은 사실상 완전히 대칭되는 아이디어를 가지고 쓰여진 논문으로 혼자 흥미로웠던 점은 IAF가 먼저 나오고 MAF가 나중에 나온 논문이라는 점이다. IAF와 MAF는 완전히 반대의 아이디어를 사용하기 때문에 장단점도 정확히 반대이다. IAF는 samlpling이 빠른 대신 likelihood를 계산하는데 오래 걸린다.MAF는 반대로 likelihood 계산이 빠른 대신 sampling이 오래 걸린다는 단점이 있다. MAF와 IAF 모두 Autoregressive model + Fl..
-
cs236 7-8장 Normalizing Flow Models논문 리뷰/cs236 2024. 7. 17. 15:16
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. ※ Normalizing Flow models 중 NICE, RealNVP, Glow 논문에 대한 리뷰는 아래 포스트에서 확인 가능합니다.https://jjo-mathstory.tistory.com/entry/Flow-based-generative-modelNICE-Real-N..
-
Neural ODE 논문 리뷰 [18' NeurIPS] Neural Ordinary Differential Equation(Chen et al.)논문 리뷰/Generative Model 2024. 7. 15. 20:39
몇 번을 봐도 이해가 어렵던 Neural ODE를 드디어 정리해보겠다.증명이 이해가 안되면 다음 줄로 못 넘어가는 성격인지라 논문의 내용 + Appendix에 초점을 맞춰 정리해보고자 한다. Neural ODE는 RNN과 Normalizing flow의 식이 일종의 ODE처럼 생겼다는 점에서 착안하여, neural net을 원하는 함수의 미분값으로 보고 학습한다. 우리에게 잘 알려진 Euler method나 Runge Kutta method를 통해 ODE를 풀고(이게 논문에서 말하는 ODEsolver이다.) Backpropagation을 위해 adjoint sensitivity method를 가져왔다. 우선 Appendix를 잘 정리해두면 이해가 쉬워서 Appendix를 먼저 살펴보자. 우선 insta..
-
MADE 논문리뷰(Masked Autoencoder for Distribution Estimation)논문 리뷰/Generative Model 2024. 7. 6. 18:06
MAF, IAF 등의 논문을 읽다보면 자주 나오는 MADE 논문에 대해 정리해볼 예정이다. 이 논문의 아이디어는 매우 심플한데, Autoregressive model을 구현하기 위해 sequential한 계산을 하는게 아니라 하나의 마스크를 사용하는 것이다. 개인적으로는 아이디어가 매우 번뜩이는 논문이라고 생각한다(모든 논문이 다 그렇게 보이긴 하지만..) [15' PMLR] MADE(Masked Autoencoder for Distribution Estimation)(Germain et al.)더보기Our method masks the autoencoder’s parameters to respect autoregressive constraints: each input is reconstructed o..
-
VAE 논문 리뷰 ['13 arXiv] Auto-encoding variational bayes(Kingma, D.P. & Welling, M.)논문 리뷰/Generative Model 2024. 6. 28. 17:13
2013년도 Kingma, D.P. & Welling, M.의 Auto-encoding variational bayes 논문을 리뷰해보겠다. 이 논문은 정말 불친절한 논문이라고 생각이 드는데, cs236 5장과 6장 강의를 보지 않았다면 읽고 이해하는데 정말 많은 시간이 걸렸을 것이라고 생각한다. 배경지식이 없다면 VAE의 개괄을 설명하는 유튜브 강의나 블로그 글을 읽는 것을 추천한다. 사전지식 이 논문에서는 posterior distribution, prior distribution, likelihood에 대한 단어가 정의 없이 나오므로 용어를 숙지하는 것이 중요하다. Setting 우리의 세팅은 위와 같다. $\theta$와 $z^{(i)}$는 알 수 없기 때문에 우리는 recognition mod..
-
Flow-based generative model(NICE, Real NVP, Glow 논문리뷰)논문 리뷰/Generative Model 2024. 6. 21. 14:12
flow-based generative의 시작에 있어 매우 중요한 세 개의 논문 NICE, Real NVP, Glow에 대해 리뷰해보고자 한다. 그 전에, 먼저 flow-based generative model 관련 기초 개념에 대해서 설명하고자 한다. ※ 기초 개념은 출처 [1] https://lilianweng.github.io/posts/2018-10-13-flow-models/Flow-based Generative ModelFlow-based generative model은 GAN, VAE 같은 다른 generative model과 다르게 invertible한 transformations를 쌓아서 만든다. 또한 data distribution $p(x)$를 학습하며, loss function은 n..
-
cs236 5-6장 Latent Variable Models(VAEs)논문 리뷰/cs236 2024. 6. 20. 20:55
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. Latent Variable Models : Motivation사람의 얼굴을 생각해보자. 눈의 색깔, 머리의 색깔, 포즈, 성별 등등 다양한 factor들로 사람의 얼굴을 결정할 수 있다. 이때의 다양한 팩터들을 사람이 직접 정하지 않고 latent variable로 나타내보고자..