논문 리뷰
-
DDPM 논문 리뷰(Denoising Diffusion Probabilistic Models)논문 리뷰/Generative Model 2024. 8. 9. 16:45
Diffusion Model의 초기 논문으로 유명한 DDPM에 대해 리뷰해보고자 한다. 수학도 수학인데, 논문의 디테일이 이해가 안되서 일주일동안 이것저것 찾아보면서 공부를 했다. Introduction생성된 샘플을 먼저 보자. Diffusion model의 초기 모델임에도 불구하고 초고해상도의 이미지 역시 잘 생성하는 모습을 볼 수 있다. 이 논문(이하 DDPM)은 ' Deep Unsupervised Learning using Nonequilibrium Thermodynamics'에 바탕을 둔 논문으로 마르코프 체인을 이용해 데이터에서 노이즈를 더해가는 과정의 역과정을 variational inference를 통해 추정하는 아이디어를 그대로 차용한다. DDPM은 Loss함수를 더 간단히 만듦과 동시에..
-
Deep Unsupervised Learning using Nonequilibrium Thermodynamics 논문 리뷰논문 리뷰/Generative Model 2024. 8. 6. 17:54
Diffusion model의 시초가 되는 'Deep Unsupervised Learning using Nonequilibrium Thermodynamics'에 대해 리뷰해보고자 한다. 관련 연구에 대한 설명은 생략하고 논문의 주된 논의 내용 위주로 소개하고자 한다. Diffusion Probabilistic ModelsDiffusion Probabilistic Models의 장점은 이 논문에서 4가지로 정리해 소개하고 있다.(1) 모델 구조의 유연함(2) 명확한 샘플링이 가능(3) 다른 분포와의 곱을 하는 등 연산이 간편함(4) 모델의 log likelihood나 각각의 state에서의 확률을 구하기 쉬움 Diffusion Probabilistic Models은 연속직인 Markov chain을 이용해..
-
Inception Score이란? Improved Techniques for Traning GANs 논문 리뷰논문 리뷰/Generative Model 2024. 8. 5. 17:02
Inception Score에 대한 정리를 한 번은 하는게 좋을 것 같아 Inception Score(이하 IS)를 소개한 논문 "Improved Techniques for Training GANS"를 정리해보고자 한다. 이 논문은 How to train GAN? 이라는 포스팅에서 이미 간단히 다룬 적이 있으므로 다음 포스팅을 참고하면 된다. Inception Score에 대해서만 자세히 리뷰하고, 나머지 부분은 훑어보고자 한다. (그런데 Inception Score 설명 파트가 매우 짧아서 당황...!) 이 논문이 나온 배경은 GAN이 학습이 어려운 생성형 모델이기 때문인데, GAN을 학습한다는 것은 파라미터가 연속이고 고차원인 non-convex game에서의 내쉬 균형을 찾는 것과 마찬가지로 많은 ..
-
cs236 15장 Evaluating Generative Models논문 리뷰/cs236 2024. 8. 2. 16:08
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. summary3장 Autoregressive Model4장 Maximum Likelihood Learning5-6장 Latent Variable Models(VAEs)7-8장 Normalizing Flow Models9-10장 Generative Adversarial Networ..
-
cs236 13-14장 Score-Based Models논문 리뷰/cs236 2024. 7. 31. 18:00
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. Introduction앞선 강의에서 우리는 data probability distribution $p(x)$를 어떻게 추정할 지를 중심으로 모델을 살펴보았다. $p(x)$를 나타내고자 한 모델로는 Autoregressive models, Flow models, Variationa..
-
Sliced Score Matching 논문 리뷰(Sliced Score Matching : A Scalable Approach to Density and Score Estimation)논문 리뷰/Generative Model 2024. 7. 31. 18:00
Score-based model을 공부하다가 denoising score matching과 더불어 sliced score matching이 나와 논문 리뷰를 해보고자 한다. 이 논문은 수학 증명이 탄탄하게 받혀주는 논문인데, 간단하게 statement 위주로 정리해보고자 한다. ※ 읽기에 앞서 score function 관련 내용에 대한 사전 지식이 필요하다. 관련 내용은 Score-based models 포스팅을 통해 확인할 수 있다. IntroductionScore matching (Hyvärinen, 2005) is particularly suitable for learning unnormalized statistical models, such as energy based ones. It is b..
-
Denoising Score Matching(DSN) 논문 리뷰(A Connection Between Score Matching and Denoising Autoencoders)논문 리뷰/Generative Model 2024. 7. 31. 14:47
Score-based models에 대해 공부하다가 Denoising Score matching 내용이 나와 근본 논문을 살펴보고자 2011년 AISTATS에 게재된 'A Connection Between Score Matching and Denoising Autoencoders'를 정리하게 되었다. 논문의 주요 수식 위주로 요약해보고자 한다. ※ 읽기에 앞서 score function 관련 내용에 대한 사전 지식이 필요하다. 관련 내용은 Score-based models 포스팅을 통해 확인할 수 있다. Notation더보기Parzen density estimate에 대한 설명)chatgpt가 해준 설명과 블로그 글을 읽어보면 이해가 된다! Denoising Autoencoders(DAEs)Denoisi..
-
cs236 11-12장 Energy-Based Models(EBM)논문 리뷰/cs236 2024. 7. 29. 19:48
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. 이번 강의에서는 Energy-Based Models에 대해 공부해보고자 한다. Energy-Based Moels는 아래와 같은 장점을 지니고 있는 모델이다.Very flexible model architecturesStable trainingRelatively high sampl..