분류 전체보기
-
Improved DDPM 논문 리뷰(Improved Denoising Diffusion Probabilistic Models)논문 리뷰/Generative Model 2024. 8. 27. 17:15
Improved DDPM은 DDPM이 log-likelihood 관점에서도 좋은 성능을 보일 수 있도록 DDPM을 발전시킨 논문으로 역방향 과정에서의 분산을 학습하여 샘플 품질에는 차이가 없으면서도 순방향 과정을 10배 더 적게 사용하여 샘플링할 수 있도록 하였다. 또한 precision and recall을 사용해서 DDPM과 GAN을 목표 분포 관점에서 비교하였다. IntroductionDDPM이 높은 품질의 샘플을 생성할 수 있다는 것은 DDPM의 논문에서 밝혀졌지만, likelihood-based model(e.g. autoregressive models, VAE)와 비교했을 때 경쟁할만한 log-likelihood를 갖지는 못한다. log-likelihood는 생성 모델링에서 널리 사용되는 지표..
-
CSDI 논문 리뷰(Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation)논문 리뷰/Generative Model 2024. 8. 23. 20:33
Time-series diffusion model 중에서도 인용수가 높다는 CSDI 논문을 리뷰해보고자 한다. (현 기준 인용수 350회) 이 논문은 저자들이 매우 유명한 사람들인데, Yusuke Tashiro, Jiaming Song, Yang Song, Stefano Ermon(나의 cs236 강의 교수님)이 21년도에 뉴립스에 낸 논문이다. github 주소를 보니, 이들을 Ermongroup이라고 부르는 것 같다. 멋진 사람들.. AbstractCSDI(Condition Score-based Diffusion Models for Imputation)은 observed data를 조건으로 score-based diffusion model을 이용한 것이다. 기존의 score-based approach..
-
Score-Based SDE(Score-Based Generative Modeling Though Stochastic Differential Equaitons) 논문 리뷰논문 리뷰/Generative Model 2024. 8. 22. 22:33
Score-Based SDE 논문을 읽어보았다. 이 논문을 이해하기 위해서는 우선 SMLD와 DDPM에 대해 이해하고 있어야 한다. SMLD과 DDPM 정리 포스팅입니다 * SMLD(Score Matching with Langevin Dynamics)와 NCSN(Noise Conditional Score Network)의 차이점 :NCSN은 SMLD 방법을 사용하여 훈련된 모델이다. SMLD는 스코어 기반 생성 모델로서 사용되는 방법론으로, 데이터의 변환을 위해 score matching과 Langevin Dynamics를 결합한다. 이 논문의 메인이 되는 그림↓Abstract이 논문은 data distribution에서 known prior distribution으로 변환하는 SDE를 소개하고, r..
-
TimeGrad 논문 리뷰(Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting)논문 리뷰/Generative Model 2024. 8. 21. 20:21
Time Series Diffusion Model로 유명한 TimeGrad 논문을 리뷰해보고자 한다. TimeGrad는 multivariate probabilistic time series forecasting problem을 해결하기 위해 autoregressive EBMs를 제안한다. DDPMTimeGrad MethodStructuremultibariate time series : ${x^{0}}_{t} \in \mathbb{R}^D$ context : window sized interval : $[1, t_0)$prediction : length sized interval : $[t_0, T]$ TimeGrad는 과거와 covariate를 기반으로 multivariate time series의 미래..
-
LDM 논문 리뷰(High-Resolution Image Synthesis with Latent Diffusion Models)논문 리뷰/Generative Model 2024. 8. 19. 12:30
Diffusion model 에서 LDM이 유명하다고 해서 논문 리뷰를 해보고자 한다.IntroductionLDM은 perceptually 동등하지만 계산적으로 더 적합한 공간을 찾아 그 공간에서 diffusion model을 훈련하고자 한다. 따라서 LDM은 perceptual compression을 통해 계산 비용을 줄이면서도, semantic compression을 통해 중요한 의미적 정보를 유지하고자 한다. * Semantic Compression : 이미지의 중요한 의미나 개념적 정보를 유지하면서 불필요한 세부사항을 제거하는 과정* Perceptual Compression : 인간의 시각적 지각에 크게 영향을 미치지 않는 세부정보를 제거하여 데이터를 압축하는 과정 우선 LDM은 autoencod..
-
Attention is all you need 논문 리뷰 포스팅 리스트논문 리뷰/Generative Model 2024. 8. 16. 10:27
Diffusion 공부를 하다가 필요할 줄은 몰랐는데... LDM 논문을 읽다가 Transformer에 대해 알아두면 좋을 것 같아 논문을 읽어보았다. 너무 유명한 논문인지라 정리를 정말 잘한 분들이 많아 포스팅 목록으로 대체하고자 한다. 많은 분들의 포스팅을 미리 읽고 읽었더니 훨씬 수월하게 이해가 되었다. (감사합니당) main reference[ML 논문 리뷰] Distilling the Knowledge in a Neural Network – Hansu Kim (cpm0722.github.io) [ML 논문 리뷰] Distilling the Knowledge in a Neural NetworkPaper Infocpm0722.github.io Reference[1] https://aistudy93..
-
DDIM 논문 리뷰(Denoising Diffusion Implicit Models)논문 리뷰/Generative Model 2024. 8. 13. 19:13
DDPM와 함께 매우 유명한 논문으로 알려진 DDIM에 대해 리뷰해보고자 한다. ※ DDPM 논문 리뷰 포스팅은 이 포스팅을 참고하면 된다. DDIM과 DDPM의 차이점(1) DDPM의 forward process는 markovian이지만 DDIM의 forward process는 non-markovian이다.(2) DDPM의 backward process는 stochastic하지만 DDIM의 backward process는 deterministic하다. (그래서 DDIM의 샘플은 일종의 "consistency"를 가지고 있어 같은 initial latent variable로 시작했을 때 비슷한 모습의 샘플을 생성하며, 의미있는 보간된 이미지 또한 생성한다.) DDIM은 (1) 동일한 퀄리티의 샘플을 ..
-
DDPM 논문 리뷰(Denoising Diffusion Probabilistic Models)논문 리뷰/Generative Model 2024. 8. 9. 16:45
Diffusion Model의 초기 논문으로 유명한 DDPM에 대해 리뷰해보고자 한다. 수학도 수학인데, 논문의 디테일이 이해가 안되서 일주일동안 이것저것 찾아보면서 공부를 했다. Introduction생성된 샘플을 먼저 보자. Diffusion model의 초기 모델임에도 불구하고 초고해상도의 이미지 역시 잘 생성하는 모습을 볼 수 있다. 이 논문(이하 DDPM)은 ' Deep Unsupervised Learning using Nonequilibrium Thermodynamics'에 바탕을 둔 논문으로 마르코프 체인을 이용해 데이터에서 노이즈를 더해가는 과정의 역과정을 variational inference를 통해 추정하는 아이디어를 그대로 차용한다. DDPM은 Loss함수를 더 간단히 만듦과 동시에..