논문 리뷰/Generative Model
-
EDM 논문 리뷰(Elucidating the Design Space of Diffusion-Based Generative Models)논문 리뷰/Generative Model 2024. 8. 29. 13:31
Diffusion model을 실용적으로 발전시킨 논문. 근데 말도 너무 어렵고, 내용도 어려워서 많은 이 세상 고수님들의 도움을 받았다. 크게 도움을 받은게 바로 이 유튜브 강의!!! 이상윤님이 발표하신 강의인데, notion 정리본까지 주셔서 감사할 따름니다... EDM 이해에 어려움을 겪는 모든 분들에게 강추합니다🔥유튜브 강의 : https://www.youtube.com/watch?v=FSSAieHkX88노션 링크 : https://sang-yun-lee.notion.site/Elucidating-the-Design-Space-of-Diffusion-Based-Generative-Models-a81b14bf297743ec90a72c11f0fbce57(노션 링크는 유튜브 페이지에서 바로 눌러야 유..
-
Improved DDPM 논문 리뷰(Improved Denoising Diffusion Probabilistic Models)논문 리뷰/Generative Model 2024. 8. 27. 17:15
Improved DDPM은 DDPM이 log-likelihood 관점에서도 좋은 성능을 보일 수 있도록 DDPM을 발전시킨 논문으로 역방향 과정에서의 분산을 학습하여 샘플 품질에는 차이가 없으면서도 순방향 과정을 10배 더 적게 사용하여 샘플링할 수 있도록 하였다. 또한 precision and recall을 사용해서 DDPM과 GAN을 목표 분포 관점에서 비교하였다. IntroductionDDPM이 높은 품질의 샘플을 생성할 수 있다는 것은 DDPM의 논문에서 밝혀졌지만, likelihood-based model(e.g. autoregressive models, VAE)와 비교했을 때 경쟁할만한 log-likelihood를 갖지는 못한다. log-likelihood는 생성 모델링에서 널리 사용되는 지표..
-
CSDI 논문 리뷰(Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation)논문 리뷰/Generative Model 2024. 8. 23. 20:33
Time-series diffusion model 중에서도 인용수가 높다는 CSDI 논문을 리뷰해보고자 한다. (현 기준 인용수 350회) 이 논문은 저자들이 매우 유명한 사람들인데, Yusuke Tashiro, Jiaming Song, Yang Song, Stefano Ermon(나의 cs236 강의 교수님)이 21년도에 뉴립스에 낸 논문이다. github 주소를 보니, 이들을 Ermongroup이라고 부르는 것 같다. 멋진 사람들.. AbstractCSDI(Condition Score-based Diffusion Models for Imputation)은 observed data를 조건으로 score-based diffusion model을 이용한 것이다. 기존의 score-based approach..
-
Score-Based SDE(Score-Based Generative Modeling Though Stochastic Differential Equaitons) 논문 리뷰논문 리뷰/Generative Model 2024. 8. 22. 22:33
Score-Based SDE 논문을 읽어보았다. 이 논문을 이해하기 위해서는 우선 SMLD와 DDPM에 대해 이해하고 있어야 한다. SMLD과 DDPM 정리 포스팅입니다 * SMLD(Score Matching with Langevin Dynamics)와 NCSN(Noise Conditional Score Network)의 차이점 :NCSN은 SMLD 방법을 사용하여 훈련된 모델이다. SMLD는 스코어 기반 생성 모델로서 사용되는 방법론으로, 데이터의 변환을 위해 score matching과 Langevin Dynamics를 결합한다. 이 논문의 메인이 되는 그림↓Abstract이 논문은 data distribution에서 known prior distribution으로 변환하는 SDE를 소개하고, r..
-
TimeGrad 논문 리뷰(Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting)논문 리뷰/Generative Model 2024. 8. 21. 20:21
Time Series Diffusion Model로 유명한 TimeGrad 논문을 리뷰해보고자 한다. TimeGrad는 multivariate probabilistic time series forecasting problem을 해결하기 위해 autoregressive EBMs를 제안한다. DDPMTimeGrad MethodStructuremultibariate time series : ${x^{0}}_{t} \in \mathbb{R}^D$ context : window sized interval : $[1, t_0)$prediction : length sized interval : $[t_0, T]$ TimeGrad는 과거와 covariate를 기반으로 multivariate time series의 미래..
-
LDM 논문 리뷰(High-Resolution Image Synthesis with Latent Diffusion Models)논문 리뷰/Generative Model 2024. 8. 19. 12:30
Diffusion model 에서 LDM이 유명하다고 해서 논문 리뷰를 해보고자 한다.IntroductionLDM은 perceptually 동등하지만 계산적으로 더 적합한 공간을 찾아 그 공간에서 diffusion model을 훈련하고자 한다. 따라서 LDM은 perceptual compression을 통해 계산 비용을 줄이면서도, semantic compression을 통해 중요한 의미적 정보를 유지하고자 한다. * Semantic Compression : 이미지의 중요한 의미나 개념적 정보를 유지하면서 불필요한 세부사항을 제거하는 과정* Perceptual Compression : 인간의 시각적 지각에 크게 영향을 미치지 않는 세부정보를 제거하여 데이터를 압축하는 과정 우선 LDM은 autoencod..
-
Attention is all you need 논문 리뷰 포스팅 리스트논문 리뷰/Generative Model 2024. 8. 16. 10:27
Diffusion 공부를 하다가 필요할 줄은 몰랐는데... LDM 논문을 읽다가 Transformer에 대해 알아두면 좋을 것 같아 논문을 읽어보았다. 너무 유명한 논문인지라 정리를 정말 잘한 분들이 많아 포스팅 목록으로 대체하고자 한다. 많은 분들의 포스팅을 미리 읽고 읽었더니 훨씬 수월하게 이해가 되었다. (감사합니당) main reference[ML 논문 리뷰] Distilling the Knowledge in a Neural Network – Hansu Kim (cpm0722.github.io) [ML 논문 리뷰] Distilling the Knowledge in a Neural NetworkPaper Infocpm0722.github.io Reference[1] https://aistudy93..
-
DDIM 논문 리뷰(Denoising Diffusion Implicit Models)논문 리뷰/Generative Model 2024. 8. 13. 19:13
DDPM와 함께 매우 유명한 논문으로 알려진 DDIM에 대해 리뷰해보고자 한다. ※ DDPM 논문 리뷰 포스팅은 이 포스팅을 참고하면 된다. DDIM과 DDPM의 차이점(1) DDPM의 forward process는 markovian이지만 DDIM의 forward process는 non-markovian이다.(2) DDPM의 backward process는 stochastic하지만 DDIM의 backward process는 deterministic하다. (그래서 DDIM의 샘플은 일종의 "consistency"를 가지고 있어 같은 initial latent variable로 시작했을 때 비슷한 모습의 샘플을 생성하며, 의미있는 보간된 이미지 또한 생성한다.) DDIM은 (1) 동일한 퀄리티의 샘플을 ..