전체 글
-
TimeGrad 논문 리뷰(Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting)논문 리뷰/Generative Model 2024. 8. 21. 20:21
Time Series Diffusion Model로 유명한 TimeGrad 논문을 리뷰해보고자 한다. TimeGrad는 multivariate probabilistic time series forecasting problem을 해결하기 위해 autoregressive EBMs를 제안한다. DDPMTimeGrad MethodStructuremultibariate time series : ${x^{0}}_{t} \in \mathbb{R}^D$ context : window sized interval : $[1, t_0)$prediction : length sized interval : $[t_0, T]$ TimeGrad는 과거와 covariate를 기반으로 multivariate time series의 미래..
-
LDM 논문 리뷰(High-Resolution Image Synthesis with Latent Diffusion Models)논문 리뷰/Generative Model 2024. 8. 19. 12:30
Diffusion model 에서 LDM이 유명하다고 해서 논문 리뷰를 해보고자 한다.IntroductionLDM은 perceptually 동등하지만 계산적으로 더 적합한 공간을 찾아 그 공간에서 diffusion model을 훈련하고자 한다. 따라서 LDM은 perceptual compression을 통해 계산 비용을 줄이면서도, semantic compression을 통해 중요한 의미적 정보를 유지하고자 한다. * Semantic Compression : 이미지의 중요한 의미나 개념적 정보를 유지하면서 불필요한 세부사항을 제거하는 과정* Perceptual Compression : 인간의 시각적 지각에 크게 영향을 미치지 않는 세부정보를 제거하여 데이터를 압축하는 과정 우선 LDM은 autoencod..
-
Attention is all you need 논문 리뷰 포스팅 리스트논문 리뷰/Generative Model 2024. 8. 16. 10:27
Diffusion 공부를 하다가 필요할 줄은 몰랐는데... LDM 논문을 읽다가 Transformer에 대해 알아두면 좋을 것 같아 논문을 읽어보았다. 너무 유명한 논문인지라 정리를 정말 잘한 분들이 많아 포스팅 목록으로 대체하고자 한다. 많은 분들의 포스팅을 미리 읽고 읽었더니 훨씬 수월하게 이해가 되었다. (감사합니당) main reference[ML 논문 리뷰] Distilling the Knowledge in a Neural Network – Hansu Kim (cpm0722.github.io) [ML 논문 리뷰] Distilling the Knowledge in a Neural NetworkPaper Infocpm0722.github.io Reference[1] https://aistudy93..
-
DDIM 논문 리뷰(Denoising Diffusion Implicit Models)논문 리뷰/Generative Model 2024. 8. 13. 19:13
DDPM와 함께 매우 유명한 논문으로 알려진 DDIM에 대해 리뷰해보고자 한다. ※ DDPM 논문 리뷰 포스팅은 이 포스팅을 참고하면 된다. DDIM과 DDPM의 차이점(1) DDPM의 forward process는 markovian이지만 DDIM의 forward process는 non-markovian이다.(2) DDPM의 backward process는 stochastic하지만 DDIM의 backward process는 deterministic하다. (그래서 DDIM의 샘플은 일종의 "consistency"를 가지고 있어 같은 initial latent variable로 시작했을 때 비슷한 모습의 샘플을 생성하며, 의미있는 보간된 이미지 또한 생성한다.) DDIM은 (1) 동일한 퀄리티의 샘플을 ..
-
DDPM 논문 리뷰(Denoising Diffusion Probabilistic Models)논문 리뷰/Generative Model 2024. 8. 9. 16:45
Diffusion Model의 초기 논문으로 유명한 DDPM에 대해 리뷰해보고자 한다. 수학도 수학인데, 논문의 디테일이 이해가 안되서 일주일동안 이것저것 찾아보면서 공부를 했다. Introduction생성된 샘플을 먼저 보자. Diffusion model의 초기 모델임에도 불구하고 초고해상도의 이미지 역시 잘 생성하는 모습을 볼 수 있다. 이 논문(이하 DDPM)은 ' Deep Unsupervised Learning using Nonequilibrium Thermodynamics'에 바탕을 둔 논문으로 마르코프 체인을 이용해 데이터에서 노이즈를 더해가는 과정의 역과정을 variational inference를 통해 추정하는 아이디어를 그대로 차용한다. DDPM은 Loss함수를 더 간단히 만듦과 동시에..
-
Deep Unsupervised Learning using Nonequilibrium Thermodynamics 논문 리뷰논문 리뷰/Generative Model 2024. 8. 6. 17:54
Diffusion model의 시초가 되는 'Deep Unsupervised Learning using Nonequilibrium Thermodynamics'에 대해 리뷰해보고자 한다. 관련 연구에 대한 설명은 생략하고 논문의 주된 논의 내용 위주로 소개하고자 한다. Diffusion Probabilistic ModelsDiffusion Probabilistic Models의 장점은 이 논문에서 4가지로 정리해 소개하고 있다.(1) 모델 구조의 유연함(2) 명확한 샘플링이 가능(3) 다른 분포와의 곱을 하는 등 연산이 간편함(4) 모델의 log likelihood나 각각의 state에서의 확률을 구하기 쉬움 Diffusion Probabilistic Models은 연속직인 Markov chain을 이용해..
-
Inception Score이란? Improved Techniques for Traning GANs 논문 리뷰논문 리뷰/Generative Model 2024. 8. 5. 17:02
Inception Score에 대한 정리를 한 번은 하는게 좋을 것 같아 Inception Score(이하 IS)를 소개한 논문 "Improved Techniques for Training GANS"를 정리해보고자 한다. 이 논문은 How to train GAN? 이라는 포스팅에서 이미 간단히 다룬 적이 있으므로 다음 포스팅을 참고하면 된다. Inception Score에 대해서만 자세히 리뷰하고, 나머지 부분은 훑어보고자 한다. (그런데 Inception Score 설명 파트가 매우 짧아서 당황...!) 이 논문이 나온 배경은 GAN이 학습이 어려운 생성형 모델이기 때문인데, GAN을 학습한다는 것은 파라미터가 연속이고 고차원인 non-convex game에서의 내쉬 균형을 찾는 것과 마찬가지로 많은 ..
-
(라이님 블로그 대회 알고리즘 따라잡기 32) TriePROGRAMMING/알고리즘 2024. 8. 5. 12:23
오늘은 Trie에 대해 알아보았다. 늘 그렇듯 설명은 라이님 블로그 Trie를 참고하면 된다.이번 알고리즘은 내용도 직관적이고, 코드도 짧아 좋았다@@ #include #include #include using namespace std;constexpr int SIZE = 10; // 0-9까지 총 10개의 숫자struct Trie { unique_ptr child[SIZE]; bool isEnd; // 현재 노드가 전화번호의 끝인지 여부 bool hasChild; // 현재 노드가 자식을 가지고 있는지 여부 // 생성자 Trie() : isEnd(false), hasChild(false) {} // 전화번호를 트라이에 삽입하고, 일관성이 유지되는지 확인 bool insert(const..