분류 전체보기
-
Deep Unsupervised Learning using Nonequilibrium Thermodynamics 논문 리뷰논문 리뷰/Generative Model 2024. 8. 6. 17:54
Diffusion model의 시초가 되는 'Deep Unsupervised Learning using Nonequilibrium Thermodynamics'에 대해 리뷰해보고자 한다. 관련 연구에 대한 설명은 생략하고 논문의 주된 논의 내용 위주로 소개하고자 한다. Diffusion Probabilistic ModelsDiffusion Probabilistic Models의 장점은 이 논문에서 4가지로 정리해 소개하고 있다.(1) 모델 구조의 유연함(2) 명확한 샘플링이 가능(3) 다른 분포와의 곱을 하는 등 연산이 간편함(4) 모델의 log likelihood나 각각의 state에서의 확률을 구하기 쉬움 Diffusion Probabilistic Models은 연속직인 Markov chain을 이용해..
-
Inception Score이란? Improved Techniques for Traning GANs 논문 리뷰논문 리뷰/Generative Model 2024. 8. 5. 17:02
Inception Score에 대한 정리를 한 번은 하는게 좋을 것 같아 Inception Score(이하 IS)를 소개한 논문 "Improved Techniques for Training GANS"를 정리해보고자 한다. 이 논문은 How to train GAN? 이라는 포스팅에서 이미 간단히 다룬 적이 있으므로 다음 포스팅을 참고하면 된다. Inception Score에 대해서만 자세히 리뷰하고, 나머지 부분은 훑어보고자 한다. (그런데 Inception Score 설명 파트가 매우 짧아서 당황...!) 이 논문이 나온 배경은 GAN이 학습이 어려운 생성형 모델이기 때문인데, GAN을 학습한다는 것은 파라미터가 연속이고 고차원인 non-convex game에서의 내쉬 균형을 찾는 것과 마찬가지로 많은 ..
-
(라이님 블로그 대회 알고리즘 따라잡기 32) TriePROGRAMMING/알고리즘 2024. 8. 5. 12:23
오늘은 Trie에 대해 알아보았다. 늘 그렇듯 설명은 라이님 블로그 Trie를 참고하면 된다.이번 알고리즘은 내용도 직관적이고, 코드도 짧아 좋았다@@ #include #include #include using namespace std;constexpr int SIZE = 10; // 0-9까지 총 10개의 숫자struct Trie { unique_ptr child[SIZE]; bool isEnd; // 현재 노드가 전화번호의 끝인지 여부 bool hasChild; // 현재 노드가 자식을 가지고 있는지 여부 // 생성자 Trie() : isEnd(false), hasChild(false) {} // 전화번호를 트라이에 삽입하고, 일관성이 유지되는지 확인 bool insert(const..
-
cs236 15장 Evaluating Generative Models논문 리뷰/cs236 2024. 8. 2. 16:08
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. summary3장 Autoregressive Model4장 Maximum Likelihood Learning5-6장 Latent Variable Models(VAEs)7-8장 Normalizing Flow Models9-10장 Generative Adversarial Networ..
-
(백준 4354번 문자열 제곱) (라이님 블로그 대회 알고리즘 따라잡기 31) KMP(Knuth–Morris–Pratt Algorithm)PROGRAMMING/알고리즘 2024. 8. 1. 11:36
라이님 블로그에서 아이디어를 가져와서 풀어보았다! https://blog.naver.com/PostView.naver?blogId=kks227&logNo=220917078260&parentCategoryNo=&categoryNo=299&viewDate=&isShowPopularPosts=false&from=postList KMP 알고리즘(Knuth–Morris–Pratt Algorithm) (수정: 2019-09-01)KMPlayer가 아니다 안녕하세요. 한동안 그래프를 줄창 했듯이 이제부터는 문자열을 줄창 하게 될 겁니다...blog.naver.com늘 그렇듯 설명은 라이님 블로그를 참고! 이 문제에서 처음에 틀렸습니다가 뜨면 abcabca를 한 번 넣어보는 걸 추천한다. 정답은 1이지만 2가 나올 가..
-
cs236 13-14장 Score-Based Models논문 리뷰/cs236 2024. 7. 31. 18:00
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. Introduction앞선 강의에서 우리는 data probability distribution $p(x)$를 어떻게 추정할 지를 중심으로 모델을 살펴보았다. $p(x)$를 나타내고자 한 모델로는 Autoregressive models, Flow models, Variationa..
-
Sliced Score Matching 논문 리뷰(Sliced Score Matching : A Scalable Approach to Density and Score Estimation)논문 리뷰/Generative Model 2024. 7. 31. 18:00
Score-based model을 공부하다가 denoising score matching과 더불어 sliced score matching이 나와 논문 리뷰를 해보고자 한다. 이 논문은 수학 증명이 탄탄하게 받혀주는 논문인데, 간단하게 statement 위주로 정리해보고자 한다. ※ 읽기에 앞서 score function 관련 내용에 대한 사전 지식이 필요하다. 관련 내용은 Score-based models 포스팅을 통해 확인할 수 있다. IntroductionScore matching (Hyvärinen, 2005) is particularly suitable for learning unnormalized statistical models, such as energy based ones. It is b..
-
Denoising Score Matching(DSN) 논문 리뷰(A Connection Between Score Matching and Denoising Autoencoders)논문 리뷰/Generative Model 2024. 7. 31. 14:47
Score-based models에 대해 공부하다가 Denoising Score matching 내용이 나와 근본 논문을 살펴보고자 2011년 AISTATS에 게재된 'A Connection Between Score Matching and Denoising Autoencoders'를 정리하게 되었다. 논문의 주요 수식 위주로 요약해보고자 한다. ※ 읽기에 앞서 score function 관련 내용에 대한 사전 지식이 필요하다. 관련 내용은 Score-based models 포스팅을 통해 확인할 수 있다. Notation더보기Parzen density estimate에 대한 설명)chatgpt가 해준 설명과 블로그 글을 읽어보면 이해가 된다! Denoising Autoencoders(DAEs)Denoisi..