분류 전체보기
-
MAF IAF 논문 리뷰(Masked Autoregressive Flow for Density Estimation & Improved Variational Inference with Inverse Autoregressive Flow)논문 리뷰/Generative Model 2024. 7. 17. 17:08
2017년 Papamakarios et at.의 MAF(Masked Autoregressive Flow)과 2016년 Kingma et al.의 IAF(Inverse Autoregressive Flow)를 리뷰할 예정이다. 두 논문은 사실상 완전히 대칭되는 아이디어를 가지고 쓰여진 논문으로 혼자 흥미로웠던 점은 IAF가 먼저 나오고 MAF가 나중에 나온 논문이라는 점이다. IAF와 MAF는 완전히 반대의 아이디어를 사용하기 때문에 장단점도 정확히 반대이다. IAF는 samlpling이 빠른 대신 likelihood를 계산하는데 오래 걸린다.MAF는 반대로 likelihood 계산이 빠른 대신 sampling이 오래 걸린다는 단점이 있다. MAF와 IAF 모두 Autoregressive model + Fl..
-
cs236 7-8장 Normalizing Flow Models논문 리뷰/cs236 2024. 7. 17. 15:16
Generative model 복습을 위해 CS236 강의를 듣고 정리해보고자 한다.피피티는 아래 페이지를 참고하면 된다.https://deepgenerativemodels.github.io/ ※ PPT의 내용 정리와 더불어 같이 보면 좋을 자료들을 정리했습니다. 강의를 보고 이해한대로 작성했기 때문에 부정확한 내용이 포함되어 있을 수 있음을 알려드립니다. 또한 참고한 모든 블로그와 유튜브는 출처(Reference)에 있습니다. ※ Normalizing Flow models 중 NICE, RealNVP, Glow 논문에 대한 리뷰는 아래 포스트에서 확인 가능합니다.https://jjo-mathstory.tistory.com/entry/Flow-based-generative-modelNICE-Real-N..
-
(라이님 블로그 대회 알고리즘 따라잡기 25) 네트워크 유량(Network Flow)PROGRAMMING/알고리즘 2024. 7. 16. 10:45
네트워크 유량에 대해 공부해보았다. 개념 자체는 어렵지 않은데 음의 유량 다루는 부분이 조금 생소했다. 아래 라이님 블로그에 아주 잘 기술되어 있으므로 정독하는 것을 추천!https://blog.naver.com/PostView.naver?blogId=kks227&logNo=220804885235&parentCategoryNo=&categoryNo=299&viewDate=&isShowPopularPosts=false&from=postList 네트워크 유량(Network Flow) (수정: 2019-08-14)안녕하세요. 그래프에 대해서 1차적으로 쓸 내용 중에서는 마지막 개념에 달했습니다. 그런데 마지막 개념...blog.naver.com ⭐ 플로우 그래프의 가장 큰 특징 : 간선의 용량!⭐ 어떤 길을..
-
Neural ODE 논문 리뷰 [18' NeurIPS] Neural Ordinary Differential Equation(Chen et al.)논문 리뷰/Generative Model 2024. 7. 15. 20:39
몇 번을 봐도 이해가 어렵던 Neural ODE를 드디어 정리해보겠다.증명이 이해가 안되면 다음 줄로 못 넘어가는 성격인지라 논문의 내용 + Appendix에 초점을 맞춰 정리해보고자 한다. Neural ODE는 RNN과 Normalizing flow의 식이 일종의 ODE처럼 생겼다는 점에서 착안하여, neural net을 원하는 함수의 미분값으로 보고 학습한다. 우리에게 잘 알려진 Euler method나 Runge Kutta method를 통해 ODE를 풀고(이게 논문에서 말하는 ODEsolver이다.) Backpropagation을 위해 adjoint sensitivity method를 가져왔다. 우선 Appendix를 잘 정리해두면 이해가 쉬워서 Appendix를 먼저 살펴보자. 우선 insta..
-
(라이님 블로그 대회 알고리즘 따라잡기 24) 2-SAT(Satisfiability Problem)PROGRAMMING/알고리즘 2024. 7. 12. 11:36
라이님 블로그에서 이번에는 2-SAT(2-Satisfiability Problem)을 배워보았다.https://blog.naver.com/PostView.naver?blogId=kks227&logNo=220803009418&parentCategoryNo=&categoryNo=299&viewDate=&isShowPopularPosts=false&from=postList 2-SAT 문제(2-Satisfiability Problem) (수정: 2019-11-16)안녕하세요. 이번에 강의할 내용은 2-SAT(2-Satisfiability)이라는 좀 생소할 수 있는 내용입니다! 이...blog.naver.com 아직도 끝나지 않은 그래프 지옥...★ 코드는 저번 SCC 코드랑 비슷한 방식으로 작성해보았다.#inc..
-
(라이님 블로그 대회 알고리즘 따라잡기 23) 이중 연결 요소(Biconnected Component)카테고리 없음 2024. 7. 11. 10:39
https://blog.naver.com/PostView.naver?blogId=kks227&logNo=220802704686&parentCategoryNo=&categoryNo=299&viewDate=&isShowPopularPosts=false&from=postList 이중 연결 요소(Biconnected Component) (수정: 2019-02-13)안녕하세요. 바로 저번 글에서 유향 그래프에서 적용되는 개념인 SCC에 대해 살펴보았는데, 거의 유사하...blog.naver.com BCC라고도 불리는 이중 연결 요소를 공부할 예정이다.아주 자세히 설명해준 블로그가 있어서 오늘은 라이님 블로그와 함께 아래 티스토리를 참고할 것이다.https://ttl-blog.tistory.com/957?categ..
-
Articulation point(단절점) 구하는 알고리즘PROGRAMMING/알고리즘 2024. 7. 8. 10:17
아래 블로그에서 정말 많은 도움을 받았으며, 자세한 설명은 아래 블로그에 모두 있습니다!!!!자세한 설명은 아래 글 참고https://ttl-blog.tistory.com/956 [알고리즘] 그래프 (3) - 연결 요소(Connected Components)와 단절점(Articulation Point)🧐 Connected Components 그래프 $G$ 의 Connected Component 인 $G'$ 은 다음과 같이 정의됩니다. Connected Component $G'$ of $G$ : Maximal connected subgraph of $G$ ✔️ Maximum과 Maximal의 차이 Maximum : 최대를 의미합니다. Maxittl-blog.tistory.com articulation p..
-
MADE 논문리뷰(Masked Autoencoder for Distribution Estimation)논문 리뷰/Generative Model 2024. 7. 6. 18:06
MAF, IAF 등의 논문을 읽다보면 자주 나오는 MADE 논문에 대해 정리해볼 예정이다. 이 논문의 아이디어는 매우 심플한데, Autoregressive model을 구현하기 위해 sequential한 계산을 하는게 아니라 하나의 마스크를 사용하는 것이다. 개인적으로는 아이디어가 매우 번뜩이는 논문이라고 생각한다(모든 논문이 다 그렇게 보이긴 하지만..) [15' PMLR] MADE(Masked Autoencoder for Distribution Estimation)(Germain et al.)더보기Our method masks the autoencoder’s parameters to respect autoregressive constraints: each input is reconstructed o..