neural ode
-
Neural ODE 논문 리뷰 [18' NeurIPS] Neural Ordinary Differential Equation(Chen et al.)논문 리뷰/Generative Model 2024. 7. 15. 20:39
몇 번을 봐도 이해가 어렵던 Neural ODE를 드디어 정리해보겠다.증명이 이해가 안되면 다음 줄로 못 넘어가는 성격인지라 논문의 내용 + Appendix에 초점을 맞춰 정리해보고자 한다. Neural ODE는 RNN과 Normalizing flow의 식이 일종의 ODE처럼 생겼다는 점에서 착안하여, neural net을 원하는 함수의 미분값으로 보고 학습한다. 우리에게 잘 알려진 Euler method나 Runge Kutta method를 통해 ODE를 풀고(이게 논문에서 말하는 ODEsolver이다.) Backpropagation을 위해 adjoint sensitivity method를 가져왔다. 우선 Appendix를 잘 정리해두면 이해가 쉬워서 Appendix를 먼저 살펴보자. 우선 insta..