-
Attention is all you need 논문 리뷰 포스팅 리스트논문 리뷰/Generative Model 2024. 8. 16. 10:27
Diffusion 공부를 하다가 필요할 줄은 몰랐는데... LDM 논문을 읽다가 Transformer에 대해 알아두면 좋을 것 같아 논문을 읽어보았다. 너무 유명한 논문인지라 정리를 정말 잘한 분들이 많아 포스팅 목록으로 대체하고자 한다.
많은 분들의 포스팅을 미리 읽고 읽었더니 훨씬 수월하게 이해가 되었다. (감사합니당)
main reference
[ML 논문 리뷰] Distilling the Knowledge in a Neural Network – Hansu Kim (cpm0722.github.io)
[ML 논문 리뷰] Distilling the Knowledge in a Neural Network
Paper Info
cpm0722.github.io
Reference
[1] https://aistudy9314.tistory.com/63
[논문리뷰] Attention is All you need
Transformer는 최근 들어 자연어 처리와 비전 분야 모두에서 월등한 성능을 보이면서 발전하고 있다. 이러한 Transformer를 처음으로 제안한 논문이 바로 "Attention is all you need"이 되시겠다 ㅎㅎ. 자연
aistudy9314.tistory.com
positional encoding이란 무엇인가
Transformer model을 살펴보면, positional encoding이 적용된다. 다음 그림은 transformer 모델에 대한 구조도 인데, positional encoding을 찾아볼 수 있다. 출처는 https://www.tensorflow.org/tutorials/text/transformer 이다. tra
skyjwoo.tistory.com
[3] https://nlpinkorean.github.io/illustrated-transformer/
The Illustrated Transformer
저번 글에서 다뤘던 attention seq2seq 모델에 이어, attention 을 활용한 또 다른 모델인 Transformer 모델에 대해 얘기해보려 합니다. 2017 NIPS에서 Google이 소개했던 Transformer는 NLP 학계에서 정말 큰 주목을
nlpinkorean.github.io
[4] https://www.blossominkyung.com/deeplearning/transfomer-positional-encoding
트랜스포머(Transformer) 파헤치기—1. Positional Encoding
트랜스포머 Transformer Attention is All You Need Postional Encoding
www.blossominkyung.com
'논문 리뷰 > Generative Model' 카테고리의 다른 글