LusoRobótica - Robótica em Português
Software => Software e Programação => Tópico iniciado por: blabla em 31 de Outubro de 2022, 07:48
-
Bom dia a todos nesta linda manhã de chuva,
Ontem estive a ver a entrevista do Andrej Karpathy de 3 H e 40 minutos e ele falou de algo muito interessante, que o que é leading edge em ML não mudou nada em cinco anos, salvo algumas coisas cosméticas. Ora isso é uma oportunidade para aprender algo a fundo transformers, pois isso é uma real mais valia para todas as pessoas que gostam do tema de ML. Pois aumenta a sua compreensão profunda do tema.
Para isso eu compilei os seguintes links:
The Illustrated Transformer
http://jalammar.github.io/illustrated-transformer/ (http://jalammar.github.io/illustrated-transformer/)
Transformers from scratch
https://peterbloem.nl/blog/transformers (https://peterbloem.nl/blog/transformers)
The Annotated Transformer
http://nlp.seas.harvard.edu/2018/04/03/attention.html (http://nlp.seas.harvard.edu/2018/04/03/attention.html)
Pytorch Transformers from Scratch - Attention is all you need
https://www.youtube.com/watch?v=U0s0f995w14 (https://www.youtube.com/watch?v=U0s0f995w14)
Cumprimentos,
João