Transformers - The leading edge in Machine Learning from Scratch.

[blabla]

Bom dia a todos nesta linda manhã de chuva,

Ontem estive a ver a entrevista do Andrej Karpathy de 3 H e 40 minutos e ele falou de algo muito interessante, que o que é leading edge em ML não mudou nada em cinco anos, salvo algumas coisas cosméticas. Ora isso é uma oportunidade para aprender algo a fundo transformers, pois isso é uma real mais valia para todas as pessoas que gostam do tema de ML. Pois aumenta a sua compreensão profunda do tema.

Para isso eu compilei os seguintes links:

The Illustrated Transformer
http://jalammar.github.io/illustrated-transformer/

Transformers from scratch
https://peterbloem.nl/blog/transformers

The Annotated Transformer
http://nlp.seas.harvard.edu/2018/04/03/attention.html
 
Pytorch Transformers from Scratch - Attention is all you need




Cumprimentos,
João