collapse

* Posts Recentes

protecção equipamentos por dio123
[Ontem às 11:26]


Mais uma reparação - frigorífico Fagor por jm_araujo
[21 de Janeiro de 2023, 10:08]


Desumidificador avariado por almamater
[20 de Janeiro de 2023, 23:20]


Câmara SPI para microcontroladores por SerraCabo
[17 de Janeiro de 2023, 16:18]


Symmetrical soft-start por dropes
[08 de Janeiro de 2023, 16:46]


Compressor sem óleo por senso
[07 de Janeiro de 2023, 19:41]


Filtro para ruido por filjoa
[06 de Janeiro de 2023, 17:58]


Gráfica e Monitor avariados.. por almamater
[04 de Janeiro de 2023, 23:12]


Bom ano novo por TigPT
[01 de Janeiro de 2023, 23:35]


+um LASER simples por dropes
[01 de Janeiro de 2023, 12:49]

Autor Tópico: Transformers - The leading edge in Machine Learning from Scratch.  (Lida 394 vezes)

0 Membros e 1 Visitante estão a ver este tópico.

Offline blabla

  • Mini Robot
  • *
  • Mensagens: 249
Bom dia a todos nesta linda manhã de chuva,

Ontem estive a ver a entrevista do Andrej Karpathy de 3 H e 40 minutos e ele falou de algo muito interessante, que o que é leading edge em ML não mudou nada em cinco anos, salvo algumas coisas cosméticas. Ora isso é uma oportunidade para aprender algo a fundo transformers, pois isso é uma real mais valia para todas as pessoas que gostam do tema de ML. Pois aumenta a sua compreensão profunda do tema.

Para isso eu compilei os seguintes links:

The Illustrated Transformer
http://jalammar.github.io/illustrated-transformer/

Transformers from scratch
https://peterbloem.nl/blog/transformers

The Annotated Transformer
http://nlp.seas.harvard.edu/2018/04/03/attention.html
 
Pytorch Transformers from Scratch - Attention is all you need




Cumprimentos,
João