collapse

* Posts Recentes

(Resolvido) Compro ULN2003 DIP por KammutierSpule
[01 de Dezembro de 2022, 11:58]


DIY - Robot Arm por dropes
[30 de Novembro de 2022, 14:55]


Curiosidade Ferro Soldar por dropes
[22 de Novembro de 2022, 12:17]


Fonte de alimentação +/-15V para tensões de entrada <80Vdc por jm_araujo
[14 de Novembro de 2022, 16:25]


ua796 jurássico por SerraCabo
[08 de Novembro de 2022, 23:55]


Resistência interna de transformador por SerraCabo
[08 de Novembro de 2022, 23:42]


Resistência paralela com bateria primária de Lítio. por jm_araujo
[06 de Novembro de 2022, 18:49]


Precisão de condensadores de origem na China por dropes
[05 de Novembro de 2022, 20:44]


Imagine this kind of development tools for your favourite Programming Language. por blabla
[04 de Novembro de 2022, 22:16]


Ajuda Identificar Resistência por SerraCabo
[02 de Novembro de 2022, 22:27]

Autor Tópico: Transformers - The leading edge in Machine Learning from Scratch.  (Lida 295 vezes)

0 Membros e 1 Visitante estão a ver este tópico.

Offline blabla

  • Mini Robot
  • *
  • Mensagens: 249
Bom dia a todos nesta linda manhã de chuva,

Ontem estive a ver a entrevista do Andrej Karpathy de 3 H e 40 minutos e ele falou de algo muito interessante, que o que é leading edge em ML não mudou nada em cinco anos, salvo algumas coisas cosméticas. Ora isso é uma oportunidade para aprender algo a fundo transformers, pois isso é uma real mais valia para todas as pessoas que gostam do tema de ML. Pois aumenta a sua compreensão profunda do tema.

Para isso eu compilei os seguintes links:

The Illustrated Transformer
http://jalammar.github.io/illustrated-transformer/

Transformers from scratch
https://peterbloem.nl/blog/transformers

The Annotated Transformer
http://nlp.seas.harvard.edu/2018/04/03/attention.html
 
Pytorch Transformers from Scratch - Attention is all you need




Cumprimentos,
João