collapse

* Posts Recentes

Transmissão de energia sem fios por dropes
[Ontem às 16:37]


Carga de corrente eletrónica ZPB30A1 60W por jm_araujo
[18 de Junho de 2024, 18:07]


UPS trovada por KammutierSpule
[11 de Junho de 2024, 18:38]


Odin - A better alternative to C, C++ and maybe Rust. por blabla
[10 de Junho de 2024, 18:59]


Meu novo robô por josecarlos
[10 de Junho de 2024, 12:17]


MINI560 - corrente sem carga? por KammutierSpule
[14 de Maio de 2024, 15:09]


Arame de Estendal por SerraCabo
[11 de Maio de 2024, 14:15]


LLM Crawlers por TigPT
[04 de Maio de 2024, 21:40]


Emulador NES em ESP32 por dropes
[04 de Maio de 2024, 14:48]


Circuito Microfone que funcione por almamater
[27 de Abril de 2024, 17:14]

Autor Tópico: Transformers - The leading edge in Machine Learning from Scratch.  (Lida 2445 vezes)

0 Membros e 2 Visitantes estão a ver este tópico.

Offline blabla

  • Mini Robot
  • *
  • Mensagens: 258
Bom dia a todos nesta linda manhã de chuva,

Ontem estive a ver a entrevista do Andrej Karpathy de 3 H e 40 minutos e ele falou de algo muito interessante, que o que é leading edge em ML não mudou nada em cinco anos, salvo algumas coisas cosméticas. Ora isso é uma oportunidade para aprender algo a fundo transformers, pois isso é uma real mais valia para todas as pessoas que gostam do tema de ML. Pois aumenta a sua compreensão profunda do tema.

Para isso eu compilei os seguintes links:

The Illustrated Transformer
http://jalammar.github.io/illustrated-transformer/

Transformers from scratch
https://peterbloem.nl/blog/transformers

The Annotated Transformer
http://nlp.seas.harvard.edu/2018/04/03/attention.html
 
Pytorch Transformers from Scratch - Attention is all you need




Cumprimentos,
João