collapse

* Posts Recentes

Amplificador - Rockboard HA 1 In-Ear por almamater
[27 de Março de 2024, 19:13]


O que é isto ? por KammutierSpule
[26 de Março de 2024, 19:35]


Bateria - Portátil por almamater
[25 de Março de 2024, 22:14]


Emulador NES em ESP32 por dropes
[13 de Março de 2024, 21:19]


Escolher Osciloscópio por jm_araujo
[06 de Fevereiro de 2024, 23:07]


TP4056 - Dúvida por dropes
[31 de Janeiro de 2024, 14:13]


Leitura de dados por Porta Serie por jm_araujo
[22 de Janeiro de 2024, 14:00]


Distancia Cabo por jm_araujo
[08 de Janeiro de 2024, 16:30]


Meu novo robô por josecarlos
[06 de Janeiro de 2024, 16:46]


Laser Engraver - Alguém tem? por almamater
[16 de Dezembro de 2023, 14:23]

Autor Tópico: Transformers - The leading edge in Machine Learning from Scratch.  (Lida 1672 vezes)

0 Membros e 1 Visitante estão a ver este tópico.

Offline blabla

  • Mini Robot
  • *
  • Mensagens: 257
Bom dia a todos nesta linda manhã de chuva,

Ontem estive a ver a entrevista do Andrej Karpathy de 3 H e 40 minutos e ele falou de algo muito interessante, que o que é leading edge em ML não mudou nada em cinco anos, salvo algumas coisas cosméticas. Ora isso é uma oportunidade para aprender algo a fundo transformers, pois isso é uma real mais valia para todas as pessoas que gostam do tema de ML. Pois aumenta a sua compreensão profunda do tema.

Para isso eu compilei os seguintes links:

The Illustrated Transformer
http://jalammar.github.io/illustrated-transformer/

Transformers from scratch
https://peterbloem.nl/blog/transformers

The Annotated Transformer
http://nlp.seas.harvard.edu/2018/04/03/attention.html
 
Pytorch Transformers from Scratch - Attention is all you need




Cumprimentos,
João