collapse

* Posts Recentes

+ LASERs por dropes
[Ontem às 18:13]


Talking Reverse Engineering with an Absolute Legend! por SerraCabo
[13 de Fevereiro de 2025, 09:56]


JBL partybox On-The-Go por jm_araujo
[12 de Fevereiro de 2025, 11:02]


Alguém arranja motores? por brunus
[11 de Fevereiro de 2025, 16:42]


Motoserra Stihl 120C por brunus
[11 de Fevereiro de 2025, 16:29]


Sistema a LASER que será também capaz de matar moscas por brunus
[11 de Fevereiro de 2025, 16:02]


Meu novo robô por josecarlos
[30 de Janeiro de 2025, 18:57]


B-52 Bomber Astro Tracker - Part 2 Power up and gyro-stabilization por jm_araujo
[08 de Janeiro de 2025, 15:23]


Nevadent - Não carrega por almamater
[22 de Novembro de 2024, 21:36]


Classmate Leap T304 não liga por almamater
[19 de Novembro de 2024, 07:13]

Autor Tópico: Transformers - The leading edge in Machine Learning from Scratch.  (Lida 4307 vezes)

0 Membros e 1 Visitante estão a ver este tópico.

Offline blabla

  • Mini Robot
  • *
  • Mensagens: 258
Bom dia a todos nesta linda manhã de chuva,

Ontem estive a ver a entrevista do Andrej Karpathy de 3 H e 40 minutos e ele falou de algo muito interessante, que o que é leading edge em ML não mudou nada em cinco anos, salvo algumas coisas cosméticas. Ora isso é uma oportunidade para aprender algo a fundo transformers, pois isso é uma real mais valia para todas as pessoas que gostam do tema de ML. Pois aumenta a sua compreensão profunda do tema.

Para isso eu compilei os seguintes links:

The Illustrated Transformer
http://jalammar.github.io/illustrated-transformer/

Transformers from scratch
https://peterbloem.nl/blog/transformers

The Annotated Transformer
http://nlp.seas.harvard.edu/2018/04/03/attention.html
 
Pytorch Transformers from Scratch - Attention is all you need




Cumprimentos,
João