Έκθεμα 5.3
2017Ο Transformer
Ερευνητές της Google δημοσιεύουν το «Attention Is All You Need». Ο μηχανισμός προσοχής επιτρέπει στο μοντέλο να συνδέει κάθε λέξη με όλες τις υπόλοιπες της φράσης.
Γιατί βρίσκεται στο μουσείο
Η γλώσσα αντιμετωπίζεται ως πρόβλημα πρόβλεψης. Από τις στατιστικές ακολουθίες του Shannon φτάνουμε στους Transformers και στα μεγάλα γλωσσικά μοντέλα.
Τι στηρίζει το έκθεμα
Πρωτογενής συνεδριακή δημοσίευση
Την αρχιτεκτονική Transformer και τη χρήση self-attention.
Κύρια πηγή: Vaswani, A. et al. (2017), “Attention Is All You Need”, NeurIPS.
Τι χρειάζεται προσοχή: Πρωτογενής πηγή
Ρώτησε το έκθεμα
Ο μικρός ξεναγός αυτής της σελίδας χρησιμοποιεί μόνο όσα υπάρχουν στον φάκελο του εκθέματος. Αν η ερώτηση ζητά κάτι που δεν τεκμηριώνεται εδώ, δεν θα το συμπληρώσει μόνος του.
Μπορείς να ξεκινήσεις με μία από τις ερωτήσεις που βλέπεις πιο πάνω.