Έκθεμα 5.4
2018GPT και BERT
Η OpenAI και η Google δείχνουν ότι ένα μοντέλο εκπαιδευμένο πρώτα σε τεράστιο όγκο κειμένου μπορεί μετά να προσαρμοστεί σε πολλές εργασίες.
Γιατί βρίσκεται στο μουσείο
Η γλώσσα αντιμετωπίζεται ως πρόβλημα πρόβλεψης. Από τις στατιστικές ακολουθίες του Shannon φτάνουμε στους Transformers και στα μεγάλα γλωσσικά μοντέλα.
Τι στηρίζει το έκθεμα
Πρωτογενείς ερευνητικές δημοσιεύσεις
Τη γενίκευση της προεκπαίδευσης Transformer και τη μετέπειτα προσαρμογή σε πολλές εργασίες.
Κύρια πηγή: Radford et al. (2018), Generative Pre-Training· Devlin et al. (2018), BERT.
Τι χρειάζεται προσοχή: Πρωτογενείς πηγές
Ρώτησε το έκθεμα
Ο μικρός ξεναγός αυτής της σελίδας χρησιμοποιεί μόνο όσα υπάρχουν στον φάκελο του εκθέματος. Αν η ερώτηση ζητά κάτι που δεν τεκμηριώνεται εδώ, δεν θα το συμπληρώσει μόνος του.
Μπορείς να ξεκινήσεις με μία από τις ερωτήσεις που βλέπεις πιο πάνω.