Έκθεμα 5.5
2020GPT-3
Με 175 δισεκατομμύρια παραμέτρους, το μοντέλο γράφει κείμενα, μεταφράζει και απαντά, συχνά με λίγα μόνο παραδείγματα.
Γιατί βρίσκεται στο μουσείο
Η γλώσσα αντιμετωπίζεται ως πρόβλημα πρόβλεψης. Από τις στατιστικές ακολουθίες του Shannon φτάνουμε στους Transformers και στα μεγάλα γλωσσικά μοντέλα.
Τι στηρίζει το έκθεμα
Πρωτογενής συνεδριακή δημοσίευση
Το GPT-3 με 175 δισ. παραμέτρους και τη few-shot συμπεριφορά του.
Κύρια πηγή: Brown, T. et al. (2020), “Language Models are Few-Shot Learners”, NeurIPS 33.
Τι χρειάζεται προσοχή: Πρωτογενής πηγή
Ρώτησε το έκθεμα
Ο μικρός ξεναγός αυτής της σελίδας χρησιμοποιεί μόνο όσα υπάρχουν στον φάκελο του εκθέματος. Αν η ερώτηση ζητά κάτι που δεν τεκμηριώνεται εδώ, δεν θα το συμπληρώσει μόνος του.
Μπορείς να ξεκινήσεις με μία από τις ερωτήσεις που βλέπεις πιο πάνω.