Έκθεμα 6.3
3Προεκπαίδευση
Το μοντέλο μαθαίνει να προβλέπει το επόμενο token, δισεκατομμύρια φορές, σε χιλιάδες επεξεργαστές. Εδώ αποκτά γλώσσα και γενικές γνώσεις, αλλά δεν ξέρει ακόμα να συνομιλεί.
Γιατί βρίσκεται στο μουσείο
Ένα σύγχρονο γλωσσικό μοντέλο δεν εμφανίζεται έτοιμο. Περνά από δεδομένα, εκπαίδευση, προσαρμογή, αξιολόγηση και τελικά παραγωγή απάντησης.
Τι στηρίζει το έκθεμα
Επιμελητική σύνθεση τεχνικής βιβλιογραφίας
Την εκπαίδευση με πρόβλεψη επόμενου token σε μεγάλα σώματα κειμένου.
Κύρια πηγή: Δημοσιεύσεις για autoregressive language modeling και large-scale pretraining.
Δεν υπάρχει ακόμη άμεσος σύνδεσμος στο μητρώο. Η βιβλιογραφική αναφορά παραμένει διαθέσιμη εδώ.
Τι χρειάζεται προσοχή: Γενικευμένη περιγραφή · όχι όλα τα LLM εκπαιδεύονται με ακριβώς την ίδια διαδικασία
Ρώτησε το έκθεμα
Ο μικρός ξεναγός αυτής της σελίδας χρησιμοποιεί μόνο όσα υπάρχουν στον φάκελο του εκθέματος. Αν η ερώτηση ζητά κάτι που δεν τεκμηριώνεται εδώ, δεν θα το συμπληρώσει μόνος του.
Μπορείς να ξεκινήσεις με μία από τις ερωτήσεις που βλέπεις πιο πάνω.