Μια νέα μελέτη της OpenAI επιχειρεί να απαντήσει στο ερώτημα γιατί ακόμη και τα πιο προηγμένα γλωσσικά μοντέλα, όπως το GPT-5 και το ChatGPT, εξακολουθούν να παράγουν ψευδαισθήσεις — δηλαδή «εύλογες αλλά ψευδείς» απαντήσεις.

Σύμφωνα με την ομάδα, το πρόβλημα δεν βρίσκεται μόνο στην προεκπαίδευση, όπου τα μοντέλα μαθαίνουν να προβλέπουν την επόμενη λέξη χωρίς να ξεχωρίζουν τι είναι αληθές και τι όχι, αλλά και στον τρόπο που αξιολογούνται. Σήμερα, η αξιολόγηση βασίζεται αποκλειστικά στην ακρίβεια. Αυτό σημαίνει ότι τα μοντέλα προτιμούν να «μαντέψουν» μια απάντηση, αντί να δηλώσουν «Δεν ξέρω».

Οι ερευνητές δίνουν χαρακτηριστικά παραδείγματα: όταν ζητήθηκε από ένα chatbot ο τίτλος της διδακτορικής διατριβής του Adam Tauman Kalai ή η ημερομηνία γέννησής του, το σύστημα έδωσε πολλαπλές, αλλά όλες λανθασμένες απαντήσεις.

Η πρόταση της OpenAI είναι να αλλάξει η λογική της αξιολόγησης:

• Οι «σίγουρες λάθος» απαντήσεις να τιμωρούνται περισσότερο από την αβεβαιότητα.
• Να δίνεται μερική πίστωση όταν το μοντέλο δηλώνει σωστά «Δεν ξέρω».

Με αυτόν τον τρόπο, τα κίνητρα των μοντέλων θα μετακινηθούν από την τυφλή εικασία προς την πιο αξιόπιστη και ειλικρινή απάντηση. «Αν οι πίνακες αποτελεσμάτων συνεχίσουν να ανταμείβουν το μάντεμα, τα μοντέλα θα συνεχίσουν να μαντεύουν», τονίζουν οι ερευνητές.

Με πληροφορίες από techcrunch.com