Κρίση Αξιολόγησης AI: Γιατί τα Σκορ δεν Δείχνουν το Καλύτερο Μοντέλο;
Είναι τα μοντέλα AI τόσο καλά όσο λένε τα σκορ; Ανακαλύψτε την «κρίση αξιολόγησης» και γιατί τα benchmarks παραπλανούν για την πραγματική απόδοση του AI.
Minas Marios Kontis
Είναι τα μοντέλα AI τόσο καλά όσο λένε τα σκορ; Ανακαλύψτε την «κρίση αξιολόγησης» και γιατί τα benchmarks παραπλανούν για την πραγματική απόδοση του AI.
Ως δημοσιογράφος τεχνολογίας, δέχομαι συχνά ερωτήσεις για την πραγματική απόδοση των νέων AI μοντέλων. «Είναι το DeepSeek πραγματικά καλύτερο από το ChatGPT;» ή «Το μοντέλο της Anthropic είναι καλό;». Αν δεν έχω όρεξη να το μετατρέψω σε ωριαίο σεμινάριο, συνήθως δίνω τη διπλωματική απάντηση: «Είναι και τα δύο αξιόλογα, το καθένα με τον δικό του τρόπο».
Η αλήθεια είναι ότι η αξιολόγηση των μοντέλων AI έχει εξελιχθεί σε μια τεράστια πρόκληση. Οι περισσότεροι που ρωτούν δεν ορίζουν το «καλό» με κάποιον ακριβή τρόπο, και αυτό είναι απόλυτα λογικό. Είναι ανθρώπινο να θέλουμε να βγάλουμε νόημα από κάτι νέο, μια τεχνολογία φαινομενικά πανίσχυρη.
Αλλά αυτή η απλή ερώτηση —Είναι καλό αυτό το μοντέλο;— είναι στην πραγματικότητα απλώς η καθημερινή εκδοχή ενός πολύ πιο περίπλοκου τεχνικού προβλήματος που αφορά το μέλλον της AI.
Μέχρι τώρα, η κυρίαρχη μέθοδος για την αξιολόγηση των επιδόσεων της ΑΙ είναι τα κριτήρια αξιολόγησης (benchmarks). Αυτά δίνουν στα μοντέλα ένα προκαθορισμένο σύνολο ερωτήσεων και τα βαθμολογούν ανάλογα με το πόσες απαντούν σωστά. Όμως, όπως ακριβώς συμβαίνει με τυποποιημένες εξετάσεις όπως το SAT (ένα τεστ εισαγωγής που χρησιμοποιείται από πολλά αμερικανικά κολέγια), αυτά τα benchmarks δεν αντικατοπτρίζουν πάντα βαθύτερες ικανότητες.
Τον τελευταίο καιρό, μοιάζει σαν να κυκλοφορεί ένα νέο μοντέλο AI κάθε εβδομάδα. Κάθε φορά που μια εταιρεία λανσάρει ένα, το συνοδεύει με νέα σκορ που δείχνουν ότι η δική της καινοτομία ξεπερνά τις δυνατότητες των προκατόχων του. Στα χαρτιά, η εξέλιξη φαίνεται ραγδαία και όλα γίνονται συνεχώς καλύτερα.
Στην πράξη, όμως, τα πράγματα δεν είναι τόσο απλά. Όπως ακριβώς η εντατική προετοιμασία για τις εξετάσεις SAT μπορεί να ανεβάσει το σκορ κάποιου χωρίς να βελτιώσει την κριτική του σκέψη, έτσι και τα μοντέλα μπορούν να εκπαιδευτούν για να βελτιστοποιούν τα αποτελέσματα στα benchmarks χωρίς να γίνονται πραγματικά πιο έξυπνα.
Αυτό το φαινόμενο, όπως εξήγησε στο άρθρο του ο Russell Brandon, έχει οδηγήσει σε αυτό που ο Andrej Karpathy, βετεράνος της OpenAI και της Tesla AI, ονόμασε πρόσφατα «κρίση αξιολόγησης». Ουσιαστικά, ο πίνακας αποτελεσμάτων μας για την τεχνητή νοημοσύνη δεν αντικατοπτρίζει πλέον αυτό που πραγματικά θέλουμε να μετρήσουμε.
Τα προηγμένα αυτά συστήματα έχουν χάσει την αξιοπιστία τους για μερικούς βασικούς λόγους:
Για τους χρήστες στην Ελλάδα και την Ευρώπη, αυτό σημαίνει ότι η επιλογή του κατάλληλου εργαλείου AI απαιτεί δοκιμή και κριτική σκέψη, πέρα από τους εντυπωσιακούς αριθμούς που παρουσιάζουν οι εταιρείες.
