Η σειρά άρθρων How To του MIT Technology Review σας βοηθά να φέρετε εις πέρας τις δουλειές σας, αναδεικνύοντας την τεχνολογία που διαμορφώνει το μέλλον.
Η Εποχή της AI στον Υπολογιστή σας
Η νέα εποχή της AI δεν περιορίζεται πλέον στο cloud. Φανταστείτε να έχετε όλη τη δύναμη ενός προηγμένου γλωσσικού μοντέλου (LLM) απευθείας στον υπολογιστή σας.
Για τον Simon Willison, αυτή η ιδέα παίρνει τη μορφή ενός σχεδίου για το τέλος του κόσμου: ένα στικάκι USB, στο οποίο έχει φορτώσει τα αγαπημένα του γλωσσικά μοντέλα ανοιχτού βάρους (open-weight). Πρόκειται για μοντέλα AI που οι δημιουργοί τους τα έχουν διαθέσει δημόσια, επιτρέποντας θεωρητικά τη μεταφόρτωση και εκτέλεσή τους σε τοπικό υλικό (hardware).
Αν ο πολιτισμός καταρρεύσει, ο Willison οραματίζεται να αξιοποιήσει τη γνώση που είναι κωδικοποιημένη στις δισεκατομμύρια παραμέτρους τους.
«Είναι σαν να έχεις μια παράξενη, συμπυκνωμένη, ελαττωματική έκδοση της Wikipedia, ώστε να μπορώ να βοηθήσω στην επανεκκίνηση της κοινωνίας με τη βοήθεια του μικρού μου USB stick», αναφέρει χαρακτηριστικά.
Η Άνοδος των Τοπικών LLM στην Ελλάδα και τον Κόσμο
Δεν χρειάζεται όμως να προετοιμάζεστε για την αποκάλυψη για να θελήσετε να τρέξετε ένα LLM στη δική σας συσκευή. Ο Willison, ο οποίος διατηρεί ένα δημοφιλές blog για την ανάπτυξη λογισμικού και τα τοπικά LLM, έχει πολλούς ομοϊδεάτες. Η κοινότητα r/LocalLLaMA στο Reddit, αφιερωμένη στην εκτέλεση LLMs σε προσωπικό υλικό, μετρά ήδη μισό εκατομμύριο μέλη, με την τάση αυτή να κερδίζει συνεχώς έδαφος και στην Ελλάδα.
Γιατί όμως υπάρχει αυτή η στροφή; Οι λόγοι είναι πολλοί και σημαντικοί:
- Απόλυτη Ιδιωτικότητα: Τα δεδομένα σας παραμένουν στη συσκευή σας, χωρίς να αποστέλλονται σε servers τρίτων.
- Ανεξαρτησία: Απελευθερώνεστε από τον έλεγχο και τους περιορισμούς των μεγάλων εταιρειών AI.
- Πειραματισμός χωρίς Όρια: Μπορείτε να δοκιμάσετε, να τροποποιήσετε και να εξερευνήσετε τις δυνατότητες των μοντέλων ελεύθερα.
Τα τοπικά μοντέλα αποτελούν μια δελεαστική εναλλακτική λύση στο ChatGPT και τα αντίστοιχα διαδικτυακά εργαλεία.
Η Τεχνολογική Εξέλιξη που Άνοιξε τον Δρόμο
Ο κόσμος των τοπικών LLMs παλαιότερα είχε υψηλό εμπόδιο εισόδου. Στις πρώτες μέρες, ήταν αδύνατο να τρέξεις κάτι χρήσιμο χωρίς να επενδύσεις σε πανάκριβες κάρτες γραφικών (GPUs).
Ωστόσο, η τεχνολογική καινοτομία και η έρευνα πέτυχαν μια πραγματική επανάσταση. Οι ερευνητές είχαν τόση επιτυχία στη σμίκρυνση και την επιτάχυνση των μοντέλων που πλέον ο οποιοσδήποτε με ένα σύγχρονο laptop, ή ακόμα και με ένα smartphone, μπορεί να μπει στο παιχνίδι.
«Πριν από μερικά χρόνια, θα έλεγα ότι οι προσωπικοί υπολογιστές δεν είναι αρκετά ισχυροί για να τρέξουν τα καλά μοντέλα. Χρειάζεσαι ένα server rack των 50.000 δολαρίων για να τα λειτουργήσεις», λέει ο Willison. «Και συνεχώς διαψευδόμουν, ξανά και ξανά».
Γιατί να θέλετε να κατεβάσετε το δικό σας LLM
Η ενασχόληση με τα τοπικά μοντέλα απαιτεί λίγο περισσότερη προσπάθεια από, ας πούμε, τ...