Coding is DEAD!

[sharp]

Γιατί του γράφετε στα Αγγλικά;

[Dwarven Blacksmith]

Γιατί του γράφετε στα Αγγλικά;

Στα Ελληνικά του έγραψε. Το μοντέλο σκέφτηκε στα αγγλικά και απάντησε στα Ελληνικά. Τους είναι πιο εύκολο να σκέφτονται στα Αγγλικά ή τα Κινέζικα όπου έχουν εκπαιδευτεί περισσότερο.

[foscilis]

Και τα άλλα chain of thought models (o1 δηλαδή για την ώρα) έτσι δουλεύουν νομίζω απλά δεν το δείχνουν. Αυτό έχει πολύ πλάκα που τα δείχνει όλα.

Πριν 6 μήνες αυτό γινόταν χρησιμοποιώντας το LLM σαν "κινητηρα" με ένα agent framework όπως το REACT, το οποίο εμπλουτιζοντας το prompt έκανε διάλογο με το LLM παρόμοιο με τον "εσωτερικό μονολογο" που παρέθεσα, ώστε να το καθοδηγήσει στη λύση του προβλήματος.

Δλδ η ερώτηση θα γινόταν κάτι σαν "πρέπει να βρεις μια απάντηση στην ακόλουθη ερώτηση, ξέροντας (λιστα παραδοχων) και χρησιμοποιώντας (λιστα της μορφης τάδε εργαλείο* που κάνει αυτο).

Πριν από κάθε βήμα να μου λες γιατί το πραγματοποιεις και τι ακριβώς θα κάνεις, καθώς και τη μέχρι τώρα γνώση σου.

Όταν ξέρεις την απάντηση, πες ότι δε χρειάζεται να γίνει κάτι άλλο μαζί με την απαντηση

Να η ερώτηση:

What are the days of the week in English*

Το δοκίμασα την προηγούμενη εβδομάδα με ένα T5 mini (και πολυ απλουστερα προβληματα) και παρατήρησα τα εξης:
1) είναι πάρα πολύ αργό γιατί η μια ερωταπαντηση που φαινεται επιφανειακά γίνεται πολλές στο παρασκήνιο.
2) δεν πάει πιο πέρα από 2-3 βήματα και 1-2 γιατί όλος ο διάλογος μαζί με τα ενδιάμεσα αποτελέσματα πρέπει να χωράει στο κοντεξτ που σημαίνει μετα από λίγο ξεχνιέται τι ακριβώς θέλαμε να κανουμε εκτός αν χρησιμοποιείς πληρωμένο μοντέλο με τερατώδες context, fine tuned για αυτο το πράγμα.

Τα reasoning μοντελα ενσωματωνουν αυτή τη λογικη μέσα στο μοντέλο. Δλδ έχουν κατά κάποιο τροπο εσωτερικό μονόλογο αντί να βασίζονται σε διάλογο, που αποδεικνύεται δυνατό χαρτί.

Αλλά το R1 καινοτομεί με την αρχιτεκτονική (καμία δωδεκάδα ειδικευμένα υπομοντελα που συζητούν μεταξύ τους) και με τον τρόπο που εκπαιδεύτηκε, χρησιμοποιώντας διαλόγους από το R0. Επίσης είναι τρομαχτικά βελτιστοποιημενο. Αυτό είναι το βασικό πρόβλημα των μοντέλων της OpenAI, έχουν σχεδιαστεί με την υπόθεση ότι υπάρχουν απεριόριστες GPU. Δεν ασχολουνται να κάνουν λιγότερο λαίμαργα τα μοντέλα τους γιατί το business model βασίζεται στο να μη μπορείς να τα τρέξεις τοπικά.



*πχ ψαχτηρι

[Dwarven Blacksmith]

Εγώ όταν μου στέλνει

[foscilis]

Γιατί του γράφετε στα Αγγλικά;

Γιατί κάθε γλώσσα έχει διαφορετικό υλικό online, πράγμα που αντανακλάται στις επιδόσεις του μοντέλου.

Πχ θα το ρώταγα στα ελληνικα "μανουλιτσες πείτε, αν κάνω σεξακι με τον Ερμή στο Ζυγο το μπεμπακι θα βγει αγορουλινι;"

[sharp]

Γιατί του γράφετε στα Αγγλικά;

Γιατί κάθε γλώσσα έχει διαφορετικό υλικό online, πράγμα που αντανακλάται στις επιδόσεις του μοντέλου.

Πχ θα το ρώταγα στα ελληνικα "μανουλιτσες πείτε, αν κάνω σεξακι με τον Ερμή στο Ζυγο το μπεμπακι θα βγει αγορουλινι;"

Όχι, αλλά αν του έγραφες "ποιες είναι οι ημέρες της εβδομάδας στα Αγγλικά", θα σου απαντούσε διαφορετικά;

[foscilis]

Αυτή κυριολεκτικά είναι μια σειρά από ράντομ παραγράφους που έχουν μηδενική σχέση με την ερώτηση. Αυτό είναι συλλογισμός;

Όχι μόνο έχουν σχέση όχι μόνο δεν είναι τυχαίες αλλά στατιστικά συσχετισμενες με το input, αλλά αν είχες ασχοληθεί με κλασική τεχνητή νοημοσύνη θα ήξερες ότι όντως είναι καπως έτσι ο συλλογισμος και μάλιστα πριν 30 χρόνια το ότι είναι έτσι ο συλλογισμος (δλδ δεν είναι φορμαλιστικη λογική επαγωγη συνεπάγεται αλλα μια διανοητικη διαδικασια που μπλεκει έννοιες επιθυμίες, σχέσεις μεταξύ τους σε ν επιπεδα, theory of mind για αυτον που σου διατυπωνει το ερωτημα και ενδιαμεσα συμπερασματα) παρουσιαζοταν ως επιχείρημα για το ότι δεν μπορεί να τον κάνει μηχάνημα.

Τη φορμαλιστικη λογική επαγωγή την είχαν λύσει ήδη από τον 19ο αιωνα θεωρητικα και από τη δεκαετια του 60 προγραμματιστικα.

[foscilis]

Γιατί του γράφετε στα Αγγλικά;

Γιατί κάθε γλώσσα έχει διαφορετικό υλικό online, πράγμα που αντανακλάται στις επιδόσεις του μοντέλου.

Πχ θα το ρώταγα στα ελληνικα "μανουλιτσες πείτε, αν κάνω σεξακι με τον Ερμή στο Ζυγο το μπεμπακι θα βγει αγορουλινι;"

Όχι, αλλά αν του έγραφες "ποιες είναι οι ημέρες της εβδομάδας στα Αγγλικά", θα σου απαντούσε διαφορετικά;

Δε θα ήταν αμεσα συγκρίσιμο με το καλοκαίρι που έκανα την ίδια ερωτηση στο llama. Και πιθανότατα στη γενική περίπτωση οντως δε θα ήταν τόσο καλό.

Τον Οκτώβρη για να ψαρωσω τη μάνα μου ρώτησα το πληρωμένο ChatGPT ποιοι είναι οι νομοί της Ελλάδας και άρχισε να μου λέει Αττική, Εύβοια, Αγρίνιο, Δάφνη, Λέρος...

Όταν μας ενδιαφέρει το cutting edge δε ρωτάμε ελληνικα.

[hellegennes]

Αυτή κυριολεκτικά είναι μια σειρά από ράντομ παραγράφους που έχουν μηδενική σχέση με την ερώτηση. Αυτό είναι συλλογισμός;

Όχι μόνο έχουν σχέση όχι μόνο δεν είναι τυχαίες αλλά στατιστικά συσχετισμενες με το input, αλλά αν είχες ασχοληθεί με κλασική τεχνητή νοημοσύνη θα ήξερες ότι όντως είναι καπως έτσι ο συλλογισμος και μάλιστα πριν 30 χρόνια το ότι είναι έτσι ο συλλογισμος (δλδ δεν είναι φορμαλιστικη λογική επαγωγη συνεπάγεται αλλα μια διανοητικη διαδικασια που μπλεκει έννοιες επιθυμίες, σχέσεις μεταξύ τους σε ν επιπεδα, theory of mind για αυτον που σου διατυπωνει το ερωτημα και ενδιαμεσα συμπερασματα) παρουσιαζοταν ως επιχείρημα για το ότι δεν μπορεί να τον κάνει μηχάνημα.

Τη φορμαλιστικη λογική επαγωγή την είχαν λύσει ήδη από τον 19ο αιωνα θεωρητικα και από τη δεκαετια του 60 προγραμματιστικα.

Ότι υπάρχει στατιστική συσχέτιση το καταλαβαίνω, άλλωστε απ' αυτό προκύπτει το τελικό αποτέλεσμα. Αυτό που λέω είναι ότι αυτές οι προτάσεις δεν βγάζουν κανένα νόημα σε πραγματική γλώσσα και δεν είναι αληθινός συλλογισμός με τον τρόπο που εννοούμε τον ανθρώπινο συλλογισμό. Επίτευγμα είναι, αλλά δεν είναι το ίδιο πράγμα.

[ΣΑΤΑΝΙΚΟΣ ΕΓΚΕΦΑΛΟΣ]

[Dwarven Blacksmith]

Έχουμε τραμπικο chain of thought, αδειάζω το γραφείο μου

[ΣΑΤΑΝΙΚΟΣ ΕΓΚΕΦΑΛΟΣ]

[sharp]

ε δεν θα υπαρχει αυτο που λες, απο το μυαλό σου θα το εβγαλες. Το deepseek ή εσένα θα εμπιστευτώ νομίζεις;

Τρέχω το "μικρομεσαίο" τους R1-Distill-Qwen-1.5B-Q6_K, δλδ το μικρότερο δυνατό που (σύμφωνα με τους ίδιους) υπάρχει κάποια μείωση της ποιότητας αλλά ανεπαίσθητη. Χρησιμοποιώ llama.cpp και Intel One API σε Intel Iris Xe.

Είναι πάρα πολύ καλό, βασικά εκπληκτικά καλό για 1.4GB μοντέλο και σε Intel.

Ερώτηση: "What are the days of the week in English".

Σκεπτικό: (σου βγάζει πάντα και το σκεπτικό του)

Spoiler

Okay, so I need to figure out the days of the week in English. I'm a bit new to this, so I'll start by thinking about what I know. I know that a week has seven days, and each day is named with a specific word. Let me try to list them out.

First, I think about when I wake up in the morning. That's usually Monday. Then, going to school is Tuesday. I've heard that Wednesday is when people get their lunch. Thursday would be when people have their dinner, right? So, Thursday is Thursday. Then, Friday is when you go back to school after lunch. That makes sense because after school, you'd go home and come back for Friday.

After Friday, the next day would be Saturday. People have their weekend off. So, Saturday is Saturday. The last day of the week before Sunday is Sunday, so that's Sunday. I think that's all of them.

Wait, let me double-check. Monday, Tuesday, Wednesday, Thursday, Friday, Saturday, Sunday. That adds up to seven days. I don't think I'm missing any or adding any extra. Yeah, that seems right. I don't think there are any other days beyond Sunday, and they all have standard names. I don't think I have to worry about any tricky days or anything. It's just a straightforward list.

I wonder if I've heard any names mixed up. Like, sometimes people confuse Saturday with something else, but I don't think so. I've heard people refer to Saturday as the weekend, but that's just a term for the days themselves. So, yeah, each day is clearly defined with a specific name in English.

Απάντηση:

The seven days of the week in English are as follows:

1. **Monday** - The first day of the week.
2. **Tuesday** - The second day of the week.
3. **Wednesday** - The third day of the week.
4. **Thursday** - The fourth day of the week.
5. **Friday** - The fifth day of the week.
6. **Saturday** - The sixth day of the week.
7. **Sunday** - The seventh day of the week.

These names are distinct and commonly used, with each day clearly separated from the others.

Η τελευταία πρόταση είναι προφανώς λίγο κουκουρούκου, αλλά το σκεπτικό ξεκαθαρίζει από πού του ήρθε. Είναι όντως κάτι πιο κοντινό σε "τεχνητή νοημοσύνη" γιατί κάνει συλλογισμούς με βάση τις γνώσεις του, ή τουλάχιστον συμπεριφέρεται περισσότερο έτσι απ' ό,τι τα κλασικά LLM. Το θεωρώ συγκρίσιμο "κβαντικό άλμα" με το paper για τους transformers ή με το GPT-3.

Έγραψα την ίδια ερώτηση στο deepseek-llm-67b-chat.Q8_0.gguf και μου έδωσε την απάντησηχωρίς επεξήγηση:
The days of the week in English are: Sunday, Monday, Tuesday, Wednesday, Thursday, Friday, and Saturday.

Χρειάζεται να κάνω κάτι παραπάνω για να μου γράψει το σκεπτικό του;

Έγραψε σε πάρα πολύ αργό χρόνο με δέσμευση 68γίγα μνήμης, ενώ το Meta-Llama-3-8B-Instruct.Q8_0.gguf θέλει μόνο 9 και τρέχει αργά αλλά σε ανεκτή ταχύτητα.

[Dwarven Blacksmith]

Ποιά έκδοση είναι αυτή, μήπως είναι το v1; Εδώ μιλάμε για το r1 που πατάει πάνω στο v3.

[sharp]

Ποιά έκδοση είναι αυτή, μήπως είναι το v1; Εδώ μιλάμε για το r1 που πατάει πάνω στο v3.

Είχα παλιότερο LM-Studio κι έβγαζε σφάλμα και φαίνεται κατά λάθος φόρτωσα ένα παλιό. Έβαλα το τελευταίο και Ο.Κ. Θενκς.

Και ταχύτατο.