Chatgpt

[Γάταρος]

τι έχω καταλάβει λάθος; καναδυό φορές που το ρώτησα μου λέει δεν έχει πρόσβαση στο ίντερνετ και ότι ψάχνει σε ό,τι του έχουν φορτώσει σα γενική γνώση μέχρι το 2023

[hellegennes]

Εγώ πάντως να πώ οτι έχω ανακαλέσει λίγο την αρχική μου δυσπιστία στις ικανότητές του Τσατ.

Σαν layer για αναζήτηση τύπου Google είναι παρα πολύ καλό, ιδίως άμα ΞΕΡΕΙΣ τι γυρεύεις, και πιο πολύ ακόμα στον τομέα του προγραμματισμού όπου έχουν ένα κάρο δεδομένα.

Για όλα τα άλλα, θεωρώ ακόμα οτι είναι σούπερ-μούφα.

Όπως έχω πει κι αλλού, είναι στην ουσία μια πιο εξελιγμένη μορφή autocomplete. Αρκετά χρήσιμο για απλοϊκά πράγματα, κυρίως γιατί μπορεί να σου γλυτώσει χρόνο. Δεν είναι ιδιαίτερα καλός αναζητητής όμως, δεν ψάχνει σε βάθος. Δεδομένα που είναι δημοσίως διαθέσιμα δεν μπορεί να τα βρει, σε ανακατευθύνει να τα βρεις μόνος σου. Ακόμα κι αυτά που βρίσκει τα λέει λάθος, ειδικά αν πρόκειται για αριθμούς.

τι έχω καταλάβει λάθος; καναδυό φορές που το ρώτησα μου λέει δεν έχει πρόσβαση στο ίντερνετ και ότι ψάχνει σε ό,τι του έχουν φορτώσει σα γενική γνώση μέχρι το 2023

To chatgpt 4.0 έχει πρόσβαση. Απλά έχει περιορισμένη ημερήσια χρήση.

[Chilloutbuddy]

Εμένα πάντως μου αρέσει σαν ψαχτήρι σε κλασσικά βιβλία που σίγουρα θα έχει τουλάχιστον μια περίληψη στη μνήμη.
Εγκυκλοπαίδειες, επιστήμες, ιστορία, τέτοια πράγματα, και μετά μπορείς να το ρωτήσεις που ακριβώς βρήκε το κάθε τι.

[Yochanan]

τι έχω καταλάβει λάθος; καναδυό φορές που το ρώτησα μου λέει δεν έχει πρόσβαση στο ίντερνετ και ότι ψάχνει σε ό,τι του έχουν φορτώσει σα γενική γνώση μέχρι το 2023

To chatgpt 4.0 έχει πρόσβαση. Απλά έχει περιορισμένη ημερήσια χρήση.

Aυτό. Άλλο το training set (που είναι μέχρι 2023 και όχι μέχρι σήμερα) και άλλο η πρόσβαση στο ιντερνετ. Αν το καλοσκεφτεις λογω του πώς δουλεύει το training δεν μπορεί να ενσωματώνει κάθε μέρα τα κατεβατά που γράφονται στο ίντερνετ - αυτό παίρνει χρόνο. Οπότε έχεις μέχρι το 2023 και τα υπόλοιπα προσβάσιμα μέσω αναζήτησης κανονικά όπως θα έκανες κι εσύ αλλά αυτόματα.

[sharp]

Εγώ πάντως να πώ οτι έχω ανακαλέσει λίγο την αρχική μου δυσπιστία στις ικανότητές του Τσατ.

Σαν layer για αναζήτηση τύπου Google είναι παρα πολύ καλό, ιδίως άμα ΞΕΡΕΙΣ τι γυρεύεις, και πιο πολύ ακόμα στον τομέα του προγραμματισμού όπου έχουν ένα κάρο δεδομένα.

Για όλα τα άλλα, θεωρώ ακόμα οτι είναι σούπερ-μούφα.

Όπως έχω πει κι αλλού, είναι στην ουσία μια πιο εξελιγμένη μορφή autocomplete. Αρκετά χρήσιμο για απλοϊκά πράγματα, κυρίως γιατί μπορεί να σου γλυτώσει χρόνο. Δεν είναι ιδιαίτερα καλός αναζητητής όμως, δεν ψάχνει σε βάθος. Δεδομένα που είναι δημοσίως διαθέσιμα δεν μπορεί να τα βρει, σε ανακατευθύνει να τα βρεις μόνος σου. Ακόμα κι αυτά που βρίσκει τα λέει λάθος, ειδικά αν πρόκειται για αριθμούς.

τι έχω καταλάβει λάθος; καναδυό φορές που το ρώτησα μου λέει δεν έχει πρόσβαση στο ίντερνετ και ότι ψάχνει σε ό,τι του έχουν φορτώσει σα γενική γνώση μέχρι το 2023

Αν πληρώσεις ψάχνει. Και φτιάχνει και ραπόρτο από όσα βρήκε και διάβασε (διαβάζει γρήγορα ο πστς)

[Yochanan]

Tώρα ψάχνει και το δωρεάν. Δε χρειάζεται να πλερώ.

[Γάταρος]

Συμφωνεί και το GPT: Οι κομμουνιστές είναι προδότες

[Imperium]

Το πρώτο ΓΤΠ όντως μόνο με δεδομένα μέχρι το '23 είχε φορτωθεί.
Τώρα έχουν αλλάξει τα πράγματα, αλλά δεν γνωρίζω κατα πόσο, πχ, το ΓΤΠ4 έχει ενημερωθεί.

[Imperium]

Εγώ πάντως να πώ οτι έχω ανακαλέσει λίγο την αρχική μου δυσπιστία στις ικανότητές του Τσατ.

Σαν layer για αναζήτηση τύπου Google είναι παρα πολύ καλό, ιδίως άμα ΞΕΡΕΙΣ τι γυρεύεις, και πιο πολύ ακόμα στον τομέα του προγραμματισμού όπου έχουν ένα κάρο δεδομένα.

Για όλα τα άλλα, θεωρώ ακόμα οτι είναι σούπερ-μούφα.

Όπως έχω πει κι αλλού, είναι στην ουσία μια πιο εξελιγμένη μορφή autocomplete. Αρκετά χρήσιμο για απλοϊκά πράγματα, κυρίως γιατί μπορεί να σου γλυτώσει χρόνο. Δεν είναι ιδιαίτερα καλός αναζητητής όμως, δεν ψάχνει σε βάθος. Δεδομένα που είναι δημοσίως διαθέσιμα δεν μπορεί να τα βρει, σε ανακατευθύνει να τα βρεις μόνος σου. Ακόμα κι αυτά που βρίσκει τα λέει λάθος, ειδικά αν πρόκειται για αριθμούς.

Όντως, autocomplete on steroids είναι, αλλά αν αυτό που ψάχνεις βρίσκεται σε εγχειρίδιο που έχει "διαβάσει", τότε είναι ο,τι πρέπει!

Η "μαγεία" του βρίσκεται στον αλγοριθμο τρανσφορμερ, που του εστιαζει την "προσοχή" ώστε να καταλαβαίνει και να διατηρεί το context της ερώτησης. Πολύ δυνατό.

Ακόμα δεν έχω αξιωθεί να διαβάσω το γμμν πεηπερ του '17, το έχει διαβάσει κανείς εδώ;

[Stalker]

Σαν layer για αναζήτηση τύπου Google είναι παρα πολύ καλό, ιδίως άμα ΞΕΡΕΙΣ τι γυρεύεις, και πιο πολύ ακόμα στον τομέα του προγραμματισμού όπου έχουν ένα κάρο δεδομένα.

Για όλα τα άλλα, θεωρώ ακόμα οτι είναι σούπερ-μούφα.

Τα πολλά δεδομένα γίνονται θέμα όταν δεν υπάρχει κανένας τρόπος αξιολόγησης πάντως, όπως όταν προσπαθείς να βγάλεις άκρη επειδή σου έχει βγάλει έναν αχταρμά από μακροσκελή workarounds από το 2018 για κάτι που τώρα είναι μια παράμετρος υπόθεση στην ίδια βιβλιοθήκη, αλλά για το LLM το σήμα από όταν γκρινιάζανε όλοι που έλειπε το feature είναι πολύ πιο δυνατό από μετά που υπήρχε.

Όντως, autocomplete on steroids είναι, αλλά αν αυτό που ψάχνεις βρίσκεται σε εγχειρίδιο που έχει "διαβάσει", τότε είναι ο,τι πρέπει!

Η "μαγεία" του βρίσκεται στον αλγοριθμο τρανσφορμερ, που του εστιαζει την "προσοχή" ώστε να καταλαβαίνει και να διατηρεί το context της ερώτησης. Πολύ δυνατό.

Πολύ βασικό επίσης ότι επιτρέπει παραλληλισμό στην εκπαίδευση, που είναι και ο μόνος λόγος που είναι επιτεύξιμες ακρότητες τύπου ας εκπαιδεύσουμε ένα τιτανοτεράστιο νευρωνικό δίκτυο με όλο το κείμενο του ιντερνετ και που η NVIDIA του 2024 έχει μεγαλύτερο market cap από τον θεό.

Ακόμα δεν έχω αξιωθεί να διαβάσω το γμμν πεηπερ του '17, το έχει διαβάσει κανείς εδώ;

Αν θέλεις την λογική των transformers καλύτερα να δεις κανένα σχετικό video να το πηγαίνει βήμα βήμα (ο statquest είναι καλός αν δεν σε ενοχλεί η χαριτωμενιά), στο paper οι 7 από τις 17 σελίδες είναι παραπομπές, ακόμα και αν έχεις καλή τεχνική εικόνα για LSTM και seq2seq και embeddings κ.λπ. κ.λπ. πάλι καταλήγεις να googlάρεις κάθε τρεις λέξεις

Επίσης το CGPT νομίζω είναι με decoder-only transformers που είναι παραλλαγή από το paper.

[Imperium]

@Stalker
Πολύ καλες απαντήσεις σε όλα, μερσι, δεν θα σχολιάσω επι μέρους.

Όσο για το point περι παραλληλισμού και μαρκετ καπ της NVIDIA, είναι να απορείς πώς δεν έχουν μπεί και άλλοι στο παιχνίδι πιο δυνατά. Δεν είναι δα τεχνολογία αποκλειστική της NVIDIA, ξέρουν κι άλλοι να σχεδιαζουν τσιπς.

[klg]

Όσο για το point περι παραλληλισμού και μαρκετ καπ της NVIDIA, είναι να απορείς πώς δεν έχουν μπεί και άλλοι στο παιχνίδι πιο δυνατά. Δεν είναι δα τεχνολογία αποκλειστική της NVIDIA, ξέρουν κι άλλοι να σχεδιαζουν τσιπς.

Είναι αρκετά obvious άμα καταλάβεις το supply chain της φάσης. Τα chips τα φτιάχνει η TSMC και είμαι σίγουρος ότι η nvidia έχει ήδη προαγοράσει χρόνια παραγωγής, δεν νομίζω ότι υπάρχει περίπτωση άλλο fabless firm να καταφέρει άμεσα να βγάλει παραγωγή από την TSMC.

[Imperium]

Είναι αρκετά obvious άμα καταλάβεις το supply chain της φάσης. Τα chips τα φτιάχνει η TSMC και είμαι σίγουρος ότι η nvidia έχει ήδη προαγοράσει χρόνια παραγωγής, δεν νομίζω ότι υπάρχει περίπτωση άλλο fabless firm να καταφέρει άμεσα να βγάλει παραγωγή από την TSMC.

Γίνεται αυτό;

Μήπως το μετανοιώσουν τώρα με την αλλαγή του landscape?

Πάντως επίσης απορρώ πως ένα κράτος σαν τις ΗΠΑ, ή ακόμα και Ντόητσλαντ ή ψωροκώσταινα Αγγλία δεν έχουν φτιάξει δικό τους fab. Αυτή η φάση με την TSMC έχει παλιώσει κομματάκι. Εξ άλλου, απ ο,τι ξέρω, φακοί καθφρέτες είναι Γερμανικοί, Zeiss νομιζω. H Jena δεσποζει του Δυτικού κόσμου ακόμα

[klg]

Είναι αρκετά obvious άμα καταλάβεις το supply chain της φάσης. Τα chips τα φτιάχνει η TSMC και είμαι σίγουρος ότι η nvidia έχει ήδη προαγοράσει χρόνια παραγωγής, δεν νομίζω ότι υπάρχει περίπτωση άλλο fabless firm να καταφέρει άμεσα να βγάλει παραγωγή από την TSMC.

Γίνεται αυτό;

Μήπως το μετανοιώσουν τώρα με την αλλαγή του landscape?

Ναι γίνεται. Και αυτό να ξέρεις είναι ο λόγος που τα δύο προηγούμενα χρόνια αργούσαν τα αυτόκινητα. Λόγω του covid τα σαϊνια είχαν ακυρώσει παραγγελίες γιατί πιστεύαν ότι θα πέφταν οι πωλήσεις, οπότε οι TMSC έκανε allocate το production σε άλλους πελάτες. Δεν υπήρχε shortage, το 2021 η παραγωγή chips στον κόσμο ήταν η μεγαλύτερη όλων των εποχών, απλώς οι μαλακές πήγαν πολύ πίσω στα orders.

Πάντως επίσης απορρώ πως ένα κράτος σαν τις ΗΠΑ, ή ακόμα και Ντόητσλαντ ή ψωροκώσταινα Αγγλία δεν έχουν φτιάξει δικό τους fab. Αυτή η φάση με την TSMC έχει παλιώσει κομματάκι. Εξ άλλου, απ ο,τι ξέρω, φακοί καθφρέτες είναι Γερμανικοί, Zeiss νομιζω. H Jena δεσποζει του Δυτικού κόσμου ακόμα

Το να φτιάξεις fab είναι τεράστιο capital investment, στα περίπου 30 δις αυτή τη στιγμή και γενικά πρέπει συνέχεια να προχώρας τα processes για να κάνεις keep up. ΜΙλάω πάντα για τα πιο advanced τσιπάκια έτσι, που φτιάχνει πχ η TMSC με 2nm nodes. πχ. Δεν είναι καθόλου εύκολο να στήσεις κάτι τέτοιο. Όλο αυτό το concept απαιτεί και σοβαρό support από το state, η TSMC υπάρχει γιατί έκανε σοβαρό backing η κυβέρνηση της Taiwan.

Η μόνη εταιρεία στον πλανήτη πουλάει μηχανήματα για UV lithography, η ASML, όντως χρησιμοποιεί Zeiss φακούς, αλλά σκέψου είναι μία στον πλανήτη για συγκεκριμένους λόγους. Δεν είναι καθόλου εύκολο να κάνεις replicate αυτή την τεχνολογία, το κάθε μηχάνημα έχει 300.000+ parts που κάνουν source και assembly στην ASML, το καθένα κοστίζει 100μύρια και όταν το στήνουν στο foundry, έχουν on-site engineers (της ASML) για να το νταντεύουν.

Η Intel προσπαθεί να κάνει σοβαρά foundries στην Αμερική (subsidized από το federal government φυσικά), θα δούμε πώς θα πάει αυτό. Άμα πάει καλά, θα αλλάξει το landscape αρκετά πιστεύω.

[sharp]

Πάντως ο Buffet πούλησε όλες τις μετοχές της TSMC που είχε. Κάτι ετοιμάζεται;