pdf scraping

[wooded glade]

wooded τον αυγολέμονο τον ξέρεις;

Όχι αν και μπορεί να τον έχω δει, εκείνα τα χρόνια.
Θυμήθηκα έναν παλιό φίλο που μίλαγε σαν τον αυγολέμονο και τον πήρα στο τηλέφωνο όταν βγήκε το πρώτο video του αυγολέμονου στο youtube και του λέω "εσύ είσαι ρε ο αυγολέμονος ;". Αλλά δεν ήταν - μου είπε όμως ότι αυτός τον ήξερε.

[wooded glade]

Είναι παγίδα Γουντ, μη τσιμπάς.

Θα μου κάνουν τα ΙΙΙ, ΙΙ.5 οι παγιδευτές.

[nick]

Κανε μια upload εδω.
https://www.pdftron.com/pdf-tools/article-extraction/

Ε τι ; Αυτό pdf μου ξανάβγαλε (μιά σελίδα από τις 16).

Εχει ενα εικονακι search. Γραψε η λεξη που ψαχνεις να δεις αν τη βρίσκει.
Εψαξα Ερμινα και το βρηκε.

Αν την βρισκει to online demo τοτε πρεπει να κατεβασεις το library και να παρσαρεις ολο το κειμενο


EDIT
Αυτο το url
https://www.pdftron.com/webviewer/demo/

[wooded glade]

Κανε μια upload εδω.
https://www.pdftron.com/pdf-tools/article-extraction/

Ε τι ; Αυτό pdf μου ξανάβγαλε (μιά σελίδα από τις 16).

Εχει ενα εικονακι search. Γραψε η λεξη που ψαχνεις να δεις αν τη βρίσκει.
Εψαξα Ερμινα και το βρηκε.

Αν την βρισκει to online demo τοτε πρεπει να κατεβασεις το library και να παρσαρεις ολο το κειμενο

Σε ποιά σελίδα λέει Ερμίνα ;
Τα βρίσκει σαν search και το δικό μου text. Για το serialization ψαχνόμαστε.
Υπέδειξα πιό πάνω ένα λάθος, που γίνεται στη σελίδα 5.

[nick]

Ε τι ; Αυτό pdf μου ξανάβγαλε (μιά σελίδα από τις 16).

Εχει ενα εικονακι search. Γραψε η λεξη που ψαχνεις να δεις αν τη βρίσκει.
Εψαξα Ερμινα και το βρηκε.

Αν την βρισκει to online demo τοτε πρεπει να κατεβασεις το library και να παρσαρεις ολο το κειμενο

Σε ποιά σελίδα λέει Ερμίνα ;
Τα βρίσκει σαν search και το δικό μου text. Για το serialization ψαχνόμαστε.
Υπέδειξα πιό πάνω ένα λάθος, που γίνεται στη σελίδα 5.

Sorry

Αυτο το url
https://www.pdftron.com/webviewer/demo/


Ερμινα - page 10

[wooded glade]

Εχει ενα εικονακι search. Γραψε η λεξη που ψαχνεις να δεις αν τη βρίσκει.
Εψαξα Ερμινα και το βρηκε.

Αν την βρισκει to online demo τοτε πρεπει να κατεβασεις το library και να παρσαρεις ολο το κειμενο

Σε ποιά σελίδα λέει Ερμίνα ;
Τα βρίσκει σαν search και το δικό μου text. Για το serialization ψαχνόμαστε.
Υπέδειξα πιό πάνω ένα λάθος, που γίνεται στη σελίδα 5.

Sorry

Αυτο το url
https://www.pdftron.com/webviewer/demo/


Ερμινα - page 10

Ναι τα βλέπω στο web viewer που έχει.
Τι κάνω ;

[nick]

To παρακατω sample θα σου επιστρεψει ολες τις λεξεις μαζι με τα (x1, y1, x2, y2) coordinates, μη-ταξινομημενες
https://www.pdftron.com/documentation/s ... xtractTest

Εσυ μετά πρεπει να γράψεις λογική που τα σορταρει σε 2D κατά μήκος και ύψος.

[klg]

To παρακατω sample θα σου επιστρεψει ολες τις λεξεις μαζι με τα (x1, y1, x2, y2) coordinates, μη-ταξινομημενες
https://www.pdftron.com/documentation/s ... xtractTest

Εσυ μετά πρεπει να γράψεις λογική που τα σορταρει σε 2D κατά μήκος και ύψος.

Μαν ο wooded τρέχει vb6.

[klg]

Έχω κάτι pdf από τα οποία θέλω να βγάζω κάποιες λέξεις και νούμερα για επεξεργασία, να τα μετατρέπω σε πίνακες με τη visual basic.
Σώνω σαν text από τον adobe.
Μετά το text επειδή είναι UTF-8 και δεν διαβάζονται τα Ελληνικά στη visual basic το ξανασώνω από το notepad σαν ANSI που διαβάζονται.

Κοίταξα με προσοχή που πάνε τα νούμερα μέσα σ' αυτά τα τελικά text και τα διαβάζω με τη visual basic και δημιουργώ τους πίνακες.
Αλλά μερικές φορές μπερδεύει και δεν βρίσκει να διαβάσει τα data η visual basic, δεν είναι ίδιες οι θέσεις.
Κοιτάω και τα original pdf τώρα μήπως υπάρχουν διαφορές μεταξύ τους και άρα δικαιολογημένα τα text files βγαίνουν αλλοιώτικα, αλλά όλα τα pdf είναι πανομοιότυπα (εκτός βέβαια από τα data που αλλάζουν κάθε φορά). Πως γίνεται αυτό ;
Πως αλλοιώς μπορώ να κάνω το scraping ;

Αρχικά αυτό που θες να κάνεις δεν είναι scraping. Αν δεν μπορείς να βασιστείς στη θέση του πράγματος που θες να κάνεις parse από το pdf, θα πρέπει να κάνεις ένα πιο context-sensitive parsing και να φτιάξεις ένα δέντρο που θα απεικονίζει το περιεχόμενο του pdf, το οποίο θα κάνεις annotate με κάποιο scheme και μετά θα τρέξεις μια αναζήτηση για να βρεις τα tags που αφορούν αυτά που ψάχνεις. (προφανώς τα δύο τελευταία βήματα μπορείς να τα κάνεις merge σε ένα)

Δεν σε πιάνω αλλά κάνω κάποιες διορθωτικές κινήσεις αν λείπει κάτι και μερικές από αυτές πετυχαίνουν.
Σε τι ωφείλεται όμως το μπέρδεμα ;
Μάλλον είναι δύο μορφές pdf που επεξεργάζομαι. Η μία είναι πιό απλή χωρίς πολλές εικόνες να παρεμβάλλονται και καλλιτεχνίες και παρουσιάζει λιγώτερο μπέρδεμα ή καθόλου. Η άλλη που έχει τα πιό πολλά καλλιτεχνικά κάνει το μπέρδεμα.

Τι ακριβώς δεν πιάνεις; Πρέπει να κάνεις tag το PDF για να μπορέσεις να κάνεις reliably extract αυτά που θέλεις. Ακόμα και το ISO 32000[*] ορίζει πώς θα έπρεπε να κάνεις αυτό το tagging, εγώ σου έγραψα μια generic λογική για να κάνεις κάτι τέτοιο. Προφανώς αυτό θα το έκνες με κάποιο έτοιμο library, αλλά δεδομένου ότι εσύ γράφεις vb6 δεν ξέρω κατα πόσον υπάρχει κάτι έτοιμο να χρησιμοποιήσεις.

Ίσως θα μπορούσες να χρησιμοποιήσεις κάποιο third-party software (πχ. της adobe) για να σου παράξει ένα iso-compliant tagged pdf και μετά να δουλέψεις πάνω σε αυτό (για να γλυτώσεις την φάση του tagging).

[*] https://www.adobe.com/content/dam/acom/ ... 0_2008.pdf στην ενότητα 14.8

[wooded glade]

To παρακατω sample θα σου επιστρεψει ολες τις λεξεις μαζι με τα (x1, y1, x2, y2) coordinates, μη-ταξινομημενες
https://www.pdftron.com/documentation/s ... xtractTest

Εσυ μετά πρεπει να γράψεις λογική που τα σορταρει σε 2D κατά μήκος και ύψος.

Βρήκα αυτό που το έκανε τέλειο:

https://products.aspose.app/pdf/parser

Έχω τώρα συντεταγμένες που δεν αλλάζουν και παίζω μπάλα.
Αλλά θα το προτιμούσα σε downloadable.

[nick]

To παρακατω sample θα σου επιστρεψει ολες τις λεξεις μαζι με τα (x1, y1, x2, y2) coordinates, μη-ταξινομημενες
https://www.pdftron.com/documentation/s ... xtractTest

Εσυ μετά πρεπει να γράψεις λογική που τα σορταρει σε 2D κατά μήκος και ύψος.

Μαν ο wooded τρέχει vb6.

Νομιζω το εχουν σε πιο πολλές πλατφόρμες, μαλον οχι vb6.

Το προβλημα του Wooded ειναι οτι ο text parser επειστρεφει τις 4 παρακάτω λέξεις με τη σειρα που γράφτηκαν
οι εντολες του pdf διαβαζονται καπως ετσι

Κώδικας: Επιλογή όλων

  
            print("top right", 0, 100)
            print("top left", 0, 0)
            print("bottom right", 100, 100)
            print("bottom left", 100, 0)

Ο απλος parser θα επιστρέψει με τη σειρα που γράφτηκαν

Κώδικας: Επιλογή όλων

top right
top left
bottom right
bottom left

Ο εξυπνος parser θα προσπαθήσει να τις επιστρέψει με τη σειρα που φαινονται στο χαρτι.

Κώδικας: Επιλογή όλων

top left           top right
bottom left     bottom right

Τα ξερω αυτα επειδη ειχα ασχοληθει με φορολογικούς μηχανισμούς ΕΑΔΦΣΣ και επρεπε να κάνουμε PDF ->text.

[wooded glade]

To παρακατω sample θα σου επιστρεψει ολες τις λεξεις μαζι με τα (x1, y1, x2, y2) coordinates, μη-ταξινομημενες
https://www.pdftron.com/documentation/s ... xtractTest

Εσυ μετά πρεπει να γράψεις λογική που τα σορταρει σε 2D κατά μήκος και ύψος.

Μαν ο wooded τρέχει vb6.

Νομιζω το εχουν σε πιο πολλές πλατφόρμες, μαλον οχι vb6.

Το προβλημα του Wooded ειναι οτι ο text parser επειστρεφει τις 4 παρακάτω λέξεις με τη σειρα που γράφτηκαν
οι εντολες του pdf διαβαζονται καπως ετσι

Κώδικας: Επιλογή όλων

  
            print("top right", 0, 100)
            print("top left", 0, 0)
            print("bottom right", 100, 100)
            print("bottom left", 100, 0)

Ο εξυπνος parser θα προσπαθήσει να τις επιστρέψει με τη σειρα που φαινονται στο χαρτι.

Κώδικας: Επιλογή όλων

top left           top right
bottom left     bottom right

Τα ξερω αυτα επειδη ειχα ασχοληθει με φορολογικούς μηχανισμούς ΕΑΔΦΣΣ και επρεπε να κάνουμε PDF ->text.

Η VB μετά την 6.00 έχει ελλείψεις - planned obsolescense του Gates ο οποίος θέλει να μας βάλει και τα εμβόλια.
Αλλά καμία σχέση η μία υπόθεση με την άλλη.
Όταν έχεις σωστό text file, το διαβάζεις και το κάνεις επεξεργασία / interrogation όπως θες.

Αυτό δουλεύει:

https://products.aspose.app/pdf/parser

Αλλά σε downloadable έχουμε ;

[klg]

To παρακατω sample θα σου επιστρεψει ολες τις λεξεις μαζι με τα (x1, y1, x2, y2) coordinates, μη-ταξινομημενες
https://www.pdftron.com/documentation/s ... xtractTest

Εσυ μετά πρεπει να γράψεις λογική που τα σορταρει σε 2D κατά μήκος και ύψος.

Μαν ο wooded τρέχει vb6.

Νομιζω το εχουν σε πιο πολλές πλατφόρμες, μαλον οχι vb6.

Το προβλημα του Wooded ειναι οτι ο text parser επειστρεφει τις 4 παρακάτω λέξεις με τη σειρα που γράφτηκαν
οι εντολες του pdf διαβαζονται καπως ετσι

Κώδικας: Επιλογή όλων

  
            print("top right", 0, 100)
            print("top left", 0, 0)
            print("bottom right", 100, 100)
            print("bottom left", 100, 0)

Ο εξυπνος parser θα προσπαθήσει να τις επιστρέψει με τη σειρα που φαινονται στο χαρτι.

Κώδικας: Επιλογή όλων

top left           top right
bottom left     bottom right

Τα ξερω αυτα επειδη ειχα ασχοληθει με φορολογικούς μηχανισμούς ΕΑΔΦΣΣ και επρεπε να κάνουμε PDF ->text.

Βασικά υπάρχει το εξής ερώτημα σε σχέση με αυτό που κάνει ο wooded. Θέλει κάτι re-usable ή ένα one time hack; Αν θέλει κάτι re-usable πρέπει να απεικονίσει το περιεχόμενο του κειμένου σε μια μορφή που είναι παντελώς agnostic στο που εμφανίζεται τι αλλά να διατηρεί τις γραμματικές συνδέσεις του περιεχομένου. Εννοώ ότι αν το t-l, t-r,b-l, b-r που εκφράζει χωρικά κάτι, θα πρέπει να το κάνει encode σε ένα metasyntax notation, ώστε να μπορεί στο ενδιάμεσο AST να το έχει όπως πρέπει (i.e σαν γραμματική οντότητα), χωρίς να τον απασχολεί αν κάτι είναι 10 χαρακτήρες πιο δεξιά. Απλά θα διατρέξει το δέντρο και θα βρει τα tagged nodes που χρειάζεται.

Αν και νομίζω ότι δεν τον απασχολεί να κάνει κάτι τέτοιο.

[klg]

Μαν ο wooded τρέχει vb6.

Νομιζω το εχουν σε πιο πολλές πλατφόρμες, μαλον οχι vb6.

Το προβλημα του Wooded ειναι οτι ο text parser επειστρεφει τις 4 παρακάτω λέξεις με τη σειρα που γράφτηκαν
οι εντολες του pdf διαβαζονται καπως ετσι

Κώδικας: Επιλογή όλων

  
            print("top right", 0, 100)
            print("top left", 0, 0)
            print("bottom right", 100, 100)
            print("bottom left", 100, 0)

Ο εξυπνος parser θα προσπαθήσει να τις επιστρέψει με τη σειρα που φαινονται στο χαρτι.

Κώδικας: Επιλογή όλων

top left           top right
bottom left     bottom right

Τα ξερω αυτα επειδη ειχα ασχοληθει με φορολογικούς μηχανισμούς ΕΑΔΦΣΣ και επρεπε να κάνουμε PDF ->text.

Η VB μετά την 6.00 έχει ελλείψεις - planned obsolescense του Gates ο οποίος θέλει να μας βάλει και τα εμβόλια.

Στο έχουμε γράψει πολλές φορές ότι πρέπει να σταματήσεις να χρησιμοποιείς αυτή τη μαλακία και να αρχίσεις να γράφεις σε vb.net. Δεν υπάρχει καμία συνωμοσία του Gates, απλά είσαι μαλάκας (φιλικά στο γράφω, μην παρεξηγηθείς).

[wooded glade]

Νομιζω το εχουν σε πιο πολλές πλατφόρμες, μαλον οχι vb6.

Το προβλημα του Wooded ειναι οτι ο text parser επειστρεφει τις 4 παρακάτω λέξεις με τη σειρα που γράφτηκαν
οι εντολες του pdf διαβαζονται καπως ετσι

Κώδικας: Επιλογή όλων

  
            print("top right", 0, 100)
            print("top left", 0, 0)
            print("bottom right", 100, 100)
            print("bottom left", 100, 0)

Ο εξυπνος parser θα προσπαθήσει να τις επιστρέψει με τη σειρα που φαινονται στο χαρτι.

Κώδικας: Επιλογή όλων

top left           top right
bottom left     bottom right

Τα ξερω αυτα επειδη ειχα ασχοληθει με φορολογικούς μηχανισμούς ΕΑΔΦΣΣ και επρεπε να κάνουμε PDF ->text.

Η VB μετά την 6.00 έχει ελλείψεις - planned obsolescense του Gates ο οποίος θέλει να μας βάλει και τα εμβόλια.

Στο έχουμε γράψει πολλές φορές ότι πρέπει να σταματήσεις να χρησιμοποιείς αυτή τη μαλακία και να αρχίσεις να γράφεις σε vb.net. Δεν υπάρχει καμία συνωμοσία του Gates, απλά είσαι μαλάκας (φιλικά στο γράφω, μην παρεξηγηθείς).

Έχω πιό καινούρια έκδοση.
Έχω γράψει και δύο προγράμματα για τα περασμένα μουντιάλ τα οποία μου είχε πει η Daily Mail ότι θα τα έκανε δώρο-cd.
Το μουντιάλ του 14 για την ακρίβεια και το γιούρο του 16.
Έγραφα τότε στο πχόρουμ της Daily Mail αλλά -ίσως- επειδή είπα εναντίον του μπρέξι σε κάποια φάση που ήταν εποχή μπρέξι, με στείλανε στο Κόβεντρυ οι θείοι (τσπ, αβγά ...).
Αλλά διαπίστωσα ελλείψεις και το λένε και τα users forums. Είχε πιό σύγχρονα elements, πιό ωραία κουμπιά, αλλά πολλές ελλείψεις.
Ο Gates τη χάλασε εξεπίτηδες επειδή θέλει να μας βάλει εμβόλιο.
Την έχω σε ένα άλλο computer τώρα τη net και μάλιστα πρέπει να κάνω και μία διόρθωση σε ένα άλλο app που έχω φτιάξει μ' αυτήν. Θα την ξαναδώ τον άλλο μήνα που θα στήσω καινούριο pc.
Αλλά έχει κάνει planned obsolescense ο τσιπάκιας τώρα, τι να λαίμαι. Εσύ έχεις πιαστεί κορόϊδο του τσιπάκια.