Phorum.com.gr

GReaper έγραψε: 21 Μάιος 2021, 07:11 Αυτό το pdf είναι λίγο παλιό, αλλά έχει εξονυχιστική λεπτομέρεια για το πώς λειτουργεί το φορμάτ.
https://www.adobe.com/content/dam/acom/ ... erence.pdf

wooded glade έγραψε: 21 Μάιος 2021, 07:00 Έχω κάτι pdf από τα οποία θέλω να βγάζω κάποιες λέξεις και νούμερα για επεξεργασία, να τα μετατρέπω σε πίνακες με τη visual basic.
Σώνω σαν text από τον adobe.
Μετά το text επειδή είναι UTF-8 και δεν διαβάζονται τα Ελληνικά στη visual basic το ξανασώνω από το notepad σαν ANSI που διαβάζονται.

Κοίταξα με προσοχή που πάνε τα νούμερα μέσα σ' αυτά τα τελικά text και τα διαβάζω με τη visual basic και δημιουργώ τους πίνακες.
Αλλά μερικές φορές μπερδεύει και δεν βρίσκει να διαβάσει τα data η visual basic, δεν είναι ίδιες οι θέσεις.
Κοιτάω και τα original pdf τώρα μήπως υπάρχουν διαφορές μεταξύ τους και άρα δικαιολογημένα τα text files βγαίνουν αλλοιώτικα, αλλά όλα τα pdf είναι πανομοιότυπα (εκτός βέβαια από τα data που αλλάζουν κάθε φορά). Πως γίνεται αυτό ;
Πως αλλοιώς μπορώ να κάνω το scraping ;

klg έγραψε: 21 Μάιος 2021, 10:41

wooded glade έγραψε: 21 Μάιος 2021, 07:00 Έχω κάτι pdf από τα οποία θέλω να βγάζω κάποιες λέξεις και νούμερα για επεξεργασία, να τα μετατρέπω σε πίνακες με τη visual basic.
Σώνω σαν text από τον adobe.
Μετά το text επειδή είναι UTF-8 και δεν διαβάζονται τα Ελληνικά στη visual basic το ξανασώνω από το notepad σαν ANSI που διαβάζονται.

Κοίταξα με προσοχή που πάνε τα νούμερα μέσα σ' αυτά τα τελικά text και τα διαβάζω με τη visual basic και δημιουργώ τους πίνακες.
Αλλά μερικές φορές μπερδεύει και δεν βρίσκει να διαβάσει τα data η visual basic, δεν είναι ίδιες οι θέσεις.
Κοιτάω και τα original pdf τώρα μήπως υπάρχουν διαφορές μεταξύ τους και άρα δικαιολογημένα τα text files βγαίνουν αλλοιώτικα, αλλά όλα τα pdf είναι πανομοιότυπα (εκτός βέβαια από τα data που αλλάζουν κάθε φορά). Πως γίνεται αυτό ;
Πως αλλοιώς μπορώ να κάνω το scraping ;

Αρχικά αυτό που θες να κάνεις δεν είναι scraping. Αν δεν μπορείς να βασιστείς στη θέση του πράγματος που θες να κάνεις parse από το pdf, θα πρέπει να κάνεις ένα πιο context-sensitive parsing και να φτιάξεις ένα δέντρο που θα απεικονίζει το περιεχόμενο του pdf, το οποίο θα κάνεις annotate με κάποιο scheme και μετά θα τρέξεις μια αναζήτηση για να βρεις τα tags που αφορούν αυτά που ψάχνεις. (προφανώς τα δύο τελευταία βήματα μπορείς να τα κάνεις merge σε ένα)

ΣΑΤΑΝΙΚΟΣ ΕΓΚΕΦΑΛΟΣ έγραψε: 21 Μάιος 2021, 10:44 Αυτά τα διάφορα mendeley δε βοηθάνε;

wooded glade έγραψε: 21 Μάιος 2021, 10:45

ΣΑΤΑΝΙΚΟΣ ΕΓΚΕΦΑΛΟΣ έγραψε: 21 Μάιος 2021, 10:44 Αυτά τα διάφορα mendeley δε βοηθάνε;

Τι είναι τα mendeley ;

nick έγραψε: 21 Μάιος 2021, 11:00 Πονεμένη ιστορία το text from pdf.
Υπάρχουν πολλοί τρόποι να γραφτεί το text γιαυτο και η εξαγωγή είναι δύσκολη.
Ένα library pdftron που χρησιμοποιούσα πριν πολλά χρόνια έδινε καλά αποτελέσματα.
Οι σειρές/στήλες δεν υπάρχουν σαν έννοια στο pdf. Όλα είναι x-y coordinates. Μόνος σου πρέπει να δεις αν δυο λέξεις είναι στην ίδια σειρά αν έχουν (σχεδόν) ίδιο y.

wooded glade έγραψε: 21 Μάιος 2021, 11:05

nick έγραψε: 21 Μάιος 2021, 11:00 Πονεμένη ιστορία το text from pdf.
Υπάρχουν πολλοί τρόποι να γραφτεί το text γιαυτο και η εξαγωγή είναι δύσκολη.
Ένα library pdftron που χρησιμοποιούσα πριν πολλά χρόνια έδινε καλά αποτελέσματα.
Οι σειρές/στήλες δεν υπάρχουν σαν έννοια στο pdf. Όλα είναι x-y coordinates. Μόνος σου πρέπει να δεις αν δυο λέξεις είναι στην ίδια σειρά αν έχουν (σχεδόν) ίδιο y.

Δηλαδή να παίζει ρόλο τι πληκτρολόγησε πρώτα ο τυπάς/τύπισσα που το γράφει ;
Αν πήγε με τη σειρά, Κώστας-Γιάννης, να σχηματίζεται σωστά ενώ αν έγραψε το Γιάννη πρώτα να μπερδεύει μέσα ;

nick έγραψε: 21 Μάιος 2021, 11:09

wooded glade έγραψε: 21 Μάιος 2021, 11:05

nick έγραψε: 21 Μάιος 2021, 11:00 Πονεμένη ιστορία το text from pdf.
Υπάρχουν πολλοί τρόποι να γραφτεί το text γιαυτο και η εξαγωγή είναι δύσκολη.
Ένα library pdftron που χρησιμοποιούσα πριν πολλά χρόνια έδινε καλά αποτελέσματα.
Οι σειρές/στήλες δεν υπάρχουν σαν έννοια στο pdf. Όλα είναι x-y coordinates. Μόνος σου πρέπει να δεις αν δυο λέξεις είναι στην ίδια σειρά αν έχουν (σχεδόν) ίδιο y.

Δηλαδή να παίζει ρόλο τι πληκτρολόγησε πρώτα ο τυπάς/τύπισσα που το γράφει ;
Αν πήγε με τη σειρά, Κώστας-Γιάννης, να σχηματίζεται σωστά ενώ αν έγραψε το Γιάννη πρώτα να μπερδεύει μέσα ;

Με τι πρόγραμμα κατασκευάστηκε, τι fonts έχει (ισως και embedded) ...

wooded glade έγραψε: 21 Μάιος 2021, 11:17

nick έγραψε: 21 Μάιος 2021, 11:09

wooded glade έγραψε: 21 Μάιος 2021, 11:05

Δηλαδή να παίζει ρόλο τι πληκτρολόγησε πρώτα ο τυπάς/τύπισσα που το γράφει ;
Αν πήγε με τη σειρά, Κώστας-Γιάννης, να σχηματίζεται σωστά ενώ αν έγραψε το Γιάννη πρώτα να μπερδεύει μέσα ;

Με τι πρόγραμμα κατασκευάστηκε, τι fonts έχει (ισως και embedded) ...

Δεν ξέρω. Θες να στο στείλω ;
Τώρα κατέβασα ένα που λέει weeny pdf2textconverter και δεν εκτελεί απολύτως τίποτα.
Αλλά ο adobe ο ίδιος σώνει σαν text λέμε - μόνο που παρουσιάζει το πρόβλημα.