Convertir eurostat table des matières PDF en JSON

Question 1

Puisqu'il n'est pas accessible de l'API pour les données d'EUROSTAT, chaque requête doit être créé manuellement, j'ai trouvé cette table des matières , Et je veux l'extraire d'une base de JSON. Dans le fichier il y a des titres de section, et chaque feuille a 3 liens, Mais comment puis-je connecter les liens et les titres et les articles en JSON?

J'ai ce code de base:

PDFFile = open("table_of_contents_en.pdf",'rb')

PDF = PyPDF2.PdfFileReader(PDFFile)
pages = PDF.getNumPages()
key = '/Annots'
uri = '/URI'
ank = '/A'

for page in range(1,2):
    print("Current Page: {}".format(page))
    pageSliced = PDF.getPage(page)
    pageObject = pageSliced.getObject()
    if key in pageObject.keys():
        ann = pageObject[key]
        for a in ann:
            u = a.getObject()
            if uri in u[ank].keys():
                print(u[ank][uri])

Et ce pour le texte:

pdfFileObj = open('table_of_contents_en.pdf', 'rb')
pdfReader = PyPDF2.PdfFileReader(pdfFileObj)
print(pdfReader.numPages)
pageObj = pdfReader.getPage(0)
print(pageObj.extractText())
pdfFileObj.close()

et ce pour le téléchargement zip:

for page in range(1,2):
    print("Current Page: {}".format(page))
    pageSliced = PDF.getPage(page)
    pageObject = pageSliced.getObject()
    if key in pageObject.keys():
        ann = pageObject[key]
        for a in ann:
            u = a.getObject()
            if uri in u[ank].keys():
                print(u[ank][uri])
            if str(u[ank].keys()).find(".tsv.gz") != -1 :
                url = str(u[ank].keys())
                r = requests.get(url, allow_redirects=True)
                print(str(str(str(u[ank].keys()).split("/")[-1]).split(".")[0])
                open(str(str(str(u[ank].keys()).split("/")[-1]).split(".")[0]), 'wb').write(r.content)

Mais comment puis-je faire cela en même temps correctement, dans certains de données structurées?

Question 2

Essayez comme ceci, ce ne sera pas un JSON, mais la liste des fichiers d'un dossier peuvent être convertis, ici, est de savoir comment obtenir les fichiers:

import PyPDF2
import requests

PDFFile = open("table_of_contents_en.pdf",'rb')

PDF = PyPDF2.PdfFileReader(PDFFile)
pages = PDF.getNumPages()
key = '/Annots'
uri = '/URI'
ank = '/A'

for page in range(pages):
    print("Current Page: {}".format(page))
    pageSliced = PDF.getPage(page)
    pageObject = pageSliced.getObject()
    if key in pageObject.keys():
        ann = pageObject[key]
        for a in ann:
            u = a.getObject()
            # if uri in u[ank].keys():
            #   print(u[ank][uri])
            if str(u[ank][uri]).find(".tsv.gz") != -1 :
                url = str(u[ank][uri])
                try:
                    r = requests.get(url, allow_redirects=True)
                    print(str(str(str(url).split("/")[-1]).split(".")[0]))
                    open(str(str(url).split("/")[-1]), 'wb').write(r.content)
                except:
                    print("ERROR ON" + url)

Utilisation:

Télécharger la table des matières du fichier d'Eurostat: http://ec.europa.eu/eurostat/estat-navtree-portlet-prod/BulkDownloadListing?sort=1&file=table_of_contents_en.pdf
exécuter python3 le code ci-dessus, édité avec le nom de fichier, si elle a changé.
extrait de quelques outils téléchargés .gz les fichiers (suggestion: Comment décompresser fichier gz à l'aide de Python )
supprimer la .gz les fichiers.

Code complet sur: https://github.com

gabor aron · Answer 1 · 2021-11-21T16:14:06

Essayez comme ceci, ce ne sera pas un JSON, mais la liste des fichiers d'un dossier peuvent être convertis, ici, est de savoir comment obtenir les fichiers:

import PyPDF2
import requests

PDFFile = open("table_of_contents_en.pdf",'rb')

PDF = PyPDF2.PdfFileReader(PDFFile)
pages = PDF.getNumPages()
key = '/Annots'
uri = '/URI'
ank = '/A'

for page in range(pages):
    print("Current Page: {}".format(page))
    pageSliced = PDF.getPage(page)
    pageObject = pageSliced.getObject()
    if key in pageObject.keys():
        ann = pageObject[key]
        for a in ann:
            u = a.getObject()
            # if uri in u[ank].keys():
            #   print(u[ank][uri])
            if str(u[ank][uri]).find(".tsv.gz") != -1 :
                url = str(u[ank][uri])
                try:
                    r = requests.get(url, allow_redirects=True)
                    print(str(str(str(url).split("/")[-1]).split(".")[0]))
                    open(str(str(url).split("/")[-1]), 'wb').write(r.content)
                except:
                    print("ERROR ON" + url)

Utilisation:

Télécharger la table des matières du fichier d'Eurostat: http://ec.europa.eu/eurostat/estat-navtree-portlet-prod/BulkDownloadListing?sort=1&file=table_of_contents_en.pdf
exécuter python3 le code ci-dessus, édité avec le nom de fichier, si elle a changé.
extrait de quelques outils téléchargés .gz les fichiers (suggestion: Comment décompresser fichier gz à l'aide de Python )
supprimer la .gz les fichiers.

Code complet sur: https://github.com

Convertir eurostat table des matières PDF en JSON

La question

La meilleure réponse

Utilisation:

Dans d'autres langues

Cette page est dans d'autres langues

Populaires dans cette catégorie

Questions populaires dans cette catégorie