[RISOLTO] wget ed & nell'indirizzo

Bash, Perl, Python, Ruby, ...

[RISOLTO] wget ed & nell'indirizzo

Messaggioda fede73 » 05/11/2015, 16:35

Debbo salvare da rete un'enormità di files pdf generati da un'applicazione php.
Sto usando xmacro indovato in uno script, ma ho il problema di far attendere allo script che iceweasel abbia terminato di caricare la pagina prima di salvare e passare alla pagina successiva.
In che modo posso fare evitando di usare sleep (alcune pagine si caricano in un istante, altre impiegano anche più di 5 secondi)?

Grazie.
Ultima modifica di fede73 il 11/11/2015, 17:55, modificato 1 volta in totale.
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Re: attesa caricamento pagina iceweasel

Messaggioda marcomg » 05/11/2015, 17:14

Da dove peschi i link per scaricare? Perché non usare l'add-on DownThemAll?
Windows is what you open when you want fresh air from outside.
Avatar utente
marcomg
Hero Member
Hero Member
 
Messaggi: 5605
Iscritto il: 22/08/2011, 18:54

Re: attesa caricamento pagina iceweasel

Messaggioda fede73 » 05/11/2015, 17:32

Roba di lavoro su rete privata.
I link sono http://...[un po' de robba]...apriBuffer.php?iAperturaFile=2&idRichiesta=n
con n che va da 1 a 300000 e cresce di circa 1500 al giorno.
Debbo prendermi tutti e 3000000 files pdf, convertirli in tabelle (non so ancora come) e spararli in un database per fare dei rapporti.
Down ThemAll l'ho provato, ma non solo non mi scarica i pdf, ma neanche me li apre più, ho dovuto rimuoverlo.
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Re: attesa caricamento pagina iceweasel

Messaggioda marcomg » 05/11/2015, 18:10

allora fai uno scriptino in python così (sarebbe meglio in bash, ma dovrei impararlo XD):
Codice: Seleziona tutto
#!/usr/bin/python3
import os
url = "http://...[un po' de robba]...apriBuffer.php?iAperturaFile=2&idRichiesta="
i = 1
to = 3000000
while i <= to:
    os.system("wget " + url + str(i))
Windows is what you open when you want fresh air from outside.
Avatar utente
marcomg
Hero Member
Hero Member
 
Messaggi: 5605
Iscritto il: 22/08/2011, 18:54

Re: attesa caricamento pagina iceweasel

Messaggioda fede73 » 06/11/2015, 10:56

Grazie, lo proverò il prossimo martedì, prima non posso.
Però wget l'avevo già provato (wget -O http://...[un po' de robba]...apriBuffer.php?iAperturaFile=2&idRichiesta=1), ma tirava giù solo un file php.
Ti farò sapere.
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Re: attesa caricamento pagina iceweasel

Messaggioda marcomg » 06/11/2015, 14:57

Forse sbagliava estensione, ma era un PDF metti quindi os.system("wget -O pdf_n_" + str(i) + " " + url + str(i))

Il codice non lo ho provato, potrei avere fatto qualche errore di battitura ;D
Windows is what you open when you want fresh air from outside.
Avatar utente
marcomg
Hero Member
Hero Member
 
Messaggi: 5605
Iscritto il: 22/08/2011, 18:54

Re: attesa caricamento pagina iceweasel

Messaggioda fede73 » 06/11/2015, 17:06

"Forse sbagliava l'estensione, ma era un pdf", e sicuramente sono un cojone a non aver provato ad aprirlo. :-[
Non vedo l'ora che sia martedì.
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Re: attesa caricamento pagina iceweasel

Messaggioda marcomg » 06/11/2015, 19:14

fede73 ha scritto:e sicuramente sono un cojone a non aver provato ad aprirlo

Succede ;)

Poi non voglio neanche sapere cosa dovrai farci con tutti quei PDF...
Windows is what you open when you want fresh air from outside.
Avatar utente
marcomg
Hero Member
Hero Member
 
Messaggi: 5605
Iscritto il: 22/08/2011, 18:54

Re: attesa caricamento pagina iceweasel

Messaggioda fede73 » 10/11/2015, 12:48

Niente da fare, ho provato wget in tutte le salse (con tutte le opzioni trovate su help) ma si limita sempre a scaricarmi un file di testo vuoto, nominato "apriBuffer.php?iAperturaFile=2".
Che sia la & nel link a creare casini?
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Re: attesa caricamento pagina iceweasel

Messaggioda marcomg » 10/11/2015, 16:41

Ma devi aver fatto un login per scaricare le benedette pagine?
Windows is what you open when you want fresh air from outside.
Avatar utente
marcomg
Hero Member
Hero Member
 
Messaggi: 5605
Iscritto il: 22/08/2011, 18:54

Re: attesa caricamento pagina iceweasel

Messaggioda fede73 » 10/11/2015, 17:28

in teoria si, in pratica no.
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Re: attesa caricamento pagina iceweasel

Messaggioda marcomg » 10/11/2015, 17:35

Spiegati meglio, scusa. Nel senso che il software è buggato e puoi scaricarli direttamente dal link anche se sei sloggiato?
Windows is what you open when you want fresh air from outside.
Avatar utente
marcomg
Hero Member
Hero Member
 
Messaggi: 5605
Iscritto il: 22/08/2011, 18:54

Re: attesa caricamento pagina iceweasel

Messaggioda fede73 » 10/11/2015, 17:47

Si, il software è fatto con i piedi e pensato col culo, infatti "funziona" solo su internet explorer; dopo il log in posso accedere alle pratiche caricate, i pdf di mio interesse sono dei riepiloghi di eventi ed azioni di ogni pratica, per accedervi debbo cliccare un link nella maschera di lavorazione pratica, maschera che si apre solo per le pratiche da lavorare e non per quelle già lavorate.
Se però scrivo l'indirizzo sulla barra di iceweasel mi apre il pdf di qualsiasi pratica, sia loggato, sia sloggato.
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Re: attesa caricamento pagina iceweasel

Messaggioda metaldaze » 10/11/2015, 17:54

In tal caso mi sembra strano che con wget il download non funzioni. Non è che magari viene fatto uso di qualche cookie che hai comunque nel browser indipendentemente dallo stato di autenticazione?
metaldaze
Administrator
Administrator
 
Messaggi: 2350
Iscritto il: 13/12/2005, 5:18
Località: Torino

Re: attesa caricamento pagina iceweasel

Messaggioda fede73 » 10/11/2015, 17:58

Potrebbe essere, ma non sono riuscito a trovare cookie ascrivibili al sito.
Avatar utente
fede73
Newbie
Newbie
 
Messaggi: 46
Iscritto il: 24/03/2009, 20:23

Prossimo

Torna a Scripting

Chi c’è in linea

Visitano il forum: Nessuno e 4 ospiti