Come usare Wget per scaricare qualsiasi cosa da Internet

2019

Wget è un'utilità da riga di comando che può essere utilizzata per scaricare quasi tutto disponibile su Internet. Il problema è che dovrebbe essere disponibile su protocolli HTTP, HTTPS o FTP; altrimenti Wget non sarà in grado di scaricarlo. Esistono diversi modi in cui è possibile utilizzare Wget, ad esempio, è possibile utilizzare Wget per scaricare tutte le immagini su un sito Web oppure è possibile scaricare anche un singolo file. Wget è persino in grado di riprendere i download, quando possibile. Quindi, se ti stai chiedendo come funziona Wget e cosa può fare per te, ecco come usare Wget :

Installazione di Wget

1. Installazione di Wget su macOS Sierra

Prima di iniziare a utilizzare Wget, sarà necessario installarlo sul nostro sistema. Ora, fortunatamente, la maggior parte delle distribuzioni Linux viene fornita con Wget preinstallato, quindi non dovrai fare alcun lavoro aggiuntivo. Tuttavia, se sei su un Mac, dovrai installare Wget. Questo può essere fatto facilmente usando Homebrew (download). Se hai bisogno di aiuto, ecco i passaggi che devi seguire:

Per prima cosa dovrai installare Homebrew sul tuo Mac, per poter scaricare Wget. Per fare ciò, avvia il Terminale e digita il seguente comando:

 / usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

Al termine del comando, Homebrew verrà installato sul tuo sistema. Ora puoi usare Homebrew per installare pacchetti, come Wget. Nel Terminale, esegui il seguente comando:

 preparare installare wget

Homebrew inizierà automaticamente a scaricare, decomprimere e installare Wget sul tuo sistema. Questo passaggio potrebbe richiedere del tempo, a seconda della velocità della rete, quindi sii paziente. Una volta completato il comando, dovresti essere in grado di utilizzare Wget sul tuo Mac. Per verificare se è stato installato, basta usare il comando:

 wget -V

2. Installazione di Wget su Windows

L'installazione di Wget su Windows richiede un piccolo sforzo in più, ma può essere facilmente eseguita. Se vuoi installare Wget sul tuo PC Windows, procedi nel seguente modo:

Innanzitutto, scarica Cygwin, quindi esegui il file di installazione scaricato .

Quando viene richiesta l'origine di download predefinita, selezionare l'opzione " Installa da Internet " e fare clic su "Avanti".

Scegli una directory di installazione per Cygwin, nonché una directory in cui salverà i file del pacchetto per l'installazione delle utility.

Nella schermata successiva, è necessario selezionare la connessione Internet. Se stai usando un Proxy, scegli il tipo di Proxy che è, e completa i dettagli. Per la maggior parte degli utenti, tuttavia, la scelta sarebbe " Connessione diretta ".

Ti verrà mostrato un elenco di mirror, scegli uno di questi per scaricare Cygwin. Se il download fallisce, puoi provare di nuovo con un mirror diverso.

Nella finestra successiva, cerca "wget" e fai clic sul segno più vicino a "web" nell'elenco che appare. Qui, la casella accanto a " wget " sarà selezionata automaticamente. Basta fare clic su "Avanti".

La schermata successiva mostrerà i pacchetti necessari per il download. Basta fare clic su "Avanti".

Al termine dell'installazione, verrà richiesto se si desidera creare un'icona sul desktop e / o aggiungere una voce al menu di avvio . Questo è completamente una questione di preferenze personali, ma ti suggerirei di aggiungerlo almeno al menu di avvio, in modo da poterlo trovare facilmente.

Questo è tutto. Wget è ora installato sul tuo PC Windows. Tuttavia, non sarai in grado di eseguirlo dal prompt dei comandi. Invece, dovrai avviare Cygwin Terminal e utilizzare Wget da lì .

Come usare Wget

Ora che Wget è attivo e funzionante sul nostro sistema, esploriamo tutti i modi migliori in cui possiamo utilizzare Wget per scaricare file, cartelle e persino interi siti web da Internet. Ecco un paio di cose interessanti che puoi fare con Wget sul tuo sistema.

Nota : sto utilizzando Wget su un MacBook Air con macOS Sierra 10.12.3 beta. Tuttavia, dal momento che l'utility che stiamo usando è la stessa (Wget), i comandi saranno gli stessi su qualsiasi sistema operativo che si stia utilizzando Wget on.

1. Usa Wget per scaricare i file

È possibile utilizzare Wget per scaricare file da Internet con facilità. Basta usare il seguente comando

 wget

Scarica un file e salvalo con un nome file specifico

A volte i file sui server hanno i nomi più strani e potresti voler scaricare il file e Wget rinominarlo automaticamente in qualcosa che ha più senso per te. Per fare ciò, basta usare il seguente comando

 wget -o

Scarica solo determinati tipi di file

Un server Web potrebbe ospitare un numero di file diversi. Quindi, cosa succede se si desidera scaricare solo tutti i PDF sul server o forse tutte le GIF? Basta usare il seguente comando:

 wget -r -A pdf

Questo particolare comando è stato utilizzato da Mark Zuckerberg nella sua stanza del dormitorio di Harvard per scaricare tutte le immagini con un solo comando e costruire il famigerato sito "facesmash.com".

 wget -r -A jpg, jpeg, png, bmp

2. Scarica file da più URL con Wget

Supponiamo che tu debba scaricare file da un certo numero di luoghi diversi su Internet. Potrebbe esserci un file PDF su url1, un importante file ZIP su url2 e qualcos'altro in url3 . Se hai usato Wget nel modo tradizionale, dovrai eseguirlo tre volte. Tuttavia, c'è un modo molto più semplice per farlo.

Innanzitutto, crea un file con tutti gli URL necessari per il download dei dati. Assicurati di mantenere ogni URL nella propria riga . Salva il file e assicurati di ricordare il nome.

In Terminale, utilizzare il seguente comando per scaricare i file da tutti gli URL:

 wget -i

dove " file_name " è il nome del file che hai creato con tutti gli URL necessari per scaricare materiale.

3. Scarica un intero sito Web con Wget

Sì, avete letto bene. È possibile utilizzare Wget per scaricare anche i contenuti di un intero sito Web. Ovviamente, se il sito web è troppo grande, questo comando impiegherà molto tempo per finire, senza contare che occuperà molto spazio sul tuo sistema. Detto questo, se si desidera utilizzare Wget per scaricare un intero sito Web, è sufficiente utilizzare il seguente comando:

 wget --mirror -p -P ./LOCAL-DIR SITO WEB-URL

Questo scaricherà l'intero sito Web, in una cartella " LOCAL-DIR " all'interno della directory di lavoro. I file del sito Web verranno archiviati in una cartella con lo stesso nome del sito Web, grazie a " SITO WEB-URL ".

4. Usa Wget come Web Spider

Puoi anche fare in modo che Wget agisca come un web crawler (o un web spider). Ciò è utile quando si desidera confermare che l'URL per il file che si desidera scaricare sia valido . Per usare Wget come spider web e verificare la validità degli URL, basta usare il seguente comando:

 wget --spider

Questo controllerà se l'URL che hai citato esiste e riceverai una risposta che ti comunicherà i risultati del controllo.

Risposta positiva:

Risposta negativa:

5. Continua download incompleti

Questa è un'altra cosa davvero interessante che Wget può fare. Supponiamo che tu stia scaricando un file con Wget, ma per qualche motivo hai dovuto spegnere il laptop. La prossima volta che vuoi provare a scaricare lo stesso file, Wget può effettivamente continuare il download per te. Devi solo assicurarti di essere nella stessa cartella in cui stavi scaricando il file l'ultima volta, quindi utilizzare il seguente comando:

 wget -c

Quando Wget vede che una parte del file è già presente nel tuo sistema, continuerà automaticamente il download.

Nota : se il file sul server è stato modificato dall'ultima volta in cui si è tentato di scaricarlo, non utilizzare questo comando, poiché causerà un file danneggiato che non sarà in grado di leggere.

Inoltre, se il server non consente download continui, Wget rifiuterà di avviare il download da zero. Se si desidera avviare il download da zero, sarà necessario prima eliminare il file parzialmente scaricato dal sistema .

Ci sono altre condizioni per usare questo argomento, e puoi leggere ulteriori informazioni sulla pagina man di Wget.

6. Limitare la velocità di download

Se utilizzi Wget per scaricare file e naviga in Internet accanto a esso, probabilmente non vorresti che tutta la larghezza di banda fosse esaurita da Wget. Fortunatamente, Wget include un argomento che puoi utilizzare per limitare la quantità di larghezza di banda che Wget può utilizzare per scaricare i file sul tuo sistema:

 wget --limit-rate =

Nota : tenere presente che la velocità è menzionata in byte e non in bit. Quindi, se utilizzi Wget -limit-rate = 20k, limiterà l'utilizzo della larghezza di banda a 20 kB e non a 20 kb.

7. Utilizzare Wget per scaricare file da server FTP

Se devi scaricare un file da un server FTP, puoi farlo anche con Wget. Basta usare il seguente comando per scaricare file da server FTP:

 wget

Scarica file da server FTP con accesso

Se il tuo server FTP richiede un accesso per consentire i file di download, puoi semplicemente passare le credenziali anche con Wget. Basta usare il seguente comando:

 wget --ftp-username = USERNAME --ftp-password = PASSWORD

Usa facilmente Wget per scaricare file da Internet

È possibile utilizzare Wget per scaricare file da qualsiasi luogo su Internet. Tuttavia, mentre Wget funziona quasi sempre, ci sono alcuni server che impediscono l'accesso a Wget, nel qual caso puoi provare a cambiare l'utente-agente per il comando Wget. Tuttavia, questa non è una linea d'azione raccomandata, a meno che tu non sappia assolutamente cosa stai facendo. Per la maggior parte, Wget ti permetterà di scaricare qualsiasi file da Internet, purché tu abbia accesso ad esso, e il suo URL.

Quindi, hai mai usato Wget per scaricare file da internet? Fateci sapere la vostra esperienza con l'utilizzo di Wget per scaricare file, tramite i protocolli HTTP, HTTPS e FTP. Inoltre, se sei a conoscenza di altri usi di Wget che ritieni meriti di essere in questa lista, faccelo sapere nella sezione commenti qui sotto.