Wget is een opdrachtregelprogramma dat kan worden gebruikt om bijna alles wat op internet beschikbaar is te downloaden. Het addertje onder het gras is dat het beschikbaar moet zijn via HTTP-, HTTPS- of FTP-protocollen; anders kan Wget het niet downloaden. Er zijn een aantal manieren waarop Wget kan worden gebruikt, u kunt Wget bijvoorbeeld gebruiken om elke afbeelding op een website te downloaden, of u kunt ook een enkel bestand downloaden. Wget is zelfs in staat om downloads te hervatten, indien mogelijk. Dus als je je afvraagt ​​hoe Wget werkt en wat het voor je kan doen, kun je Wget als volgt gebruiken:
Wget installeren
1. Wget installeren op macOS Sierra
Voordat we aan de slag gaan met het gebruik van Wget, moeten we het op ons systeem installeren. Gelukkig worden de meeste Linux-distributies geleverd met Wget vooraf geïnstalleerd, dus je hoeft geen extra werk te doen. Als u echter een Mac gebruikt, moet u Wget installeren. Dit kan eenvoudig met Homebrew (download). Als je hulp nodig hebt, volgen hier de stappen die je moet volgen:
- Eerst moet je Homebrew op je Mac installeren om Wget te kunnen downloaden. Om dit te doen, start u gewoon de Terminal en typt u de volgende opdracht:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
- Nadat de opdracht is voltooid, wordt Homebrew op uw systeem geïnstalleerd. U kunt Homebrew nu gebruiken om pakketten te installeren, zoals Wget. Voer in de Terminal gewoon de volgende opdracht uit:
brew install wget
- Homebrew begint automatisch met het downloaden, uitpakken en installeren van Wget op uw systeem. Deze stap kan enige tijd duren, afhankelijk van uw netwerksnelheid, dus wees geduldig. Zodra de opdracht is voltooid, zou je Wget op je Mac moeten kunnen gebruiken. Gebruik het commando om te controleren of het is geïnstalleerd:
wget -V
2. Wget installeren op Windows
Het installeren van Wget op Windows kost wat meer moeite, maar het kan eenvoudig worden gedaan. Als u Wget op uw Windows-pc wilt installeren, volgt u de onderstaande stappen:
- Download eerst Cygwin en voer vervolgens het gedownloade installatiebestand uit.
- Wanneer het om de standaard downloadbron vraagt, kiest u de optie met de tekst “Installeren vanaf internet” en klikt u op “Volgende”.
-
Kies een installatiemap voor Cygwin, evenals een map waar het pakketbestanden zal opslaan voor de installatie van hulpprogramma’s.
- In het volgende scherm moet je je internetverbinding selecteren. Als u een proxy gebruikt, kiest u het type proxy dat het is en vult u de details in. Voor de meeste gebruikers zou de keuze echter “Directe verbinding” zijn.
- U krijgt dan een lijst met mirrors te zien, kies een van deze om Cygwin te downloaden. Als het downloaden mislukt, kunt u het opnieuw proberen met een andere mirror.
- Zoek in het volgende venster naar “wget” en klik op het plusje naast “web” in de lijst die verschijnt. Hier wordt het selectievakje naast “wget” automatisch geselecteerd. Klik eenvoudig op “Volgende”.
- Het volgende scherm toont u de pakketten die u moet downloaden. Klik gewoon op “Volgende”.
- Nadat de installatie is voltooid, wordt u gevraagd of u een bureaubladpictogram wilt maken en/of een item aan het startmenu wilt toevoegen. Dit is volledig een kwestie van persoonlijke voorkeur, maar ik raad je aan om het op zijn minst toe te voegen aan het startmenu, zodat je het gemakkelijk kunt vinden.
Dat is het. Wget is nu geïnstalleerd op uw Windows-pc. U kunt het echter niet uitvoeren vanaf de opdrachtprompt. In plaats daarvan moet je de Cygwin Terminal starten en vanaf daar Wget gebruiken.
Wget gebruiken
Nu we Wget in gebruik hebben op ons systeem, laten we eens kijken naar alle coole manieren waarop we Wget kunnen gebruiken om bestanden, mappen en zelfs hele websites van internet te downloaden. Hier zijn een aantal interessante dingen die u kunt doen met Wget op uw systeem.
Opmerking: Ik gebruik Wget op een MacBook Air met macOS Sierra 10.12.3 beta. Omdat het hulpprogramma dat we gebruiken echter hetzelfde is (Wget), zullen de opdrachten hetzelfde zijn op elk besturingssysteem waarop u Wget gebruikt.
1. Gebruik Wget om bestanden te downloaden
U kunt Wget gebruiken om gemakkelijk bestanden van internet te downloaden. Gebruik gewoon de volgende opdracht:
wget <url>
- Een bestand downloaden en opslaan met een specifieke bestandsnaam
Bestanden op servers hebben soms de raarste namen, en misschien wil je het bestand downloaden en Wget automatisch de naam laten hernoemen naar iets dat logischer voor je is. Gebruik hiervoor het volgende commando:
wget -o <output_file.extension> <url_to_download>
- Alleen specifieke bestandstypen downloaden
Een webserver kan een aantal verschillende bestanden hosten. Dus, wat als u alleen alle PDF’s op de server wilt downloaden, of misschien alle GIF’s? Gebruik eenvoudig de volgende opdracht:
wget -r -A pdf <url_to_download>
Deze specifieke opdracht werd door Mark Zuckerberg in zijn slaapzaal in Harvard gebruikt om alle afbeeldingen met slechts één opdracht te downloaden en de beruchte website “facesmash.com” te bouwen.
wget -r -A jpg, jpeg, png, bmp <url_to_download>
2. Download bestanden van meerdere URL’s met Wget
Stel dat u bestanden van een aantal verschillende locaties op internet moet downloaden. Er kan een PDF-bestand op url1 staan, een belangrijk ZIP-bestand op url2 en iets anders in url3. Als je Wget op de traditionele manier hebt gebruikt, moet je het drie keer uitvoeren. Er is echter een veel eenvoudigere manier om dit te doen.
- Maak eerst een bestand met alle URL’s waarvan u gegevens moet downloaden. Zorg ervoor dat u elke URL in zijn eigen regel houdt. Sla het bestand op en zorg ervoor dat u de naam onthoudt.
- Gebruik in Terminal de volgende opdracht om bestanden van alle URL’s te downloaden:
wget -i <file_name>
waarbij “bestandsnaam” de naam is van het bestand dat u hebt gemaakt met alle URL’s die u nodig had om dingen te downloaden.
3. Download een volledige website met Wget
Ja, u leest het goed. U kunt Wget ook gebruiken om de inhoud van een hele website te downloaden. Het is duidelijk dat als de website te groot is, deze opdracht veel tijd in beslag zal nemen om te voltooien, om nog maar te zwijgen van het feit dat het veel ruimte op uw systeem in beslag zal nemen. Dat gezegd hebbende, als je Wget wilt gebruiken om een ​​hele website te downloaden, gebruik dan gewoon de volgende opdracht:
wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL
Hiermee wordt de hele website gedownload naar een map “LOCAL-DIR” in uw werkmap. De bestanden van de website worden dankzij “WEBSITE-URL“ opgeslagen in een map met dezelfde naam als de website.
4. Gebruik Wget als een webspin
Je kunt Wget ook laten werken als een webcrawler (of een webspin). Dit is handig als u wilt bevestigen dat de URL voor het bestand dat u wilt downloaden geldig is. Gebruik de volgende opdracht om Wget als webspider te gebruiken en de geldigheid van URL’s te controleren:
wget --spider <url>
Hiermee wordt gecontroleerd of de door u genoemde URL bestaat, en u krijgt een reactie met de resultaten van de controle.
- Positieve reactie:
- Negatieve reactie:
5. Ga door met onvolledige downloads
Dit is nog een heel cool ding dat Wget kan doen. Stel dat u een bestand aan het downloaden was met Wget, maar dat u om de een of andere reden uw laptop moest afsluiten. De volgende keer dat u hetzelfde bestand wilt downloaden, kan Wget de download daadwerkelijk voor u voortzetten. U moet er alleen voor zorgen dat u zich in dezelfde map bevindt waar u het bestand de laatste keer aan het downloaden was, en vervolgens de volgende opdracht gebruiken:
wget -c <url>
Wanneer Wget ziet dat een deel van het bestand al in uw systeem aanwezig is, gaat het automatisch verder met downloaden.
Opmerking: Als het bestand op de server is gewijzigd sinds de laatste keer dat u het probeerde te downloaden, moet u deze opdracht niet gebruiken, omdat dit resulteert in een beschadigd bestand dat u niet kunt lezen.
Als de server verder downloaden niet toestaat, zal Wget weigeren de download helemaal opnieuw te starten. Als u de download helemaal opnieuw wilt beginnen, moet u eerst het gedeeltelijk gedownloade bestand van uw systeem verwijderen.
Er zijn wat meer voorwaarden om dit argument te gebruiken, en je kunt er meer over lezen op de Wget man-pagina.
6. Beperk de downloadsnelheid
Als je Wget gebruikt om bestanden te downloaden en daarnaast op internet surft, wil je waarschijnlijk niet dat al je bandbreedte door Wget wordt opgebruikt. Gelukkig bevat Wget een argument dat je kunt gebruiken om de hoeveelheid bandbreedte te beperken die Wget kan gebruiken voor het downloaden van bestanden op je systeem:
wget --limit-rate=<speed> <url>
Opmerking: Houd er rekening mee dat de snelheid wordt vermeld in Bytes, en niet in Bits. Dus als u Wget –limit-rate=20k gebruikt, wordt het bandbreedtegebruik beperkt tot 20 kB en niet tot 20 kb.
7. Gebruik Wget om bestanden van FTP-servers te downloaden
Als u een bestand van een FTP-server moet downloaden, kunt u dat ook doen met Wget. Gebruik gewoon de volgende opdracht om bestanden van FTP-servers te downloaden:
wget <ftp_url>
- Bestanden downloaden van FTP-servers met Login
ALS uw FTP-server een login vereist om downloadbestanden toe te staan, kunt u de inloggegevens ook eenvoudig met Wget doorgeven. Gebruik gewoon de volgende opdracht:
wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>
Gebruik Wget eenvoudig om bestanden van internet te downloaden
U kunt Wget gebruiken om overal op internet bestanden te downloaden. Hoewel Wget bijna altijd werkt, zijn er bepaalde servers die toegang tot Wget verhinderen. In dat geval kunt u proberen de –user-agent voor uw Wget-opdracht te wijzigen. Dat is echter geen aanbevolen handelwijze, tenzij u absoluut weet wat u doet. Voor het grootste deel laat Wget je elk bestand van internet downloaden, zolang je er toegang toe hebt, en de URL ervan.
Dus, heb je ooit Wget gebruikt om bestanden van internet te downloaden? Laat ons weten wat uw ervaring is met het gebruik van Wget om bestanden te downloaden via de HTTP-, HTTPS- en FTP-protocollen. Als u andere toepassingen van Wget kent waarvan u denkt dat ze op deze lijst moeten staan, laat het ons dan weten in de sectie Opmerkingen hieronder.