Het lijkt erop dat in een wereld waar de helft van de bevolkingde planeet maakt actief gebruik van computers en is gewend aan stijlvolle grafische interfaces en de rijke mogelijkheden daarvan, er is geen plaats meer voor teksttoepassingen. Zo'n 20 jaar geleden was de computerinterface een verschrikkelijk zwart paneel dat niets anders weergaf dan een reeks witte karakters, en alle controle werd uitgevoerd via tekstcommando's. Verrassend genoeg, hoe lelijk deze programma's ook zijn, ze zijn net zo functioneel en betrouwbaar.
Wat is Wget?
Wget (ook wel GNU Wget Linux genoemd)is een console, niet-interactieve applicatie voor het werken met bestanden en webpagina's. In feite is dit een programma voor het downloaden van bestanden van internet, gekenmerkt door de afwezigheid van een grafische interface en een aantal besturingsfuncties die atypisch zijn voor modernere oplossingen.
Het programma is ontwikkeld door een ingenieur uit KroatiëHrvoji Niksic, en nu wordt de ontwikkeling ondersteund door Giuseppe Scrivano en de Linux-gemeenschap. De eerste build van het hulpprogramma (toen nog GetURL genoemd) werd in januari 1996 gepresenteerd. Het programma is geschreven in de programmeertaal C en gepubliceerd onder de GNU-licentie. De tool is oorspronkelijk uitgebracht op het Linux-platform. In de loop van de tijd is het hulpprogramma vertaald in vele talen en geport naar alle populaire platforms, waaronder Wget voor Windows 7 (en nieuwer), Wget voor MacOS, enzovoort.
Dit programma is niet interactief, wat betekent:elk proces dat binnen zijn mogelijkheden wordt gestart, kan niet onder controle worden genomen; het kan worden gecontroleerd door te verwijzen naar de beheertools van het besturingssysteem zelf.
Hoewel moderne browsers meestalhebben een ingebouwde downloadmanager, ze zijn nog steeds ontworpen voor interactieve interactie, daarom wordt handmatig werk moeilijk. Wget daarentegen laat een aantal processen automatiseren. Zo is het bijvoorbeeld mogelijk om vooraf een tekstdocument op te stellen met een lijst van webpagina's, waarmee u meerdere bestanden en pagina's tegelijk kunt uploaden.
De belangrijkste functies van het programma
Toch is het in de eerste plaats een programma voor het downloaden van bestanden, waaruit de vanzelfsprekendheid van de hoofdfunctie volgt.
Wget kan elk materiaal van internet downloadenInternet, of het nu documenten, uitvoerbare bestanden of hele webpagina's in HTML-formaat zijn (via verschillende protocollen). Bestanden kunnen worden gedownload uit mappen via FTP.
De client kan recursief laden, inautomatisch links volgen binnen een specifieke website (of meerdere websites), terwijl de oorspronkelijke structuur van de webpagina wordt hersteld. Het is mogelijk om gedownloade websites te bekijken zonder toegang tot het netwerk (standaard geladen als adressen voor online weergave).
Aanvankelijk werd Wget aangepast voor langzame enonstabiele verbindingstypen, dus de belangrijkste functie is de mogelijkheid om een onderbroken bestandsdownload te herstellen (dit is mogelijk als de server RANGE-headers ondersteunt). Wget kan ook de status van servers (hun beschikbaarheid) controleren voor het opnieuw laden en bijwerken (Wget controleert de bestandsheaders en onderhoudt de nieuwste versie) van bestanden en webpagina's.
Het programma heeft ook een aantal kenmerken die typisch zijn voor zogenaamde spider utilities, die verschillende websites en servers onderzoeken op de aanwezigheid van bepaalde bestanden.
Ondersteunde platforms
Wget Linux werd de basis voor dit product.Zoals hierboven vermeld, werkte het hulpprogramma aanvankelijk alleen op Linux, maar het won snel aan populariteit en werd aangepast voor andere systemen. U kunt bijvoorbeeld een versie van Wget voor Windows 7 en latere besturingssystemen vinden en er zijn assemblages met een grafische interface. Wat Linux betreft, is het programma vaak ingebed in de distributie. Terminals in sommige Linux-builds ondersteunen standaard Wget-opdrachten. Ubuntu, Fedora, openSUSE en andere consumentendistributies werken met het programma, zoals ze zeggen, uit de doos. Vervolgens zullen we het programma in meer detail bekijken.
Wget-opdrachten: lijst met basisparameters
De basislijst met opdrachten omvat:
- -V - hiermee kunt u zien welke versie van het programma momenteel wordt gebruikt;
- -h - toont de meest complete lijst met opdrachten voor het werken met de applicatie;
- -b - hiermee kunt u het programma op de achtergrond plaatsen;
Lijst met berichtparameters
Wget-opdrachten geven u volledige controle over de weergegeven informatie. Hier is een lijst van hen:
- -o logfile - maakt een logbestand aan, waarin het hele proces van de aanvraag wordt vastgelegd;
- -een logbestand - hiermee kunt u een bestaand logbestand toevoegen in plaats van een nieuw te maken;
- -d - geeft informatie weer die nodig is voor ontwikkelaars en de debugger (helpt bij het oplossen van problemen en het oplossen van fouten in het werk van de klant);
- -q - schakelt de weergave van berichten uit;
- -v - deze optie is standaard ingeschakeld, geeft een gedetailleerd rapport over alle processen die in het programma plaatsvinden (in realtime);
- -nv - Verkort de informatie die de gebruiker in berichten ontvangt aanzienlijk. Alleen de meest essentiële gegevens en foutmeldingen blijven over;
- -i bestand (met het pad naar het bestand) - commandostelt u in staat een bestand te scannen door er een link uit te extraheren en te downloaden; je kunt bestanden van verschillende formaten gebruiken, inclusief HTML, maar als je deze opdracht gebruikt, geef dan niet het pad naar het bestand op de opdrachtregel op;
- -f - provoceert het programma om het bestand te lezen alsHTML; wanneer deze opdracht wordt gebruikt om met een lokaal HTML-document te werken, kan er een fout optreden; om dit te voorkomen, volstaat het om in het document <base href = ”url”> op te geven.
Lijst met opstartparameters
Basisopdrachten voor het afhandelen van bestandsuploads met Wget. Hier is een basisset van hen:
- --bind-address = ADRES - dit commando staat toe:geef bindgegevens door aan ADRES van de lokale machine. Bij gebruik van een TCP / IP-verbinding is de opdracht vereist om het exacte IP-adres op te geven (indien er meerdere zijn).
- -t nummer (u moet een nummer opgeven) - hiermee kan de gebruiker het aantal downloadpogingen selecteren. Om herhalingen te voorkomen, geeft u de getalswaarde op die gelijk is aan nul.
- -nc - met dit commando kun je de vorige teruggevende status van het gedownloade bestand als er een netwerkstoring is en de download wordt onderbroken. Als je geen van de downloadcommando's (-N, -nc, -r) gebruikt, dan zal Wget er een kopie van maken en opnieuw beginnen met downloaden. Met de optie -r kunt u bestaande bestanden overschrijven.
- -c - vergemakkelijkt ook het extra laden van het bestand, inals de verbinding is verbroken (en wanneer Wget is gestopt met proberen om zelf opnieuw verbinding te maken). Het volstaat om deze opdracht aan te geven vóór de link naar het bestand. Als een soortgelijk bestand wordt gevonden in de map die wordt gebruikt, zal Wget het identificeren en automatisch beslissen om het te laden. De opdracht kan alleen worden gebruikt op servers die RANGE-headers ondersteunen.
- --progress - hiermee kunt u het type weergave van de voortgang van de download selecteren. U kunt -voortgang = balk of voortgang = punt specificeren.
- --spider - vervangt de opdracht voor het uploaden van bestanden door de aanwezigheid ervan op de server te controleren;
- -w (in seconden) - Specificeert de time-out tussen downloads.
- -q (opgegeven in kilobytes ofmegabytes) - hiermee kunt u de grootte van de gedownloade gegevens duidelijk controleren en buitensporige volumes beperken. Desalniettemin is het vermeldenswaard dat één bestand wordt geüpload ongeacht het ingestelde quotum (dat wil zeggen, deze optie werkt niet met één bestand, hoe zwaar het ook is).
HTTP-parameterlijst
- --http-user = en --http-passwd = - stellen u in staat een gebruikersnaam en wachtwoord op te geven voor autorisatie op de webbron van waaruit de bestanden worden geüpload.
- -C = aan / uit - hiermee kunt u gegevenscaching aan de serverzijde in- of uitschakelen.
- --cookies = aan / uit - hetzelfde als voorcache, alleen voor cookies. Hiermee kunt u de uitwisseling van cookiegegevens die nodig is voor de server om statistieken van bezoeken bij te houden, stoppen of hervatten. De optie is standaard ingeschakeld, maar cookies worden niet op de harde schijf opgeslagen.
- --save-cookies - hiermee kunt u cookies opslaan (alleen nieuwe gegevens).
- --proxy-user en –proxy-passwd - hiermee kunt u een gebruikersnaam en wachtwoord opgeven voor autorisatie op de proxyserver (indien gebruikt).
Lijst met FTP-parameters
Geavanceerde opties voor het werken met Wget. FTP-opdrachten:
- -nr - verbiedt het verwijderen van tijdelijke bestanden uit de .listing directory, die spontaan worden gegenereerd bij het werken met FTP;
- -g aan / uit - hiermee kan het hulpprogramma speciale tekens gebruiken in FTP-directory's;
- --passive-ftp - deze opdracht kan worden gebruikt als er een firewall is om de passieve FTP-modus te activeren (wanneer de gebruiker verantwoordelijk is voor het tot stand brengen van een verbinding met de server).
Wget-opdrachten: gebruiksvoorbeelden
Het eenvoudigste en meest voorkomende voorbeeld om mee te werkenhet programma is natuurlijk bezig met het downloaden van bestanden. Om Wget-opdrachten te testen, kunt u eenvoudig beginnen, een link naar een bestand op het netwerk zoeken en in de console / terminal invoeren: Wget * een link die het exacte en volledige pad naar het bestand aangeeft *.
Om door te gaan met het downloaden van het bestand, gebruikt u: Wget -c * link met het exacte en volledige pad naar het bestand *.
Als je een geplande lijst hebt met links naar bestanden en documenten, kun je het commando Wget -i filelist.txt gebruiken.
Als het gaat om het laden van webpagina's, dan is dat alles.iets ingewikkelder, maar tegelijkertijd neemt het aantal mogelijkheden aanzienlijk toe. Om te voorkomen dat u telkens opnieuw parameters moet invoeren wanneer u een website moet laden, kunt u scripts maken of alle instellingen in een .wgetrc-bestand schrijven.
U kunt een webpagina opslaan als koppelingen (het zal moeilijk zijn om ze op uw lokale computer te openen) met behulp van de opdracht Wget -m * link die het exacte en volledige pad naar de *.
Om dezelfde pagina beschikbaar te maken voor weergave zonder internetverbinding, kunt u het commando Wget -r -10 -k * link gebruiken met het exacte en volledige pad naar het bestand *.
Formaatfout Wget-opdracht niet gevonden kan duiden op een typefout en een onjuiste parameter die is opgegeven.
