Il semblerait que dans un monde où la moitié de la populationla planète utilise activement les ordinateurs et est habituée aux interfaces graphiques élégantes et aux riches capacités de celles-ci, il n'y a plus de place pour les applications de texte. Il y a environ 20 ans, l'interface de l'ordinateur était un terrible panneau noir qui n'affichait rien d'autre qu'un jeu de caractères blancs, et tout le contrôle était effectué par des commandes de texte. Étonnamment, aussi laids que soient ces programmes, ils sont tout aussi fonctionnels et fiables.
Qu'est-ce que Wget?
Wget (également appelé GNU Wget Linux)est une console, une application non interactive pour travailler avec des fichiers et des pages Web. En fait, il s'agit d'un programme de téléchargement de fichiers depuis Internet, caractérisé par l'absence d'interface graphique et un certain nombre de fonctionnalités de gestion qui ne sont pas typiques des solutions plus modernes.
Le programme a été développé par un ingénieur de CroatieHrvoji Niksic, et actuellement le développement est soutenu par Giuseppe Scrivano et la communauté Linux. La première version de l'utilitaire (alors encore appelée GetURL) a été présentée en janvier 1996. Le programme a été écrit dans le langage de programmation C et publié sous la licence GNU. L'outil a été initialement publié sur la plate-forme Linux. Au fil du temps, l'utilitaire a été traduit dans de nombreuses langues et porté sur toutes les plates-formes populaires, y compris Wget pour Windows 7 (et plus récent), Wget pour MacOS, etc.
Ce programme n'est pas interactif, ce qui signifietout processus lancé au sein de ses capacités ne peut être maîtrisé, il peut être contrôlé en se référant aux outils de gestion du système d'exploitation lui-même.
Bien que les navigateurs modernesont un gestionnaire de téléchargement intégré, ils sont toujours conçus pour une interaction interactive, par conséquent, l'opération manuelle devient difficile. En revanche, Wget permet d'automatiser un certain nombre de processus. Par exemple, il est possible de préparer à l'avance un document texte avec une liste de pages Web, à l'aide de laquelle vous pouvez télécharger plusieurs fichiers et pages à la fois.
Les principales fonctions du programme
Pourtant, tout d'abord, c'est un programme de téléchargement de fichiers, dont découle l'évidence de sa fonction principale.
Wget peut télécharger n'importe quel matériel sur le WebInternet, qu'il s'agisse de documents, de fichiers exécutifs ou de pages Web entières au format HTML (sur différents protocoles). Les fichiers peuvent être téléchargés à partir de répertoires via FTP.
Le client peut effectuer un chargement récursif, ensuivant automatiquement des liens dans un site Web spécifique (ou plusieurs sites Web), tout en restaurant la structure d'origine du site Web. Il est possible de visualiser les sites Web téléchargés sans accès au réseau (par défaut, chargés en tant qu'adresses pour consultation en ligne).
Initialement, Wget s'est adapté au ralentissement ettypes de connexion instables, sa caractéristique importante est donc la possibilité de récupérer un téléchargement de fichier interrompu (cela est possible si le serveur prend en charge les en-têtes RANGE). En outre, Wget peut surveiller l'état des serveurs (leur disponibilité) pour le rechargement et la mise à jour (Wget vérifie les en-têtes de fichiers et maintient la dernière version) des fichiers et des pages Web.
Le programme possède également un certain nombre de fonctionnalités typiques des soi-disant utilitaires spider qui examinent divers sites Web et serveurs pour des fichiers spécifiques.
Plateformes prises en charge
Wget Linux est devenu la base de ce produit. Comme mentionné ci-dessus, l'utilitaire ne fonctionnait initialement que sous Linux, mais a rapidement gagné en popularité et a été adapté pour d'autres systèmes. Par exemple, vous pouvez trouver une version de Wget pour Windows 7 et les systèmes d'exploitation plus récents, et il existe des assemblys avec une interface graphique. En ce qui concerne Linux, le programme est souvent intégré dans le kit de distribution. Les terminaux de certaines versions Linux prennent en charge nativement les commandes Wget. Ubuntu, Fedora, openSUSE et d'autres distributions grand public fonctionnent avec le programme, comme on dit, hors de la boîte. Ensuite, regardons le programme plus en détail.
Commandes Wget: liste des paramètres de base
La liste de base des commandes comprend:
- -V - vous permet de savoir quelle version du programme est actuellement utilisée;
- -h - affiche la liste la plus complète des commandes pour travailler avec l'application;
- -b - vous permet de mettre le programme en arrière-plan;
Liste des paramètres de message
Les commandes Wget vous donnent un contrôle total sur les informations affichées. En voici une liste:
- -o logfile - crée un fichier journal qui enregistre l'ensemble du processus de l'application;
- -a logfile - permet d'ajouter un fichier journal existant au lieu d'en créer un nouveau;
- -d - affiche les informations nécessaires aux développeurs et au débogueur (aide à résoudre les problèmes et à corriger les erreurs dans le travail du client);
- -q - désactive l'affichage des messages;
- -v - cette option est activée par défaut, fournit un rapport détaillé sur tous les processus se produisant dans le programme (en temps réel);
- -nv - Réduit considérablement les informations reçues par l'utilisateur dans les messages. Seules les données les plus importantes et les alertes d'erreur restent;
- -i fichier (avec le chemin d'accès au fichier) - commandevous permet de scanner un fichier en en extrayant un lien et en le téléchargeant; vous pouvez utiliser des fichiers de différents formats, y compris HTML, mais si vous utilisez cette commande, ne spécifiez pas le chemin d'accès au fichier sur la ligne de commande;
- -f - provoque le programme pour lire le fichier commeHTML; lors de l'utilisation de cette commande pour travailler avec un document HTML local, une erreur peut se produire, pour l'éviter, il suffit de spécifier dans le document <base href = ”url”>.
Liste des paramètres de démarrage
Commandes de base pour gérer les téléchargements de fichiers avec Wget. Voici leur ensemble de base:
- --bind-address = ADDRESS - cette commande permettransmettre les données de liaison à ADDRESS de la machine locale. Lors de l'utilisation d'une connexion TCP / IP, la commande est requise pour spécifier l'adresse IP exacte (s'il y en a plusieurs).
- -t nombre (vous devez spécifier un nombre) - permet à l'utilisateur de sélectionner le nombre de tentatives de téléchargement. Pour éviter les répétitions, spécifiez la valeur numérique égale à zéro.
- -nc - cette commande vous permet de retourner le précédentl'état du fichier en cours de téléchargement en cas de panne du réseau et le téléchargement est interrompu. Si vous n'utilisez pas l'une des commandes de téléchargement (-N, -nc, -r), Wget en créera une copie et recommencera le téléchargement. L'option -r vous permet de remplacer les fichiers existants.
- -c - permet également de télécharger le fichier, danssi la connexion est perdue (et lorsque Wget a cessé d'essayer de se reconnecter). Il suffit d'indiquer cette commande avant le lien vers le fichier. Si un fichier similaire est trouvé dans le répertoire utilisé, Wget l'identifiera et décidera automatiquement de son chargement supplémentaire. La commande ne peut être utilisée que sur les serveurs prenant en charge les en-têtes RANGE.
- --progress - vous permet de sélectionner le type d'affichage de la progression du téléchargement. Vous pouvez spécifier –progress = bar ou progress = dot.
- --spider - remplace la commande de téléchargement de fichier par la vérification de sa présence sur le serveur;
- -w (en secondes) - Spécifie le délai entre les téléchargements.
- -q (spécifié en kilo-octets oumégaoctet) - vous permet de contrôler clairement la taille des données téléchargées et de limiter les volumes excessifs. Néanmoins, il convient de noter qu'un fichier sera téléchargé quel que soit le quota défini (c'est-à-dire que cette option ne fonctionnera pas avec un fichier, quel que soit son poids).
Liste des paramètres HTTP
- --http-user = et --http-passwd = - vous permettent de spécifier un nom d'utilisateur et un mot de passe pour l'autorisation sur la ressource Web à partir de laquelle les fichiers seront téléchargés.
- -C = on / off - vous permet d'activer ou de désactiver la mise en cache des données côté serveur.
- --cookies = on / off - comme pourcache, pour les cookies uniquement. Permet soit d'arrêter, soit de reprendre l'échange des données de cookies nécessaires au serveur pour conserver des statistiques de visites. L'option est activée par défaut, mais les cookies ne sont pas enregistrés sur votre disque dur.
- --save-cookies - vous permet d'enregistrer des cookies (uniquement des données fraîches).
- --proxy-user et –proxy-passwd - vous permet de spécifier un nom d'utilisateur et un mot de passe pour l'autorisation sur le serveur proxy (le cas échéant).
Liste des paramètres FTP
Options avancées pour travailler avec Wget. Commandes FTP:
- -nr - interdit la suppression des fichiers temporaires du répertoire .listing, qui sont générés spontanément lorsque vous travaillez avec FTP;
- -g on / off - permet à l'utilitaire d'utiliser des caractères spéciaux dans les répertoires FTP;
- --passive-ftp - cette commande peut être utilisée s'il existe un pare-feu pour activer le mode FTP passif (lorsque l'utilisateur est responsable de l'établissement d'une connexion au serveur).
Commandes Wget: exemples d'utilisation
L'exemple le plus simple et le plus courant pour travailler avecle programme télécharge, bien entendu, des fichiers. Pour tester les commandes Wget, vous pouvez démarrer simplement, trouver un lien vers un fichier sur le réseau et entrer dans la console / terminal: Wget * un lien indiquant le chemin exact et complet du fichier *.
Pour continuer le téléchargement du fichier, utilisez: Wget -c * lien avec le chemin exact et complet du fichier *.
Si vous disposez d'une liste programmée avec des liens vers des fichiers et des documents, vous pouvez utiliser la commande Wget -i filelist.txt.
Quand il s'agit de charger des pages Web, c'est tout.un peu plus compliqué, mais en même temps le nombre de possibilités augmente considérablement. Pour éviter d'avoir à ressaisir les paramètres à chaque fois que vous devez charger un site Web, vous pouvez créer des scripts ou écrire tous les paramètres dans un fichier .wgetrc.
Vous pouvez enregistrer la page Web sous forme de liens (il sera difficile de les ouvrir sur la machine locale) en utilisant la commande Wget -m * link en spécifiant le chemin exact et complet du fichier *.
Pour rendre la même page disponible pour l'affichage sans connexion Internet, vous pouvez utiliser la commande Wget -r -10 -k * lien avec le chemin exact et complet du fichier *.
Erreur de format La commande Wget introuvable peut indiquer une faute de frappe et un paramètre incorrect.
