Wydawałoby się, że w świecie, w którym połowa populacjiplaneta aktywnie korzysta z komputerów i jest przyzwyczajona do stylowych interfejsów graficznych i bogatych możliwości takich, że nie ma już miejsca na aplikacje tekstowe. Jakieś 20 lat temu interfejs komputera był okropnym czarnym panelem, który nie wyświetlał niczego poza zestawem białych znaków, a cała kontrola odbywała się za pomocą poleceń tekstowych. Co zaskakujące, choć te programy są brzydkie, są równie funkcjonalne i niezawodne.
Co to jest Wget?
Wget (nazywany również GNU Wget Linux)to konsolowa, nieinteraktywna aplikacja do pracy z plikami i stronami internetowymi. W rzeczywistości jest to program do pobierania plików z Internetu, charakteryzujący się brakiem interfejsu graficznego oraz szeregiem funkcji sterujących nietypowych dla bardziej nowoczesnych rozwiązań.
Program został opracowany przez inżyniera z ChorwacjiHrvoji Niksic, a teraz rozwój jest wspierany przez Giuseppe Scrivano i społeczność linuksową. Pierwsza kompilacja narzędzia (wtedy jeszcze pod nazwą GetURL) została zaprezentowana w styczniu 1996 roku. Program został napisany w języku programowania C i opublikowany na licencji GNU. Narzędzie zostało pierwotnie wydane na platformę Linux. Z biegiem czasu narzędzie zostało przetłumaczone na wiele języków i przeniesione na wszystkie popularne platformy, w tym Wget na Windows 7 (i nowsze), Wget na MacOS i tak dalej.
Ten program nie jest interaktywny, co oznacza, żekażdy proces uruchomiony w ramach jego możliwości nie może być opanowany, można go kontrolować, odwołując się do narzędzi zarządzania samego systemu operacyjnego.
Chociaż nowoczesne przeglądarki zwyklemają wbudowany menedżer pobierania, nadal są przeznaczone do interaktywnej interakcji, dlatego praca ręczna staje się trudna. Natomiast Wget pozwala na automatyzację wielu procesów. Na przykład możliwe jest wcześniejsze przygotowanie dokumentu tekstowego z listą stron internetowych, za pomocą którego można wgrać kilka plików i stron jednocześnie.
Główne funkcje programu
Przede wszystkim jednak jest to program do pobierania plików, z którego wynika oczywistość jego głównej funkcji.
Wget może pobrać dowolny materiał z sieciInternet, czy to dokumenty, pliki wykonywalne, czy całe strony internetowe w formacie HTML (w różnych protokołach). Pliki można pobierać z katalogów przez FTP.
Klient może wykonać ładowanie rekurencyjne, wautomatyczne podążanie za linkami w ramach określonej witryny (lub kilku witryn), przywracając oryginalną strukturę strony internetowej. Możliwe jest przeglądanie pobranych stron bez dostępu do sieci (domyślnie ładowane jako adresy do przeglądania online).
Początkowo Wget przystosowany do powolnych iniestabilne typy połączeń, więc jego ważną cechą jest możliwość odzyskania przerwanego pobierania pliku (jest to możliwe, jeśli serwer obsługuje nagłówki RANGE). Ponadto Wget może monitorować stan serwerów (ich dostępność) w celu przeładowania i aktualizacji (Wget sprawdza nagłówki plików i utrzymuje najnowszą wersję) plików i stron internetowych.
Program posiada również szereg funkcji typowych dla tak zwanych narzędzi pająka, które sprawdzają różne witryny i serwery pod kątem obecności określonych plików.
Obsługiwane platformy
Wget Linux stał się podstawą tego produktu.Jak wspomniano powyżej, początkowo narzędzie działało tylko na Linuksie, ale szybko zyskało popularność i zostało przystosowane do innych systemów. Na przykład możesz znaleźć wersję Wget dla Windows 7 i nowszych systemów operacyjnych, a także zestawy z interfejsem graficznym. Jeśli chodzi o Linuksa, tam program jest często osadzony w pakiecie dystrybucyjnym. Terminale w niektórych kompilacjach Linuksa natywnie obsługują polecenia Wget. Ubuntu, Fedora, openSUSE i inne dystrybucje konsumenckie współpracują z programem, jak mówią, po wyjęciu z pudełka. Następnie omówimy program bardziej szczegółowo.
Polecenia Wget: lista podstawowych parametrów
Podstawowa lista poleceń obejmuje:
- -V - pozwala dowiedzieć się, która wersja programu jest aktualnie używana;
- -h - pokazuje najbardziej kompletną listę poleceń do pracy z aplikacją;
- -b - pozwala umieścić program w tle;
Lista parametrów wiadomości
Polecenia Wget dają pełną kontrolę nad wyświetlanymi informacjami. Oto ich lista:
- -o logfile - tworzy plik logu, który rejestruje cały proces aplikacji;
- -a logfile - umożliwia dodanie istniejącego pliku logu zamiast tworzenia nowego;
- -d - wyświetla informacje niezbędne programistom i debugerowi (pomaga rozwiązywać problemy i naprawiać błędy w pracy klienta);
- -q - wyłącza wyświetlanie komunikatów;
- -v - ta opcja jest domyślnie włączona, dostarcza szczegółowy raport o wszystkich procesach zachodzących w programie (w czasie rzeczywistym);
- -nv — znacznie skraca informacje otrzymywane przez użytkownika w wiadomościach. Pozostają tylko najważniejsze dane i alerty o błędach;
- -i plik (ze ścieżką do pliku) - polecenieumożliwia skanowanie pliku poprzez wyodrębnienie z niego linku i pobranie go; możesz używać plików w różnych formatach, w tym HTML, ale jeśli używasz tego polecenia, nie podawaj ścieżki do pliku w wierszu poleceń;
- -f - prowokuje program do odczytania pliku jakoHTML; przy użyciu tego polecenia do pracy z lokalnym dokumentem HTML może wystąpić błąd, aby go uniknąć wystarczy podać w dokumencie <base href = ”url”>.
Lista parametrów rozruchu
Podstawowe polecenia do obsługi przesyłania plików za pomocą Wget. Oto ich podstawowy zestaw:
- --bind-address = ADRES - to polecenie pozwalaprzekaż dane powiązania do adresu ADDRESS komputera lokalnego. W przypadku korzystania z połączenia TCP / IP polecenie jest wymagane do określenia dokładnego adresu IP (jeśli jest ich kilka).
- -t liczba (trzeba podać liczbę) - pozwala użytkownikowi wybrać liczbę ponownych prób pobrania. Aby uniknąć powtórzeń, określ wartość liczbową równą zero.
- -nc - to polecenie pozwala zwrócić poprzedniestan pobranego pliku w przypadku awarii sieci i przerwania pobierania. Jeśli nie użyjesz jednego z poleceń pobierania (-N, -nc, -r), Wget utworzy jego kopię i ponownie rozpocznie pobieranie. Opcja -r umożliwia nadpisanie istniejących plików.
- -c - ułatwia również dodatkowe ładowanie pliku, wjeśli połączenie zostanie utracone (i gdy Wget przestanie samodzielnie próbować nawiązać połączenie). Wystarczy wskazać to polecenie przed linkiem do pliku. Jeśli podobny plik zostanie znaleziony w używanym katalogu, Wget zidentyfikuje go i automatycznie zdecyduje o jego załadowaniu. Polecenia można używać tylko na serwerach obsługujących nagłówki RANGE.
- --progress - pozwala wybrać rodzaj wyświetlania postępu pobierania. Możesz określić –progress = bar lub progress = kropka.
- --spider - zastępuje polecenie uploadu pliku sprawdzaniem jego obecności na serwerze;
- -w (w sekundach) — określa limit czasu między pobraniami.
- -q (określone w kilobajtach lubmegabajtów) - pozwala wyraźnie kontrolować rozmiar pobieranych danych i ograniczać nadmierne ilości. Niemniej jednak należy zauważyć, że jeden plik zostanie przesłany niezależnie od ustawionego limitu (czyli ta opcja nie będzie działać z jednym plikiem, bez względu na jego wagę).
Lista parametrów HTTP
- --http-user = i --http-passwd = - pozwalają określić nazwę użytkownika i hasło do autoryzacji w zasobie sieciowym, z którego będą przesyłane pliki.
- -C = on/off - pozwala włączyć lub wyłączyć buforowanie danych po stronie serwera.
- --cookies = wł./wył. - tak samo jak forpamięć podręczna, tylko dla plików cookie. Umożliwia zatrzymanie lub wznowienie wymiany danych cookie niezbędnych do prowadzenia przez serwer statystyk odwiedzin. Opcja jest domyślnie włączona, ale pliki cookie nie są zapisywane na dysku twardym.
- --save-cookies - pozwala na zapisywanie ciasteczek (tylko świeże dane).
- --proxy-user i –proxy-passwd — pozwala określić nazwę użytkownika i hasło do autoryzacji na serwerze proxy (jeśli jest używane).
Lista parametrów FTP
Zaawansowane opcje pracy z Wget. Polecenia FTP:
- -nr - zabrania usuwania plików tymczasowych z katalogu .listing, które są generowane spontanicznie podczas pracy z FTP;
- -g on / off - pozwala narzędziu na używanie znaków specjalnych w katalogach FTP;
- --passive-ftp - tego polecenia można użyć, jeśli istnieje zapora sieciowa do aktywacji pasywnego trybu FTP (gdy użytkownik jest odpowiedzialny za nawiązanie połączenia z serwerem).
Polecenia Wget: przykłady użycia
Najprostszy i najczęstszy przykład pracy zprogram oczywiście pobiera pliki. Aby przetestować komendy Wget, można zacząć prosto, znaleźć link do pliku w sieci i wpisać w konsoli/terminalu: Wget * link wskazujący dokładną i pełną ścieżkę do pliku*.
Aby kontynuować pobieranie pliku, użyj: Wget -c * link z dokładną i pełną ścieżką do pliku *.
Jeśli masz zaplanowaną listę łączy do plików i dokumentów, możesz użyć polecenia Wget -i filelist.txt.
Jeśli chodzi o ładowanie stron internetowych, to wszystko.nieco bardziej skomplikowany, ale jednocześnie znacznie zwiększa się liczba możliwości. Aby uniknąć konieczności ponownego wprowadzania parametrów za każdym razem, gdy trzeba załadować stronę internetową, możesz utworzyć skrypty lub zapisać wszystkie ustawienia w pliku .wgetrc.
Stronę internetową można zapisać jako łącza (trudno będzie je otworzyć na komputerze lokalnym) za pomocą polecenia Wget -m * link określając dokładną i pełną ścieżkę do *.
Aby udostępnić tę samą stronę do przeglądania bez połączenia z Internetem, możesz użyć polecenia Wget -r -10 -k * link z dokładną i pełną ścieżką do pliku *.
Błąd formatu Nie znaleziono polecenia Wget, które może wskazywać na literówkę i określony niepoprawny parametr.
