Автор Тема: Инструменты для скачивания сайтов  (Прочитано 957 раз)

Defder

  • Новичок
  • Оффлайн Оффлайн
  • Сообщений: 16
    • Defder.SU
  • KICQ: 77963
Программа wget имеет множество флагов. Практика скачивания сайтов дала понимание, какие и в каком сочетании стоит использовать. Результат я оформил в виде скриптов: http://ratbrowser.com/download/SaveSites_v0.2.zip (актуальная версия далее).

Использовать через командную строку:
Save quickly:
./save example.com

Save with random delays:
./save_gently example.com

Save from start URL:
./save example.com http://www.example.com/page.htm

Save with parameters (see the save script to understand the logic):
./save example.com http://www.example.com/subdir -np
./save example.com http://www.example.com -X /trash --header="Accept: text/html"

Save list:
./save_by_list example.txt

Save default list:
./save_by_list collection.txt
./save_collection

В данной версии поддерживается только bash.
Кто знаком с написанием скриптов в Windows Shell, можете перевести и выложить сюда (я так сходу не помню, как там написать условия в if).
« Последнее редактирование: 27 Декабря 2021 09:46 от Defder »
RatBrowser.com * позволит вернуться в прошлое

Defder

  • Новичок
  • Оффлайн Оффлайн
  • Сообщений: 16
    • Defder.SU
  • KICQ: 77963
Re: Инструменты для скачивания сайтов
« Ответ #1 : 18 Декабря 2021 02:51 »
Проект представлен на GitHub: https://github.com/defder-su/SaveSites.

Каждый сайт может содержать тысячи и десятки тысяч файлов, работать с которыми (например, переместить на другой диск или передать по сети) нереально, поэтому теперь скачанная копия сразу архивируется в zip. Просматривать сайт локально при этом не проблема, если установить какую-нибудь программу для монтирования zip, типа WinMount.
RatBrowser.com * позволит вернуться в прошлое

Defder

  • Новичок
  • Оффлайн Оффлайн
  • Сообщений: 16
    • Defder.SU
  • KICQ: 77963
Re: Инструменты для скачивания сайтов
« Ответ #2 : 27 Декабря 2021 09:53 »
Сохраняется информация о домене.
Добавлена возможность скачивать с Wayback Machine.
RatBrowser.com * позволит вернуться в прошлое