Как загрузить сайт для офлайн-чтения?
Хотя Wi-Fi и Интернет доступен практически везде, вы можете внезапно оказаться без него. И когда такое окажется, могут быть определенные веб-сайты, которые вы хотели бы сохранить и получить доступ в автономном режиме, возможно, для исследований или развлечений.
Достаточно легко сохранить отдельные веб-страницы для автономного чтения, но что, если вы хотите загрузить весь сайт? Ну, это проще, чем вы думаете! Вот четыре отличных инструмента, которые вы можете использовать для загрузки любого веб-сайта для автономного чтения, не требуемых больших усилий.
WebCopy
Доступно только для Windows.
WebCopy получает URL-адрес веб-сайта и просматривает его для ссылок, страниц и носителей. Когда он находит страницы, он рекурсивно ищет больше ссылок, страниц и носителей, пока не будет обнаружен весь веб-сайт. Затем вы можете использовать параметры конфигурации, чтобы решить, какие части загружать автономно.
Интересная вещь в WebCopy заключается в том, что вы можете настроить несколько «проектов», каждый из которых имеет свои собственные настройки и конфигурации. Один проект может копировать многие веб-сайты, поэтому используйте их с организованным планом (например, проект «Tech» для копирования сайтов технологий).
HTTrack
Доступно для Windows, Linux и Android.
HTTrack более известен, чем WebCopy, и, возможно, лучше, потому что он с открытым исходным кодом и доступен на других платформах, кроме Windows, но интерфейс немного неуклюжий и оставляет желать лучшего.
Подобно WebCopy, он использует подход, основанный на проектах, который позволяет копировать несколько веб-сайтов и сохранять их. Вы можете приостановить и возобновить загрузку, и обновлять скопированные веб-сайты путем повторной загрузки старых и новых файлов.
SiteSucker
Доступно для Mac и iOS.
Если у вас Mac, лучшим вариантом является SiteSucker. Этот простой инструмент обрабатывает все веб-сайты и поддерживает одну и ту же общую структуру и включает в себя все соответствующие мультимедийные файлы (например, изображения, PDF-файлы, таблицы стилей). Он имеет чистый и простой в использовании интерфейс, который не может быть проще в использовании: вы буквально вставляете URL-адрес веб-сайта и нажимаете Enter.
Одной из замечательных функций является возможность сохранить загрузку в файл, а затем использовать этот файл для загрузки тех же самых точных файлов и структуры в будущем (или на другом компьютере). Эта функция также позволяет SiteSucker приостанавливать и возобновлять загрузку.
SiteSucker стоит 5 долларов США и не поставляется со свободной версией или бесплатной пробной версией, что является ее самым большим недостатком. Для последней версии требуется macOS 10.13 High Sierra или более поздняя версия. Более старые версии SiteSucker доступны для старых систем Mac, но некоторые функции могут отсутствовать.
Wget
Доступно для Windows, Mac и Linux.
Wget — это утилита командной строки, которая может извлекать все виды файлов по протоколам HTTP и FTP. Поскольку веб-сайты обслуживаются через HTTP, и большинство веб-медиафайлов доступны через HTTP или FTP, это делает Wget отличным инструментом для копирования веб-сайтов.
Хотя Wget обычно используется для загрузки отдельных файлов, его можно использовать для рекурсивной загрузки всех страниц и файлов, которые находятся на начальной странице:
wget -r -p //www.mail.ru
Тем не менее, некоторые сайты могут обнаружить и предотвратить то, что вы пытаетесь сделать, потому что копирование веб-сайта может стоить им большой пропускной способности. Чтобы обойти это, вы можете замаскировать себя как веб-браузер с помощью строки пользовательского агента:
wget -r -p -U Mozilla //www.mail.ru
Если вы хотите быть незаметным, вы также должны ограничить скорость загрузки (чтобы вы не зависели от пропускной способности веб-сервера) и пауза между каждой загрузкой (так чтобы вы не загружали веб-сервер большим количеством запросов):
wget -r -p -U Mozilla —wait = 10 -limit-rate = 35K //www.mail.ru
Wget поставляется в комплекте с большинством систем на базе Unix. На Mac вы можете установить Wget с помощью одной команды Homebrew: brew install wget (как настроить Homebrew на Mac).
Какие сайты вы хотите скачать?
Теперь, когда вы знаете, как загрузить весь сайт, вы никогда не должны быть пойманы без чтения, даже если у вас нет доступа в Интернет.
Но помните: чем больше сайт, тем больше загрузка. Мы не рекомендуем загружать огромные сайты, потому что вам понадобятся тысячи МБ для хранения всех медиафайлов.
Лучшие сайты для загрузки — это те, у которых много текста и немного изображений. Статические информационные сайты, сайты онлайн-ebook и сайты, которые вы хотите заархивировать.
