Создание локальной копии сайта

Создание локальной копии сайта

Локальная копия сайта при помощи wget

Знакомому студенту потребовалось для практики получить локальную копию сайта. Дело не трудное — для Windows есть отличная и удобная утилита HTTrack Website Copier. Для любителей стандартных («правильных решений») существует утилита wget. Работает, как в Windows, так и в Linux. Сделать копию сайта при помощи wget еще проще:

wget -v -m -k -E http://адрес_сайта/

Описание команды и ключей:

  • -v — показывает статус загрузки
  • -m — делает зеркальную копию сайта (—mirror)
  • -k — автоматически преобразовывает пути и ссылки для локального просмотра. Например закачивается документ /catalog/doc.html со ссылкой на /images/img.gif, то в локальной копии будет записано ../images/img.gif.
  • -E — если тип списанного контента был ‘application/xhtml+xml’ или ‘text/html’, и его расширение не .html (грубо говоря, а реально не удовлетворяет шаблону ‘.[Hh][Tt][Mm][Ll]?’), то добавить .html к имени

Этих параметров вполне достаточно для успешного создания локальной копии сайта. Могут пригодиться еще и такие:

  • -K — опция сохраняет оригинальный файл с расширением .orig рядом с измененным, (использоуется совместно с ключом ‘-k’). Пути и ссылки оставлены без изменений
  • -w 1 — ждать 1 секунду перед следующим запросом на закачку файла (можно поставить больше). Бывает полезно, если на сервере есть ограничения по запросам
  • —output-file=wget.log — пишет процесс работы в лог-файл

Для настройки других параметров используйте man 😉