Что такое web archive и как им пользоваться

Преимущества использования программ закачки сайтов

Самый простой вариант сохранения интернет-страниц — это использование штатных средств браузеров. Но в этом случае пользователь сталкивается с двумя непреодолимыми проблемами:


1. Страницы приходится сохранять вручную, по одной. Если страниц много, то это неблагодарный труд.

2. Все сохраненные страницы никак не связаны между собой. Открыв первую страницу и нажав ссылку на вторую страницу, браузер будет пытаться открыть адрес в интернете, а не сохраненный файл на Вашем компьютере.

Есть еще третья проблема поменьше — если на всех этих сохраненных страницах используется одна большая картинка (например логотип сайта), то такая картинка будет сохраняться в новый файл рядом с сохраняемыми страницами. А это значит что будет напрасно расходоваться место на жестком диске для хранения многократно дублирующейся объемной информации.

Именно для решения этих трех проблем и были придуманы программы, знающие как скачать сайт целиком сохранив не только текст страниц и изображения, но и структуру ссылок между ними. Таким образом, если такой программой-качалкой скачать статический сайт (состоящий из html, css-файлов и картинок), то можно получить точную копию всех этих файлов на своем жестком диске.

Онлайн-сервисы

Как несложно догадаться из названия – это специальные сайты, с помощью которых можно скачать другие сайты из интернета

Преимущество данного подхода в том, что не нужно устанавливать дополнительных программ, и, соответственно, не важно какая операционная система установлена. Вроде бы всё классно – вставил имя сайта, нажал скачать, и получаешь готовый архив

Но на деле всё оказалось не настолько радужным.

Недостаток сервисов в том, что их мало, а те что есть, работают так себе, либо просят денег. Лично у меня ни разу не получалось скачать даже одностраничный сайт. Сервисы показывали процесс загрузки и зависали. Но тем не менее, список прилагаю:

  • WebSiteDownloader — позволяет, якобы, выгрузить сайт в архиве, англоязычный
  • — платный с тарифной сеткой. На момент написания работал плохо, https не поддерживается, скаченный сайт открылся криво. Проект развивается, есть демо на 25 страниц.

В общем у меня сложилось впечатление, что эти сервисы либо глючат, либо грузят не совсем то, что хотелось бы, либо годятся только для маленьких сайтиков.

Как сохранить страницу из интернета в компьютер

1. Щелкните по пустому месту страницы правой кнопкой мышки. Из списка выберите «Сохранить как…».

Главное навести курсор туда, где нет никаких картинок, кнопок и рекламы.

Должен появиться примерно такой список, из которого выбираем пункт «Сохранить как…» или «Сохранить страницу как…».

правая кнопка мыши — Сохранить как…

Если такого пункта вы у себя не находите или список вообще не открывается, нажмите комбинацию клавиш Ctrl+S (зажмите клавишу Ctrl на клавиатуре компьютера, затем английскую букву S, после чего отпустите обе клавиши).

2. Появится окошко сохранения, где нужно выбрать то место в компьютере, куда отправится страница сайта.

Окно сохранения

Например, я хочу записать ее в Локальный диск D своего компьютера в папку «Статьи». Значит, в окошке с левой стороны выбираю диск D.

Выбор места на компьютере

И внутри открываю нужную мне папку – щелкаю по ней два раза левой кнопкой мышки.

Выбор нужной папки

3. Если надо, меняем название и нажимаем «Сохранить».

Изменение названия и сохранение

После этого страница закачивается на компьютер. Длится это обычно несколько секунд. Искать ее нужно будет в том месте, которое выбирали в пункте 2.

Как правило, страницы из интернета сохраняются на компьютер вместе с папками.

Сохраненная страница сайта

Открывать нужно именно файл. В папку же закачивается то, из чего состоит страница (кроме текста) — картинки, оформление и др. Можно сказать, это служебная папка. Если ее удалить, то будет открываться текст — без картинок и дизайна.

Получается немного неудобно, особенно, если нужно сохранить несколько страниц. Для каждой из них будет создана отдельная папка, которая не используется, но и удалить ее нельзя.

web.archive.org

В самом верху написано, сколько всего снимком страницы сделано, дата первого и последнего снимка.

Затем идёт шкала времени на которой можно выбрать интересующий год, при выборе года, будет обновляться календарь.

Обратите внимание, что календарь показывает не количество изменений на сайте, а количество раз, когда был сделан архив страницы.

Точки на календаре означают разные события, разные цвета несут разный смысл о веб захвате. Голубой означает, что при архивации страницы от веб-сервера был получен код ответа 2nn (всё хорошо); зелёный означает, что архиватор получил статус 3nn (перенаправление); оранжевый означает, что получен статус 4nn (ошибка на стороне клиента, например, страница не найдена), а красный означает, что при архивации получена ошибка 5nn (проблемы на сервере). Вероятно, чаще всего вас должны интересовать голубые и зелёные точки и ссылки.

Используя эту миниатюру вы сможете переходить к следующему снимку страницы, либо перепрыгнуть к нужной дате:

Кроме календаря доступна следующие страницы:

  • Collections — коллекции. Доступны как дополнительные функции для зарегистрированных пользователей и по подписке
  • Changes
  • Summary
  • Site Map

Changes

«Changes» — это инструмент, который вы можете использовать для идентификации и отображения изменений в содержимом заархивированных URL.

Начать вы можете с того, что выберите два различных дня какого-то URL. Для этого кликните на соответствующие точки:

И нажмите кнопку Compare. В результате будут показаны два варианта страницы. Жёлтый цвет показывает удалённый контент, а голубой цвет показывает добавленный контент.

В этой вкладке статистика о количестве изменений MIME-типов.

Site Map

Как следует из название, здесь показывается диаграмма карты сайта, используя которую вы можете перейти к архиву интересующей вас страницы.

Если вместо адреса страницы вы введёте что-то другое, то будет выполнен поиск по архивированным сайтам:

Показ страницы на определённую дату

Кроме использования календаря для перехода к нужной дате, вы можете просмотреть страницу на нужную дату используя ссылку следующего вида: http://web.archive.org/web/ГГГГММДДЧЧММСС/АДРЕС_СТРАНИЦЫ/

Обратите внимание, что в строке ГГГГММДДЧЧММСС можно пропустить любое количество конечных цифр.

Если на нужную дату не найдена архивная копия, то будет показана версия на ближайшую имеющуюся дату.

CyotekWebCopy – программа понятная всем

Работать с ней так же просто, так что знание английского не обязательно.

Скопируйте его прямо из используемого браузера и вставьте вот сюда (как показано на картинке):


Далее в нижней графе проверьте или укажите путь, куда будут скачиваться все прилагаемые к сайту файлы. При желании его можно легко изменить, щелкнув по расположенной справа иконке. И все. Жмем на пуск и идем пить кофе или чай, ведь скачивание всего вложенного коннекта может занять довольно много времени (это если бы кликнули одновременно по всем ссылкам, имеющимся на странице).

По завершении процесса идете в папку сохранения и открываете основной html файл. Самое главное, что теперь возможен просмотр без интернета. То есть штука реально полезная, ведь существует множество ситуаций, когда программа CyotekWebCopy может вам пригодится:

  • когда вы постоянно пользуетесь сайтами, предоставляющими важную справочную информацию;
  • так можно читать книги, доступные исключительно в онлайн-режиме;
  • загрузить контент с картинками, которые вам нужны для работы или дальнейшего использования;

Освоившись с базовыми параметрами этой программы, вы можете углубиться в детальные настройки и я уверен что это даст вам дополнительные возможности.

Как найти нужный веб-архив и восстановить сайт без бекапа

По архивам можно перемещаться и с помощью временной шкалы расположенной вверху страницы, где вертикальными черными черточками отмечены имеющиеся для этого сайта слепки. Иногда, веб-архивы могут быть битыми, тогда придется открыть ближайший к нему слепок.

Щелкнув по голубому кружочку мы можем увидеть ссылки на несколько архивов, отличающихся временем их снятия.

Возможно, что это делается во избежании потери данных за счет неизбежной порчи жестких дисков в хранилищах. Перейдя к просмотру одного из веб-архивов, вы увидите копию своего (в данном примере моего) сайта с работающими внутренними ссылками и подключенным стилевым оформлением. Правда, не идеально работающим.

Например, кое-что из дизайна у меня все же перекосило и боковое меню работающее на ДжаваСкрипте полностью исчезло:

Но это не столь важно, ибо в исходном коде страницы с web.archive.org это меню, естественно, присутствует. Однако, просто так скопировать текст этой страницы к себе на сайт взамен утерянной не получится

Почему? Да потому что путешествие внутри сайта из прошлого будет возможно лишь в случае замены всех внутренних ссылок на те, что генерит Webarchive (в противном случае вас перебросило бы на современную версию ресурса).

Выглядят эти ссылки примерно так:

http://web.archive.org/web/20111013120145/https://ktonanovenkogo.ru/seo/search/samostoyatelnoe-prodvizhenie-sajta-kak-prodvigat-samomu-vnutrennej-optimizaciej.html

Понятно, что можно будет вручную отсечь вступительную часть ссылок (), получив таким образом рабочий вариант. Можно этот процесс даже автоматизировать с помощью инструмента поиска и замены редактора Notepad, но еще проще будет воспользоваться встроенной в этот сервис возможностью замены внутренних ссылок на оригинальные.

Для этого копируете адрес страницы с нужным слепком вашего сайта (из адресной строки браузера — начинается с ). Он будет иметь примерно такой вид:

http://web.archive.org/web/20111013120145/https://ktonanovenkogo.ru/

И вставляете в него конструкцию «id_» в конце даты (), чтобы получилось так:

http://web.archive.org/web/20111013120145id_/https://ktonanovenkogo.ru/

Теперь измененный адрес обратно возвращаете в адресную строку браузера и жмете на Enter. После этого страница c архивом вашего сайта обновится и все внутренние ссылки станут прямыми. Можно будет копировать текст статьи из исходного кода вебархива.

Понятно, что восстановление таким образом огромного сайта займет чудовищное количество времени, но когда другого варианта нет, то и такой покажется манной небесной. К тому же, страдают невозвратной потерей контента обычно только начинающие вебмастера, у которых этого самого контента было мало, а более-менее опытные сайтовладельцы, уж не раз обжигавшиеся на подобных вещах, делают бэкапы файлов и базы по пять раз на дню.

Если вы захотите увидеть все страницы вашего (или чужого) сайта, которые содержатся в недрах этого мастодонта, то вам нужно будет вставить в адресную строку браузера следующий адрес и нажать Enter:

http://wayback.archive.org/web/*/ktonanovenkogo.ru*

Вместо моего домена можно использовать свой. На открывшейся странице вы получите возможность наложить фильтр в предназначенной для этого форме:

Например, я захотел увидеть лишь текстовые файлы своего блога, которые заглотил Web Archive. Зачем — не знаю, но захотел.

Сервисы и трюки, с которыми найдётся ВСЁ.

Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.

Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.

Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.

Услуги по переносу сайтов

Если нет желания заниматься переездом самостоятельно, или Вы боитесь допустить ошибки при переносе, можно обратиться в нашу службу поддержки. При заказе наших услуг хостинга перенос сайта мы осуществляем бесплатно.

Исключения – нестандартный перенос (самописная CMS, вирусы в файлах сайта, изменение структуры ссылок, добавление и настройка SSL сертификата и т.д. В случае, если перенос сайта платный – мы заранее уведомляем о причинах.)


iPipe – надёжный хостинг-провайдер с опытом работы более 15 лет.

Мы предлагаем:

  • Виртуальные серверы с NVMe SSD дисками от 299 руб/мес
  • Безлимитный хостинг на SSD дисках от 142 руб/мес
  • Выделенные серверы в наличии и под заказ
  • Регистрацию доменов в более 350 зонах

Регистрация нового домена

Прежде, чем начинать перенос сайта, нужно иметь новый адрес, где он будет расположен. Покупка домена проходит по стандартной системе, с учетом доменной зоны, уровня, возможности переноса сайта на купленный домен, и т.д.

Обратите внимание – только что зарегистрированный домен для большинства пользователей сети интернет станет доступен лишь спустя 24-48 часов, это время требуется для обновления данных на NS-серверах. После процедуры регистрации и присваивания доменного имени, можно начинать работу со старым сайтом

Данные, полученные при регистрации нового имени, нужно перенести в настройки текущего сайта, для перенаправления пользователей по новому адресу

После процедуры регистрации и присваивания доменного имени, можно начинать работу со старым сайтом. Данные, полученные при регистрации нового имени, нужно перенести в настройки текущего сайта, для перенаправления пользователей по новому адресу.

Принципы работы веб-архивов

Веб-архивы время от времени посещают открытые к доступу сайты. При одном таком посещении автоматически создаются точные копии страниц, которые сохраняются на сервере архива. Под каждой копией отмечается дата. Дальше любой пользователь может восстановить нужную версию сайта через календарь.

2.1.1. Webarchive

Самый крупный ресурс, на котором хранится история большинства сайтов, — Webarchive. Иногда этот сервис называют машиной времени сайтов или Wayback Machine. Здесь можно посмотреть даже историю тех ресурсов, которые давно прекратили существование.

Чтобы проверить состояние домена, нужно ввести его в строку поиска и нажать Enter. Сервис выдаст информацию о сайте с момента его первой регистрации. В нижней части страницы отображается календарь с кликабельными датами. После нажатия на число архив покажет версию сайта, которая была актуальна в тот день.

Синим цветом отмечены даты сохранения копий страниц сайта, зелёным — версии с редиректами. С помощью стрелок вверху можно проследить историю изменения сайта по хронологии.

Бывает, что история сайта недоступна. Этому есть несколько причин:

  • в файле robots.txt есть запрет на архивацию данных,
  • владелец домена удалил сохраненные версии сайта,
  • сайт был закрыт из-за нарушений прав собственности.

Чтобы запретить архивацию сайта, можно прописать в robots.txt директиву на запрет сохранения копий:

User-agent: ia_archiver Disallow: /

После этого никто не сумеет восстановить страницы вашего сайта в будущем. Но и вы сами не сможете сделать это, если потребуется.

Если в Webarchive нет интересующего вас сайта, вы можете сами добавить его в сервис, сохранив актуальную копию любой страницы сайта. Для этого нужно ввести её текущий адрес и нажать «Save page».

Этот сервис также может быть полезен, когда необходимо восстановить неработающий сайт через инструмент RoboTools c большой базой уникальных текстов. Например, домен выставлен на продажу, а в его истории сохранены страницы с хорошими текстами. Так как сайта уже не существует — его страницы не индексируются. Поэтому старые тексты можно использовать для наполнения нового проекта.

2.1.2. Whois

Еще один инструмент для проверки доменных имён — Whois. С его помощью можно узнать:

  • занят ли домен,
  • был ли он забанен,
  • количество регистраций,
  • название и локацию серверов,
  • дату основания и другую информацию.

Для этого нужно ввести URL в строку поиска.

После анализа сайта при нажатии на стрелку в разделе «Dates» открывается более подробная информация о домене.

При необходимости проверить данные по Wayback Machine и Whois сразу нескольких сайтов, воспользуйтесь Netpeak Checker.

  1. Загрузите список доменов в программу.
  2. Отметьте нужные пункты из чекбоксов «Wayback Machine» и «Whois».

  3. Начните анализ.
  4. По окончании нужные данные попадут в основную таблицу.

2.1.3. Whoishistory

Узнать историю домена также можно на сайте Whoishistory.

Этот сервис анализирует только домены из зоны .ru, .рф, .su. Выдаёт информацию о сервере, где расположен домен, количестве регистраций в разные временные периоды.

Скачиваем сайт на компьютер

Всего выделяется три основных способа сохранения страниц на компьютере. Каждый из них актуален, но имеются как преимущества, так и недостатки любого варианта. Мы рассмотрим все три способа подробнее, а вы выберите идеально подходящий для себя.

Способ 1: Скачивание каждой страницы вручную

Каждый браузер предлагает скачать определенную страницу в формате HTML и сохранить ее на компьютере. Таким способом реально загрузить весь сайт целиком, но это займет много времени. Поэтому данный вариант подойдет только для мелких проектов или если нужна не вся информация, а только конкретная.

Скачивание выполняется всего одним действием. Нужно нажать правой кнопкой мыши на пустом пространстве и выбрать «Сохранить как». Выберите место хранения и дайте название файлу, после чего веб-страница будет загружена полностью в формате HTML и доступна к просмотру без подключения к сети.

Она откроется в браузере по умолчанию, а в адресной строке вместо ссылки будет указано место хранения. Сохраняется только внешний вид страницы, текст и картинки. Если вы будете переходить по другим ссылкам на данной странице, то будет открываться их онлайн-версия, если есть подключение к интернету.

Способ 2: Скачивание сайта целиком с помощью программ

В сети находится множество похожих друг на друга программ, которые помогают загрузить всю информацию, что присутствует на сайте, включая музыку и видео. Ресурс будет находиться в одной директории, за счет чего может осуществляться быстрое переключение между страницами и переход по ссылкам. Давайте разберем процесс скачивания на примере Teleport Pro.

  1. Мастер создания проектов запустится автоматически. Вам нужно только задавать необходимые параметры. В первом окне выберите одно из действий, которое хотите осуществить.

В строку введите адрес сайта по одному из примеров, указанных в окне. Здесь также вводится количество ссылок, что будут загружены со стартовой страницы.

Остается только выбрать информацию, которую требуется загрузить, и, если нужно, вписать логин и пароль для авторизации на странице.

Скачивание начнется автоматически, а загруженные файлы будут отображаться в главном окне, если открыть директорию с проектом.

Способ сохранения с помощью дополнительного софта хорош тем, что все действия выполняются быстро, от пользователя не требуется никаких практических знаний и навыков. В большинстве случаев достаточно просто указать ссылку и запустить процесс, а после выполнения вы получите отдельную папку с готовым сайтом, который будет доступен даже без подключения к сети. Кроме этого большинство подобных программ оборудованы встроенным веб-обозревателем, способным открывать не только скачанные страницы, но и те, что не были добавлены в проект.

Подробнее: Программы для скачивания сайта целиком

Способ 3: Использование онлайн-сервисов

Если вы не хотите устанавливать на компьютер дополнительные программы, то данный способ идеально подойдет для вас. Стоит учитывать, что онлайн-сервисы чаще всего помогают только загрузить страницы. Кроме того, сейчас практически нет бесплатных вариантов того, как это можно сделать. Сайты в интернете либо платные, либо условно-платные (предлагающие бесплатно скачать одну страницу или один сайт, а затем требующие покупки PRO-версии аккаунта). Один из таких — Robotools, он умеет не только скачивать любой сайт, но и позволяет восстановить его резервную копию из архивов, умеет обрабатывать несколько проектов одновременно.

Чтобы ознакомиться поближе с данным сервисом разработчики предоставляют пользователям бесплатный демо-аккаунт с некоторыми ограничениями. Кроме этого есть режим предпросмотра, который позволяет вернуть деньги за восстановленный проект, если вам не нравится результат.

В этой статье мы рассмотрели три основных способа скачивания сайта целиком на компьютер. Каждый из них имеет свои преимущества, недостатки и подходит для выполнения различных задач. Ознакомьтесь с ними, чтобы определиться, какой именно будет идеальным в вашем случае.

Опишите, что у вас не получилось. Наши специалисты постараются ответить максимально быстро.

Настройка параметров закачки

Тут во вкладке «Ограничения» нужно указать, на какую глубину (на сколько уровней) осуществлять переход по ссылкам. Также не лишним будет ограничить скорость закачки, чтобы не перегружать сервер сайта интенсивными запросами.


Другим важным моментом является указание типов файлов, которые необходимо загружать. Обычно сайт загружают вместе с картинками. А если на сайте есть музыкальные и видеофайлы, то их загрузка может оказаться нереальной задачей. Поэтому в каждом отдельном случае взвешивается целесообразность загрузки того или иного содержимого. И на основании этого составляется список допустимых и недопустимых к загрузке типов файлов. Задать этот список можно на вкладке «Фильтры».

В программе HTTrack содержится и множество других настроек, которые в отдельных случаях могут быть востребованы. Но в подавляющем большинстве случаев достаточно выставить только глубину сканирования и типы файлов.

Программа WinHTTrack WebSite Copier

Всё самое нормальное — платное, но есть варианты. Бесплатное решение — программа WinHTTrack WebSite Copier. Хотя это ненашенский продукт, русский язык имеется, его нужно выбрать после установки программы.

Вы можете посмотреть видео или читать дальше статью:

Посмотреть это видео на YouTube

Пользоваться программой довольно легко, нам в этом поможет «мастер». После запуска программы отображается дерево папок и файлов слева, и приглашение мастера справа. Дерево нужно только для того чтобы открыть ранее сохранённый проект. Нажимаем «Далее» чтобы начать новый проект или возобновить прерванную закачку:

Вводим любое название и путь для сохранения сайта. Путь по умолчанию «C:\Мои Web Сайты» лучше поменять на «C:\Downloads»:

На третьем шаге нужно ввести домен. Для примера, я буду скачивать свой сайт it-like.ru. Тип проекта можно выбрать «Загрузить сайт(ы)», если это новый проект, или «Продолжить прерванную загрузку», если нужно докачать сайт. Вариант «Обновить существующую закачку» полезен для тех, кто уже имеет копию сайта, но хочет её обновить до последней.

Здесь же можно задать дополнительные параметры, которые могут сократить время загрузки. По умолчанию можно ничего не менять, программа и так отработает нормально

Но всё же рекомендую обратить внимание на некоторые параметры:

  • Фильтры. Вы можете ограничить тип файлов для закачки. Например, запретить или разрешить скачивание видео или архивов (ZIP, RAR, CAB). По умолчанию включены картинки png, jpg, gif, файлы стилей css и скрипты js.
  • Ограничения. Задайте максимальную глубину сканирования сайта. Глубина – это количество переходов по ссылкам со стартовой страницы. Например, если стартовой является главная страница сайта, а глубина равна 2, то программа скачает первый уровень, т.е. главную страницу, и страницы на которые есть ссылки с главной, и всё. Если задать глубину 3, то будут скачены более глубокие страницы. Оптимальным является 3-4 уровня.
  • Линки. Поставьте галочку «Получить вначале HTML файлы!», это позволит сначала выкачать основной текстовый контент сайта, а затем уже картинки и другие файлы.

Идём дальше. На четвёртом шаге можно позволить автоматически устанавливать интернет-соединение и разрывать его по окончании закачки. Также можно выставить автоматическое выключение компьютера, по окончании работы (галочка «Shutdown PC when finished»).

Нажимаем «Готово» и идём за чашечкой кофе, пока WinHTTrack WebSite Copier работает за нас.

Готовый сайт можно открыть двумя способами.

  • из папки, в которую сохраняли проект, кликнув по файлу index.html. В этом случае откроется страница со списком всех проектов. Нужно выбрать интересующий.
  • из папки с именем самого проекта, кликнув по файлу index.html. В этом случае сразу откроется сайт.

Таблица: общее описание

  Как создать сайт самому: ТОП-20 сервисов

Название Описание Распространение

Site2Zip

Сайт, с простым и понятным интерфейсом на русском языке, сайт загружается в два клика. Без регистрации. Бесплатно

Webparse

Интересный инструмент для сознания оффлайн версии сайта, Удобный и простой в использовании. Необходима регистрация. Есть мобильная версию сайта. Бесплатно (1 скачивание)

Web2PDFConvert

Данный сервис может конвертировать отдельные страницы в PDF, JPG, PNG форматы. Очень удобно когда нужно сохранить рецепт или какое-нибудь руководство. Бесплатно

WinHTTrack

Программка позволяет делать копии сайтов для просмотра в оффлайн режиме. Есть русская версия программы. Бесплатно

Cyotek WebCopy

Мощный инструмент для загрузки сайтов на ваш компьютер Бесплатно

Teleport Pro

Еще один крутой инструмент для загрузки сайтов как полностью так и отдельных его разделов на ваш ПК или внешний диск. Бесплатно (40 запусков) Цена: $50

Offline Explorer

Хорошая программа позволяющая делать до 500 одновременных копии сайтов. Очень широкий функционал с автоматизированными процессами. Бесплатно (30 дней) Цена: 1500 руб.

Webcopier

Браузер для загрузки и просмотра сайтов в оффлайн режиме Бесплатно (15 дней) Цена: $30

С этим читают