Вопросы по скачиванию

Author Message
Valentin 02/16/2011 05:00 am
Здравствуйте, Олег!

Прошу вас разъяснить мне несколько моментов:

1) Как можно ускорить загрузку сайта с помощью настроек программы? Мне нужен только текст. Пока что нашел только один способ - в типах файлов оставляю галочку только на Текст. Что можете порекомендовать еще?

2) Один раз программа вылетела (наверное, слишком много сайтов поставил параллельно качаться). После запуска она увидела проекты, но не продолжила их загрузку, а начала с нуля качать. Что мне надо было сделать в этой ситуации, чтобы продолжить загрузку с прежнего места?

3) Нужно ли вручную периодически выполнять "Загрузка - Приостановить проект в файл" или автоматического бекапа (который прописан в настройках по умолчанию) раз в 10 минут достаточно?

4) Допустим, скачиваю сайт сегодня и хочу обновить его через пол года. Как я понимаю, мне нужно будет сохранить проект сайта и все выкаченные файлы. После этого выполнить "Загрузка-Загрузить-Обновить проект" и "Загрузка-Загрузить-Загрузить отсутствующие файлы" - в этом случае я получу актуальную версию сайта. Но при этом программе все равно ведь придется скачать все страницы сайта два раза (первый раз, чтобы найти все новые ссылки, второй - чтобы сохранить страницы). Получается, что никакой экономии по времени нет. Прав ли я? И есть ли какая-либо возможность докачивать сайты в дальнейшем, затрачивая минимум времени (чтобы скачивал только новые страницы). Опять же интересует только текст.
Valentin 02/17/2011 03:56 am
И еще вопросы:

1 как правильно скачивать большие сайты?
1.1 создать сначала карту и выкачивать по ней
1.2 просто нажимать загрузить, чтобы карта формировалась по ходу

2 нужно перезагрузиться. как правильно приостанавливать загрузку?
2.1 приостановить в файл (при это в файл сохраняется карта или что?)
2.2 просто нажать стоп, перезагрузиться, запустить программу и нажать "Загрузить отсутствующие файлы"?

3 версия Enterprise поддерживает до 100млн адресов на проект, а сколько поддерживает версия Pro?
Oleg Chernavin 02/18/2011 07:27 am
1. Еще бу установить галку Другие, потому что некоторые страницы могут иметь другое расширение, отличное от перечисленных в категории Текст.

2. Продолжить по Ctrl+F5 или не скачивать существующие файлы в Свойствах проекта.

3. Вполне достаточно того, что прописано по умолчанию. Приостановка в файл полезна, если нужно выключить или перезагрузить компьютер.

4. Нужно только Загрузить-Обновить проект. Потому что отсутствующие файлы в любом случае будут скачаны. "Загрузить отсутствующие файлы" нужно в двух случаях - если первоначальная загрузка была остановлена, либо настройки проекта были изменены для более широкого скачивания, например, разрешен еще один сервер.

1. Проще сразу скачивать.

2. Лучше приостановить в файл - будет сохранена очередь файлов для скачивания.

3. Обычно несколько миллионов адресов.

Best regards,
Oleg Chernavin
MP Staff
Valentin 02/21/2011 05:14 pm
Спасибо за предыдущие ответы!

Появился еще один вопрос: какой правильный синтаксис в разделе Фильтры URL-Пропуск URL?
Я либо нашел баг, либо делаю что-то не правильно :)

Пример:
1) создаем проект для скачивания http://ya.ru
2) в Фильтры URL-Пропуск URL пишем:
*print*
*test*
3) в Тест адрес с помощью Фильтров URL вставляем следущие ссылки для проверки:
http://ya.ru/print/art - The URL will be downloaded.
http://a.ru/print/art - The URL is rejected. Reason: URL Filters | Server
http://ya.ru/test - The URL will be downloaded.
http://a.ru/test - The URL is rejected. Reason: URL Filters | Server
4) меняем условия - пишем саму ссылку в фильтры:
http://ya.ru/test/
и тестируем адрес
http://ya.ru/test/ - The URL will be downloaded

Получается, что фильтры действуют на что угодно, но не на текущий проект (и это не особенность ya.ru - если создавать для любого другого домена, то фильтр будет вести себя также), т.е. толку от фильтров никакого...

Как же правильно их использовать?

Oleg Chernavin 02/22/2011 09:14 am
В этой секции нужно прописывать только полные адреса - никаких *.

Ключевые слова можно в секциях URL Filters - Directory или Filename.

Олег.
Valentin 02/22/2011 09:28 am
Олег, спасибо.
Ограничение по каталогам работает. Имена файлов не тестировал.

Остается вопрос, почему не работает четвертый вариант из теста:
4) меняем условия - пишем саму ссылку в фильтры:
http://ya.ru/test/
и тестируем адрес
http://ya.ru/test/ - The URL will be downloaded

Напомню, что создаем проект для http://ya.ru

У вас также как у меня разрешает загрузку?