Отсутсвующие файлы

Author Message
Baz 12/31/2011 04:16 am
Наверняка об этом уже спрашивалось, но всё же...
После закачки проекта остаётся много не скачаных файлов(не говоря уже о тех что просто отказываются отображаться изза каких то локальных ошибок и легко появляются после обновления страницы). Обновление проекта не помогает. Почему файлы теряются без видимых причин и как эту проблему можно решить без проверки вручную - это очень глупо и трудно. - Если эти проблемы являются ошибками программы, то я надеюсь что разработчики узнают о них и исправят.
Oleg Chernavin 01/02/2012 09:39 am
Скорее всего, проблемы с Картой проекта. Я исправил одну ошибку на днях. Думаю, что это может быть как раз такой случай. Вот новая версия:

http://www.metaproducts.com/download/betas/eesetup.exe

После обновления, выберите проект и запустите команду Сервис - Восстановление Карты Проекта.

Best regards,
Oleg Chernavin
MP Staff
Baz 01/05/2012 12:43 pm
Не уверен что сработало именно ваше исправление, но я заметил одну особенность: что бы не скачивать все страницы большого сайта я ставлю словесные фильтры вроде "size", однако при этом в список исключений попадают и нужные страницы содержащие слова "pagesize" или "plus-size" - эти слова я добавляю в разрешающий фильтр. Так вот, когда разрешающий фильтр включён ничего кроме главной страницы не желает скачиваться, а когда я отключаю все слова из белого списка - закачка начинается весьма нормально.
Oleg Chernavin 01/05/2012 05:46 pm
Да, лучше из списка разрешенных слов все убрать. А в запрещенных, возможно нужно:

^size

Это будет означать все, что начинается с size.

Олег.
Baz 01/06/2012 08:37 am
К сожалению этот способ не подходит, т.к. size никогда не стоит в начале - это параметр(например /page.aspx?size=10).
Oleg Chernavin 01/06/2012 09:34 am
Хорошо. А если исключить:

?size=
&size=

Олег.
Baz 01/08/2012 11:24 am
Этот вариант похоже сработал как нужно. Я и сам об этом думал, но побоялся что символы ? и & являются каким нибудь шаблоном.

Далее я пытаюсь решить проблему с картинками подгружаемыми скриптами - опции "исследовать формы" и "вычислять выражения в скриптах" не помогают. На сайте изображения представлены в трёх размерах: маленький средний и большой. При наведении мыши на маленкое - загружается среднее, при наведении на среднее - загружается большое. При открытии страницы загружается только одно среднее и большое изображение, а остальные средние и большие загружаются скриптами при наведении мыши - программа их не обнаруживает и не загружает. Имена изображений всех размеров совпадают, но находятся в разных папках (/icon/abc/a1x.jpg, /medium/abc/a1x.jpg, /large/abc/a1x.jpg).
Если пожелаете посмотреть на проблему самостоятельно, то я напишу адрес сайта который пытаюсь скачать и список необходимых исключений.

И есть ли в программе опция позволяющая отслеживать список не отвечающих файлов и не перепроверять весь сайт?
Oleg Chernavin 01/09/2012 05:29 am
Да, можно закачать сайт, а потом установить "Не скачивать существующие файлы".

Насчет картинок - 3 способа:

1. Фильтры URL - Каталоги - запретить icon и medium. Фильтры Файлов - Изображения - в поле Расположение - Загружать используя Фильтры URL.

2. Фильтры Файлов - Изображения - установить минимальный размер, напр. 50 или 100 килобайт.

3. Фильтры Файлов - Изображения - Размеры Изображений - выставить минимальные размеры в пикселях.

Олег.
Baz 01/09/2012 11:08 am
Насчёт картинок: вы не совсем поняли - я как раз хочу скачать все картинки, но средние и большие, которые подгружаются скриптами программа не обнаруживает.
Oleg Chernavin 01/09/2012 01:48 pm
Да, понимаю. Но как я могу помочь? Если хотя бы знать сайт, можно посмотреть, какие на нем скрипты и есть ли способ их обрабатывать для получения ссылок.
Baz 01/11/2012 12:09 pm
Очень хорошо что вы согласились взглянуть.
Сайт http://www.flirtcatalog.com/.
На всякий случай исключения, которые помогут значительно сократить количество страниц при загрузке:
?color
?size
?pricerange
?brand
?sortby
&color
&size
&pricerange
&brand
&sortby
^on-sale
?isajax
&isajax
&suppliercode
?suppliercode
^new-arrivals
^nsearch
И ещё многие повторяющиеся страницы можно убрать при помощи следующих, но тогда станет очень неудобно просматривать сайт:
?breakcolor
&breakcolor
Oleg Chernavin 01/13/2012 02:22 pm
Я изучил страницу http://www.flirtcatalog.com/p-97087-metallic-lace-print-mini-skirt.aspx. Ссылка на все размеры картинок дана полностью в простом виде. Я загрузил ее с уровнем=1 и в Карте проекта нашел все нужные картинки.

Возможно, у Вас запрещены загрузки файлов или изображений с других сайтов.

Олег.
Baz 01/24/2012 04:47 pm
Я запустил мастер. Ввёл этот адрес. Дальше ничего не менял(уровень 1 -> загружать файлы с первой страницы -> загружать только с начального адреса->создать карту)
И там не было изображений вроде
http://cdn.flirtcatalog.com/images/product/large/do/DOG3747NBM_2_.jpg
которые подгружаются скриптами.
Oleg Chernavin 01/25/2012 10:04 am
Режим создания Карты как раз не скачивает картинки, а изучает структуру сайта и ссылок на нем. Сделайте нормальное скачивание.
Baz 01/26/2012 02:20 pm
Именно на карте не было этих картинок.
Oleg Chernavin 01/28/2012 12:00 pm
Да, наверное, с созданием Карты есть проблемы. Потому что при обычной загрузке все файлы скачиваются нормально, включая и большие изображения.

Буду изучать, как это улучшить.

Олег.
Baz 02/05/2012 02:04 pm
Я повторил описаные действия с мастером, но вместо карты указал немедленное скачивание, но все картинки всё равно не скачались.
Oleg Chernavin 02/08/2012 01:14 am
Можно попросить точные настройки проекта? Выберите его, нажмите Ctrl+C и вставьте в сообщение в форуме. Я его скачаю и посмотрю, почему именно не загружаются картинки.

Олег.
Baz 02/18/2012 10:12 am
Извините что давно не заходил - не думал что от меня ещё может что то понадобится.

[Object]
OEVersion=Enterprise 6.1.0.3714
Type=0
IID=7014
Caption=www.flirtcatalog.com/p-97087-metallic-lace-print-mini-skirt.aspx
URL=http://www.flirtcatalog.com/p-97087-metallic-lace-print-mini-skirt.aspx
Dir=F:\My documents\sdfsdfs\
Lev=1
LimTSize=10000
LimNumber=5000
LimTime=100
FTText.Exts=htmlhtmaspaspxjspstmstmlidcshtmlhtxtxttextxspxmlrxmlcfmwmlphpphp3
FTImages.Exts=gifjpgjpegtiftiffxbmfifbmppngipxjp2j2cj2kwbmplwfwebp
FTVideo.Exts=mpgavianimpegmovflvfliflcvivrmramrvasfasxwmvm1vm2vvobsmilmp4m4v
FTAudio.Exts=wavriffmp3midmp2m3uravocwmaapeoggm4aaif
FTArchive.Exts=7zziparcgzzarjlhalayleirarcabtarpakacejarpdftgzexeiso
FTUDef.Exts=jsaxdcssssivbsdtdxslswfclassent
FTText.B=ooxooo
FTImages.B=ooxooo
FTVideo.B=ooxooo
FTAudio.B=ooxooo
FTArchive.B=ooxooo
FTUDef.B=ooxooo
FTOther.B=ooxooo
FTSizes=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,3,3,0,3,0,0,0,0,0,0,0,0
NotIgnoreLogout=False
RSrvsBx=1
RPathBx=1
RProt=-1
LastStart=80:96:0:60:61:250:227:64:
LastEnd=122:109:251:76:61:250:227:64:
PrjStart=121:153:255:59:61:250:227:64:
LastStarted=05.01.2012 21:55:32
LastEnded=05.01.2012 21:58:31
S200=1154
S400=13
SPar=98
SSav=1154
SLast=200
SSiz=28510539
SMdf=1153
SHTML=64
SSuccDowns=1
LFiles=1167
LSize=28457029
Flags=1
ImgDim=0,0,0,0
PrevURL=http://www.flirtcatalog.com/p-97087-metallic-lace-print-mini-skirt.aspx
ConvertRSS=True
LIndexed=False
IndexFiles=False
Oleg Chernavin 02/20/2012 09:54 am
OK. Now I see the problem. It loads only 1 large image per such page.

To overcome it, please add the following Properties - Parsing - URL Substitutes rule:

URL:
cdn.flirtcatalog.com/images/product/icon/do/*.jpg
Replace:
product/icon/do
With:
product/large/do
Apply to:
URLs

Oleg.
Baz 03/14/2012 12:07 pm
Спасибо, но когда я создаю два таких правила что бы включать и выключать их, то каждое из них перестаёт работать. Вообще было бы хорошо иметь возможность скачивать одновременно оба адреса: до замены и после.

Thank you, but when I create two such rules that would enable and disable them, then each of them stops working. In general, it would be nice to be able to download both addresses at the same time: up to and after the change.
Oleg Chernavin 03/16/2012 03:17 pm
Там есть галочка для использования обоих правил. Насчет скачивания обоих адресов - я подумаю, как сделать такой функционал.

Олег.