How to upload images only from the web site?

Author Message
program23 12/19/2015 06:44 pm
I need to upload pictures of goods from this website: http://www.onlinetrade.ru/catalogue/
Total images should be approximately 100 thousand.

The images are stored here: http://www.onlinetrade.ru/img/items/s/{IMAGE_NAME}.jpg
(example: http://www.onlinetrade.ru/img/items/s/tsifrovoy_fotoapparat_panasonic_lumix_dmc_lf1_cherniy_1.jpg)

This directory can not access: http://www.onlinetrade.ru/img/items/s
How to download all the images using the Offline Expoler? I tried to download them, but loaded all 5000 pictures.
Oleg Chernavin 12/19/2015 07:11 pm
Yes, that directory listing is not allowed. So, you need to download the whole web site to get all images that are linked to its web pages.

I would suggest you to increase the Level setting of the Project to download more. Do not forget to make sure that you allow downloading only from the starting server.

Best regards,
Oleg Chernavin
MP Staff
program23 12/20/2015 04:23 am
Do you speak Russian?

Thank you.
Unfortunately, Offline Explorer downloads not all images. And I do not understand why.
I tried to use a parser in C #, but the same result.
Oleg Chernavin 12/20/2015 07:33 pm
Да, конечно, мы можем общаться на русском. Напишите мне пример картинки, которая не скачалась. И как до нее добраться (по каким ссылкам) на сайте.

Плюс, пришлите настройки проекта для скачивания этого сайта - выберите его, нажмите Ctrl+C и вставьте в форумное сообщение.

Олег.
program23 12/20/2015 10:49 pm
Например, вот страница: http://www.onlinetrade.ru/catalogue/tsifrovie_fotoapparati-c5/
Здесь есть картинка со ссылкой: http://www.onlinetrade.ru/img/items/s/tsifrovoy_fotoapparat_fujifilm_finepix_s1_1.jpg
И так далее.
Мне нужно скачать все картинки с изображением товаров на этой странице.

Настройки:
https://pp.vk.me/c627121/v627121801/292ce/0yraUJ118VE.jpg
https://pp.vk.me/c627121/v627121801/292d6/Ps1mtKLsxec.jpg

Oleg Chernavin 12/21/2015 07:24 am
Пришлите, пожалуйста, настройки проекта для скачивания этого сайта - выберите его, нажмите Ctrl+C и вставьте в форумное сообщение.

До страницы http://www.onlinetrade.ru/catalogue/tsifrovie_fotoapparati-c5/ как добраться на сайте, по каким ссылкам. Это мне нужно, чтобы проверить, достаточен ли уровень в проекте.

Олег
program23 12/21/2015 07:31 pm
[Object]
OEVersion=Enterprise 6.6.0.3926
Type=0
IID=7013
Caption=ONTrade
URL=http://www.onlinetrade.ru/catalogue/tsifrovie_fotoapparati-c5/
Lev=2
Weekday=257
CheckSize=True
FTText.Exts=htmlhtmaspaspxjspstmstmlidcshtmlhtxtxttextxspxmlrxmlcfmwmlphpphp3
FTImages.Exts=gifjpgjpegtiftiffxbmfifbmppngipxjp2j2cj2kwbmplwfwebpico
FTVideo.Exts=mpgavianimpegmovflvfliflcvivrmramrvasfasxwmvm1vm2vvobsmilmp4m4vogv
FTAudio.Exts=wavriffmp3midmp2m3uravocwmaapeoggm4aaifkar
FTArchive.Exts=7zziparcgzzarjlhalayleirarcabtarpakacejarpdftgzexeiso
FTUDef.Exts=jsaxdcssssivbsdtdxslswfclassent
FTText.B=xoxooo
FTImages.B=ooxooo
FTVideo.B=xoxooo
FTAudio.B=xoxooo
FTArchive.B=xoxooo
FTUDef.B=xoxooo
FTOther.B=xoxooo
FTSizes=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,3,3,0,3,0,0,0,0,0,0,0,0
NotIgnoreLogout=False
RSrvsBx=1
RPathBx=1
RProt=255
LastStart=0:0:0:0:0:0:0:0:
LastEnd=0:0:0:0:0:0:0:0:
PrjStart=249:248:211:176:235:174:228:64:
ImgDim=0,0,0,0
ConvertRSS=True
Oleg Chernavin 12/21/2015 07:32 pm
До страницы http://www.onlinetrade.ru/catalogue/tsifrovie_fotoapparati-c5/ как добраться на сайте, по каким ссылкам? Это мне нужно, чтобы проверить, достаточен ли уровень в проекте.

Олег
program23 12/21/2015 08:55 pm
http://www.onlinetrade.ru/
http://www.onlinetrade.ru/catalogue/
http://www.onlinetrade.ru/catalogue/tsifrovie_fotoapparati-c5/
Oleg Chernavin 12/22/2015 07:50 pm
Я скачал этот проект, только еще и разрешил текстовые файлы на всякий случай. У меня скачалось 457 страниц и 1201 изображение. Я нашел и www.onlinetrade.ru/img/items/s/tsifrovoy_fotoapparat_fujifilm_finepix_s1_1.jpg и www.onlinetrade.ru/img/items/b/tsifrovoy_fotoapparat_fujifilm_finepix_s1_1.jpg (большого формата) на диске после скачивания.

А у Вас сколько изображений в этом проекте? Вы можете его выбрать и посмотеть статистику через меню Файл - Информация.

Олег
program23 12/23/2015 12:51 am
Странно, у меня загружается намного больше файлов.
А какие настройки вы использовали?
Oleg Chernavin 12/23/2015 07:15 pm
Ваши же настройки, только еще разрешил текстовые файлы. Скачивал 7й версией.

Я сейчас еще раз скачал. Заметил, что лучше добавить:

?add=
?add=

В список исключенных имен файлов в Фильтрах URL, чтобы не добавлять все в корзину при скачивании.

Кроме этого, есть одна ошибка в обработке некоторых адресов фильтрами файлов. Только что исправил. Для ее обхода добавьте символ точки (который означает пустое расширение файла) в список расширений в категории Фильтры Файлов - Текст.

Скачал, теперь показывает 1756 изображений, 561 страница.

Картинки на всех страницах есть, в т.ч. и большие - открыл неск моделей аппаратов на 3й странице.

Олег.