Сайты с AJAX

Evgeny
08/25/2015 12:10 pm
Здравствуйте

Спасибо за отличный продукт. Много лет использую Pro версию, много чего качал с ее помощью, но вот что мне не дает покоя в последнее время.
Все чаще встречаю сайты с AJAX, для закачки которых приходится напрягать извилину.

Например, на странице http://www.fotosklad.ru/catalog/zerkalnye-fotoapparaty-canon/ цены и наличие получаются POST запросом. Чтобы узнать цены, мне приходится сначала скачивать эту страницу, потом при помощи TextPipe формировать файл для POST запросов и потом запускать еще один проект, чтобы скачать результаты этих POST запросов. Неудобно.

Еще пример. На странице http://www.dns-shop.ru/catalog/3627/noutbuki/ помещаются не все товары категории и по мере прокрутки вниз, выводятся новые товары. Получить их можно например запросом http://www.dns-shop.ru/catalog/3627/noutbuki/ajax/?p=2&offset={:50..1000|50}, но писать подобные запросы для множества категорий очень утомительно.

Реально подобных примеров много и с каждым месяцем их становится все больше.

Подскажите, есть ли возможность упростить и автоматизировать подобные задачи. Может быть в Enterprise версии, может быть с помощью каких-то скриптов/программ, может быть что-то появится с ближайшим обновлением ...

Подскажите куда копать, не дайте утонуть в рутине.

Заранее спасибо.
Oleg Chernavin
08/25/2015 09:11 pm
Отчасти эту проблему получится решить в 7-й версии Offline Explorer. В ней будет режим загрузки через браузер - каждая страница в очереди открывается в браузере, выполняются все скрипты и AJAX запросы и после этого ее код сохраняется в файл и скачиваются все картинки, стили и т.д.

Однако, с прокруткой пока не получится, не реализовал. Мы сейчас работаем над последними штрихами версии 7.0, после чего начнем публичное бета-тестирование.

Best regards,
Oleg Chernavin
MP Staff
Evgeny
08/26/2015 06:00 am
Спасибо за добрую весть. Буду ждать с нетерпением.
Evgeny
08/26/2015 10:53 am
С прокруткой было бы проще, если была бы возможность делать "подсказки" парсеру. Т.е, при нахождении определенного куска кода, в список найденных URL можно было бы добавлять свой URL.
Если для нахождения нужного кода можно было бы использовать регулярное выражение, а при формировании своего URL использовать результаты группировок этого регулярного выражения, макросы OE и арифметические операции, то, я думаю, 90% вариантов прокруток можно было бы обрабатывать.

Для offline просмотра это решение бесполезно, но те, кто используют OE для сбора информации, мне кажется, такой функционал оценят.
Oleg Chernavin
08/26/2015 02:00 pm
Что-то из этого функционала уже есть в Offline Explorer-е, так что опишите, как это должно работать и я посмотрю, как и что можно сделать.

Если Вы хотите попробовать новый способ сохранения страниц, я мог бы выслать предварительную версию на Ваш адрес, который указан в этом форуме.

Олег.
Evgeny
08/27/2015 07:34 am
Спасибо Олег за предложение. С удовольствием попробую новую версию.
Что касается нового функционала, то я постараюсь в ближайшие выходные собрать все мысли вместе и тогда отпишусь вам. Наверное на support@metaproducts.com будет удобнее.
Oleg Chernavin
08/27/2015 08:00 am
Я Вам написал напрямую. Так будет проще общаться.

Олег.