Парсеры

Парсер это небольшой плагин который позволяет автоматически по расписанию получать новый контент с различных сайтов. Парсер может как добавлять новый контент так и удалять контент удаленный с сайта спонсора. Таким образом вам не нужно заходить на каждый сайт и проверять наличие обновлений, а так же вручную добавлять их через меню импорта.

Парсеры бывают двух типов:

  • Mighty - этот тип парсера можно настроить на сканирование определенной web страницы. Например RSS фида или текстового дампа спонсора. Для создани необходимо нажать 'Create new parser' в меню Parsers.
  • Standart - этот тип парсера запрограммирован на определенный сайт и может сканировать только его. Эти парсеры полезны для сайтов которые не дают дампов или фидов контента. В стандартной поставке данный типа парсера отсутвует. Данные парсеры можно приобрести у нас. По вопросам приобретения обращайтесь в техподдержку. Если у нас нет парсера для конкретного сайта мы можем сделать его под заказ.

Обработка даты в урле парсера

Иногда бывает что у спонсора нет фида или дампа последних N добавленных галерей, а есть только возможность сделать выборку за определенный период. При этом урл фида выглядит примерно так:

http://example.com?from_date=10:02:2010&to_date=12:02:2010.

То есть период жестко задан в урле. Задав такой статичный урл парсеру мы не будем получать обновления. Для того чтобы динамично менять дату при каждом старте персера используйте следующую конструкцию:

http://example.com?from_date=##date(d:m:Y)##&to_date=##date(d:m:Y)-48##

##date(d:m:Y)-48## будет заменено на текущую дату минус смещение 48 часов. Примечания:

  • Формат задания даты аналогичен формату php функции date http://php.net/manual/en/function.date.php
  • Обратите внимание что формат нужно вводить без кавычек.
  • Если параметр смещения не указан то используется текущая дата.