Парсеры

Парсер это небольшой плагин, который позволяет автоматически по расписанию получать новый контент с различных сайтов. Парсер может как добавлять новый контент так и удалять контент удаленный с сайта спонсора/тюба. Таким образом вам не нужно заходить на каждый сайт и проверять наличие обновлений, а так же вручную добавлять их через меню [Import|импорта].

Парсеры бывают двух типов:

  1. Mighty - этот тип парсера можно настроить на сканирование определенной web страницы. Например RSS фида или текстового дампа спонсора. Для создани необходимо нажать 'Create new parser' в меню Parsers.
  2. Standart - этот тип парсера запрограммирован на определенный сайт и может сканировать только его. Эти парсеры полезны для сайтов которые не дают дампов или фидов контента. В стандартной поставке данный типа парсера отсутвует. Данные парсеры можно приобрести у нас. По вопросам приобретения обращайтесь в техподдержку. Если у нас нет парсера для конкретного сайта мы можем сделать его под заказ.

Обработка даты в урле парсера:

Иногда бывает что у спонсора нет фида или дампа последних N добавленных галерей, а есть только возможность сделать выборку за определенный период. При этом урл фида выглядит примерно так:

http://example.com?from_date=10:02:2010&to_date=12:02:2010. То есть период жестко задан в урле. Задав такой статичный урл парсеру мы не будем получать обновления. Для того чтобы динамично менять дату при каждом старте персера используйте следующую конструкцию:

http://example.com?from_date=##date(d:m:Y)##&to_date=##date(d:m:Y)-48## ##date(d:m:Y)-48## будет заменено на текущую дату минус смещение 48 часов.

Примечание:
Формат задания даты аналогичен формату php функции date http://php.net/manual/en/function.date.php Обратите внимание что формат нужно вводить без кавычек. Если параметр смещения не указан то используется текущая дата.

 
ru/parsers.txt · Last modified: 2011/10/01 10:36 by admin
 
Except where otherwise noted, content on this wiki is licensed under the following license:CC Attribution-Share Alike 3.0 Unported
Recent changes RSS feed Donate Powered by PHP Valid XHTML 1.0 Valid CSS Driven by DokuWiki