Вы здесь

Как организовать «сплог»?

0

Делаю агрегатор материалов. Нужно парсить три-пять источников и раскладывать данные из них в мои ноды: заголовок, текст, даты, фото, адреса. Есть ли решение, которое сможет периодически обходить сайты-источники и парсить новые материалы с них? Необязательно в точности, хотя бы просто забирать сырые данные и складывать в неопубликованные ноды, чтобы потом их отредактировать и вручную опубликовать?

Кручу-верчу Feeds + Feeds SimpleHTMLDOM Parser, но не пойму как сделать, чтобы парсинг новых запускался периодически, приходится вручную дергать импорт. Хотелось бы по крону. Это возможно?

Видел еще Parser от xandeadx, но не уверен, что он может подобное. Может или нет?

Поделитесь опытом, может есть еще какие-то решения?

Версия Drupal: 
7.x
Категория: 
Import
Связанные проекты: 
FeedsFeeds XPath Parser
Вопрос задан 19.11.2015 - 11:43

Ответы

1

Когда то давно для одного из проектов писал движок парсера, который в свое очередь поддерживает и drush и cron и все что только можно, бонусом летит живая отладка парсера с UI. Сам модуль лежит в песочнице https://www.drupal.org/sandbox/kirills/2213361 а документацию можешь посмотреть тут вместе с примером. https://docs.google.com/document/d/17pJzHglxfxspHzL4IxkVpc4LN3uii6nzpXSW...
Если возникнут вопросы пиши..
p.s. проект старый, так что за без отказанную работу не обещаю.. но на момент написания работал исправно.. Если будут вопросы пиши, постараюсь по возможности помочь

Ответ дан 19.11.2015 - 12:14