Объединяем RSS-ленты в одну

vovan, 21 октября 2008, 00:03 Рубрики:

Когда в RSS-читалке набирается много RSS-лент возникают разные неприятные побочные эффекты:

Дублирование записей

Например, когда вы подписаны на бомжеленту, и на какой-нибудь сайт, который тоже входит в бомжеленту, тогда запись из этого блога будет попадать в ленту 2 раза.

Увеличение трафика

Предположим, запись из ленты в среднем весит 30 Кб. Если в течение рабочего месяца ежечасно (в рабочие часы) проверять 70 лент, то за месяц набирается 30×70×10×20 = 420 Мб. Для тех, кто платит за трафик, это существенно.

Для борьбы с этими недостатками я использую Yahoo Pipes.

Представляю вам трубу, которая собирает RSS из 70-ти каналов включая бомжеленту, bizbuz.enjjoy.ru и News.WebMoon.Ru. Затем она удаляет дубликаты по заголовкам и выдаёт 30 самых новых постов. Ещё проводится некоторая обработка.

http://pipes.yahoo.com/pipes/pipe.info?_id=PBjZAaOZ3RGq2bMsQBJ3AQ

Любой желающий может скопировать её и изменять по своему желанию.

Вообще кто не в курсе Yahoo Pipes (в простонародье, трубы) — это мощный инструмент преобразования и конструирования RSS-каналов, причём без знания программирования (со знанием оного, трубы — вообще магический инструмент). Например, можно сделать ленту из последних сообщений форума. В сети даже встречалось творение, которое выдавало ленту постов из поиска по блогам по заданному ключевику. Тормоз считает, что решение прикладных задач с помощью Yahoo Pipes — это прекрасная разминка

Всё про Yahoo Pipes в Рунете
Форум, посвящённый Yahoo Pipes

Постовой

Мобильные телефоны в интернет-магазине ESMS.com.ua. Доставка по Киеву - бесплатно.

Btl агенство оказывает услуги по проведению BTL-акций. Креативный подход. Работа с регионами.

Ищете интернет-магазин?

Добавить пост в:
Добавить на Habr

Олег, 19:13, 25 октября 2008

Ого, как сложно...
Даже как-то страшно что-то там менять по своему желанию :)

Я довольно давно озаботился объединением всех интересных мне манимейкерских фидов в одну ленту. Также я объединил несколько т.н. социалок для блоггеров (mySloger, korica, chipp). Т.е. у меня в этой трубе всего три источника (Fetch Feed). Очень часто блоггеры постят свои новости во все социалки подряд. Соответственно полным полно дубликатов. Скажи плиз, как избавиться от этих дубликатов? И есть ли там возможность установить приоритет? Т.е. в случае если есть 3 одинаковых новости, то должны удаляться чипп и корица, а майСлогер должен остаться.

vovan, 23:54, 27 октября 2008

Так сходу не скажу, но условия можно реализовывать с помощью связки SPLIT и FILTER. А для того, чтобы отсеить дубликаты тоже есть оператор, кажется UNIQUE

Виктор, 03:10, 16 апреля 2009

Мне этот метод понравился, думаю он эффективный

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
  • Адреса страниц и электронной почты автоматически преобразуются в ссылки.
  • Allowed HTML tags: <a> <em> <strong> <cite> <code> <ul> <ol> <li> <dl> <dt> <dd>
  • Строки и параграфы переносятся автоматически.

Подробнее о форматировании

КАПЧА
Защита от людей
11 + 8 =
Решите эту простую математическую задачу и введите результат. То есть для 1+3, введите 4.