Создание импорта данных и вывод их на других сайтах

bleznec

Новичок
Добрый день.
Вот задумался над созданием алгоритма для такой задачи.
К примеру у меня есть база данных , с AAA - данными.
Мне нужно создать систему, которая бы позволяла выводить эти данные на разных сайтах.

Принцип простой:
1. Администратор установив скрипт у себя на на сайте должен подключить его к своему сайту.
2. Скрипт должен забирать данные с моей базы и выводить на страницу своего сайта


Я думал и вот что выдумал .
1. Нужно создать базу всех клиент-пользователей (сайты куда нужно выводить, экспортировать данные), и отметить все адреса сайтов где лежит наш скрипт для вывода.
2. Подключить крон, который будет проверять статус данных каждые N минут.
3. При условию, что данные появились новые или обновились скрипт с моего сервера должен разослать запросы по всем адресам клиентов-сайтов.
4. Скрипт "клиент сайта" получив команду о том что нужно обновить данные, дает обратные запрос для получения этих данных, и создает у себя КЕШ их.
5. Пользователи "сайтов" при заходе на страницы получают уже данные не напрямую с моего сервера а с КЕШ, который находиться уже у них .



Тут, только есть один нюанс, который я пока не могу понять...
1. Как бы создать так что б скрипт обновлял данные не все а те на которую страницу зашли. К примеру есть данные ААА1 ААА2 ААА3 , и соответственно страницы 1, 2,3 . (это для меньшой нагрузки)
А то если всем скрипт "клиент-сайтов" запросят полностью базу данных то боюсь может все хорошо повиснуть.

2.Возможно есть другие алгоритмы? Кто знаком пишите, обсудим.
Как идея была у меня еще такая :

3. Каким образом выводить? Думаю для обычного администратора самое легкое подключение это:
3.1 скачать каталог со скриптом.
3.2 залить его на сервер себе
3.3.подключить его через яваскрипт , прописав в теле шаблона,сайта в то место куда хочет выводить .

Одним словом жду от Вас идей.
Спасибо
 

bleznec

Новичок
RSS - а при чем тут RSS ?
Опишите реализацию.
Суть же не перезагрузить сервер.
 

Фанат

oncle terrible
Команда форума
RSS служит для импорта данных и вывода их на других сайтах
при чем здесь перезагрузка сервера? какого сервера?
 

bleznec

Новичок
Гм....
Интересный ответ RSS ...
Вы наверное не поняли вопроса темы, или точнее возможно я плохо описал.

Я ищу алгоритм создания импорта данных на разные сайты с базы данных.

RSS - это просто другими словами формат передачи данных, еще другими словами структура XML .
Я могу и в JOIN передавать , нет разницы.. Суть вопроса в другом .
А имено :

1. Алгоритм работы скриптов , которые генерируют тот же самый xml, RSS и или как Вам будет лучше...
2. Потоковая работа(или установка очередности), передача данных в любом формате, тут пока он не важен.
3. Алгоритм установки кода в шаблон (необходимо чтоб это было легко сделать администратору)


И Ваш ответ RSS - в данном случаи 1% от всей задачи. )
 

С.

Продвинутый новичок
Вы придумываете сложности на пустом месте. Рабоатет это точно так же, как отобтражние обычной HTML страницы, только вместо HTML -- RSS или что другое.
 

bleznec

Новичок
Такое как Gearman ? или просто запросы через Мульти CURL кто то слышал ?
Теперь я понял .. как тут люди набирают тысячи постов ..ггггг
 

Фанат

oncle terrible
Команда форума
формат - это XML.
а RSS - это алгоритм создания импорта данных на разные сайты с базы данных.
 

bleznec

Новичок
RSS - это алгоритм создания импорта
JSON - это тоже алгоритм создания.. только сейчас вопрос не в этом , а в том чтоб создать алгоритм работы скриптов.

Нужен алгоритм работы системы передачи данных в целом а не алгоритм,структуру данных.

Надеюсь я Вам более точно объяснил? или еще не понятно ?
 

С.

Продвинутый новичок
Теперь я понял .. как тут люди набирают тысячи постов ..ггггг
Да, да, именно так. Толковые с первого раза схватывают, а бестолковых надо долго и нудно убеждать.
 

Фанат

oncle terrible
Команда форума
У тебя путаница в голове.
JSON - это обратно формат, а не алгоритм.
Вынь уже из глаз затычки и почитай, что такое RSS и как его использовать.
Миллионы сайтов импортируют данные через эту технологию, а тебя одного она, видите ли, не устраивает.
 

bleznec

Новичок
Столько постов.. и не о чем... кроме как о том что есть алгоритм RSS. А по сути вопроса о алгоритме обработки, кеширование , и.т.д.. не одного ответа.
 

Breeze

goshogun
Команда форума
Партнер клуба
Я ищу алгоритм создания импорта данных на разные сайты с базы данных.
К тебе сайты приходят и спрашивают: "Есть чо?", а ты им отвечаешь через тот же rss: "Семки есть!" и отсыпаешь сколько надо.
Они себе импортируют твои данные, каждый по-своему, используя тобой определенный формат.

Ты же хочешь сделать экспорт, распихивая сайтам данные самостоятельно. Зачем?
 

Breeze

goshogun
Команда форума
Партнер клуба
Столько постов.. и не о чем... кроме как о том что есть алгоритм RSS. А по сути вопроса о алгоритме обработки, кеширование , и.т.д.. не одного ответа.
Какое кеширование? Зачем оно тебе сейчас, когда ты еще не знаешь что и как делать?
 

bleznec

Новичок
Какое кеширование? Зачем оно тебе сейчас, когда ты еще не знаешь что и как делать?
Смотрите.
Дело в том что данных довольно много. Возьмем пусть к примеру данные - Каталог товаров магазина..или пусть будет ТВ программа.
А теперь давайте представим. Пишу я скрипт, который админы подключат у себя, тянет с сайта по RSS данные и сразу выводит их на "сайте-клиент"
А теперь давайте подумаем... : Сайтов к примеру 1000 + на каждом сайте пользователей пусть 10-100, которые смотрят то одну ТВ программу то другую.
1. Мой сервер тогда зависит ох как на долго....
2. Могу сказать что как не крути а пропускная скорость подключения к серверу тоже не безграничная + если будет подвисать под нагрузкой сервер...то результат будет один..пользователь скорее уйдет с сайта чем будет дожидаться пока все оттобразится.

Думаю теперь понятно зачем КЕШ нужен, и нужен он на каждом из сайтов -клиентов.
 

С.

Продвинутый новичок
Если тянется какая-то малая порция (подмножество) данных, чтобы показать посетителю, то какая разница, с оригинальнаого сайта он смотрит или у посредника? Нагрузка будет обычная.

Если тянется вся база данных, то козе понятно, что не на каждый запрос посетителя. Посредник уже сам "закеширует", как ему надо.
 

Фанат

oncle terrible
Команда форума
Смотрите, смотрите как это работает!
Сначала заведомо тупой вопрос.
Потом - следите за руками - Breeze говорит, вроде бы правильную вещь, но, во-первых, не в тему, а, во-вторых, его понимают, разумеется, превратно: не "рано о кэшировании думать", а "кеширование не нужно вообще" и начинают возмущаться.
Итог - 15 страниц флуда на тему, нужно кэширование, или нет.
:)

И всё это - от незнания технологии RSS.
Которая в принципе не подразумевает вытягивание всей базы, а только обновлений.
 

bleznec

Новичок
Я задал вопрос о помощи создания алгоритма работы системы .
Так один мне пишет за RSS, или точнее флудит.
И всё это - от незнания технологии RSS.
Так наведите пример, опишите как это все работает что нужно искать, как можно создать ..а не писать в ответ просто RSS..
Это разве ответ? или Вам чтоб только что не будь ответить а там пусть разбираются.
Возможно я не настолько хорошо знаю принципы RSS, но уверен на 100% что это в моем случаи не подойдет .. Вы на столько хорошо знаете RSS? такпокажите сделсь свои знания, и мне будет приятно прочесть и узнать то чего не знаю и другим польза.
Уважаемый Фанат , если у Вас нет больше идей, корме темы RSS и флуда, не отвечайте в эту тему.


а второй вообще чушь...
Посредник уже сам "закеширует", как ему надо.
Какой посредник Вы че????
 
Сверху