Межсерверное взаимодействие

[no_santa]

Межсерверное взаимодействие

Пришла нужда выдавать файлы с одного сервера в ввв другому, через антилич. Файлов числом много, юзеров тоже. Сейчас написал антилич в пять строк (если есть файл и привелегии у текущего юзера, даю хедеры и читаю файл в вывод), но он жутко тормозит. Как ускорить?

И еще вопрос, как в одну-две строчки организовать межсерверную авторизацию? Т.е. чтобы работало гипербыстро, категорически ресурсоэкономно, но в тоже время два сервера должны быть категорически уверены что они общаются друг с другом и никак иначе. Задача та же - быстрый обмен файлами, антилич.

 

[point]

Если нужно просто отдавать файл с проверкой прав -- nginx + X-Accel-Redirect

Про межсерверную авторизацию не совсем понятны все условия. Может при авторизации выставлять куки не только для текущего домена (напр. example.com), но и для домена, откуда происходит скачивание (напр. download.example,com). Опиши более подробно.

 

[no_santa]

Есть два сервера. Их именно два - один в Москве, другой в Питере, и эта конфигурация не обсуждается. На ВДС в Москве одном происходит подготовка информации к обработке и там-же работает CMS. На втором сервере (кластере в Питере) происходит обработка информации, полученной с первого сервера.

По задумке, второй сервер по расписанию берет файлы у первого. Файлов много, поэтому болит голова не только о том, как процесс организовать, но и сразу-же - как его ускорить. По окончании обработки второй сервер возвращает результат первому.

Сервера должны категорически и однозначно находить и узнавать друг друга. На обоих линукс, можно поставить Апач и т.д.

Также нужен возможно быстрый (быстрее выше описанного) антилич на первый сервер для юзеров. Это вообще возможно?

 

[whirlwind]

а vpn между ними не проканает?

 

[no_santa]

ХЗ. Это быстро?

 

[whirlwind]

Как настроишь. Просто не совсем понятно что ты делаешь. Если процесс инициируется вторым, то что значит "второй возвращает результат первому"? Рассказал бы подробнее что за файлы и что за результаты.

 

[dimagolov]

а почему тупая проверка по IP не катит? при чем тут антиличи и прочий бред включая vpn?

 

[no_santa]

Файлы - картинки по полметра. Их много, сотни тысяч в час. Результаты - обработанные картинки.
Кем инициируется процесс - значения не имеет.

Надо передавать файлы, как можно быстрее туда и обратно.


dimagolov Во! Пасиб!!!

Чем ближе к релизу - тем сильнее мозги сворачиваются...

-~{}~ 28.08.09 17:31:

Задача решена.

 

[whirlwind]

Не думаю что есть мегаспособ выиграть, если ты отдельно по одному файлу будешь туда-сюда тягать.

-~{}~ 28.08.09 17:34:

ыыы ппц. тупая проверка по IP намного ускорила передачу файлов?

 

[no_santa]

хз пока

 

[dimagolov]

whirlwind, проверка по IP реализуется одной строчкой в конфиге apache или nginx-а и не требует никаких скриптов и прочих умностей.

 

[whirlwind]

я тока не понимаю, как это связано со скоростью передачи файлов.

 

[dimagolov]

whirlwind, если файл отдавать скриптом, то он будет висеть в памяти и жрать проц, то есть общая производительность будет падать.

 

[no_santa]

dimagolov кстати, актуально. Как сделать менее ресурсоемкий антилич для юзеров, чем отдавать файл скриптом?

 

[tf]

фтп?

 

[no_santa]

Уфф... Коллеги приперли новые либы и встал новый вопрос - объединить сервера (с точки зрения сервера №1) в "единое файловое пространство".

Как?

 

[dimagolov]

NFS?

про антилич уже сказали, nginx + X-Accel-Redirect

 

[grigori]

no_santa
у вас гигабитная оптика что-ли между серверами?

 

[Viktor_Rez]

Автор оригинала: no_santa
Сервера должны категорически и однозначно находить и узнавать друг друга. На обоих линукс, можно поставить Апач и т.д.

А что сейчас стоит?

 

[point]

> ... объединить сервера ...

sshfs -C