SEO аналитика.

[kolemming]

SEO аналитика.

Всем привет!

Вопрос следующий. Есть заказчики полезной(наверное) системы для СЕОшников. Суть ее в том, что она, анализируя инфу по поисковым запросам, предоставляет подписанным на сервис заказчикам определенную отчетность. Система состоит из фронта для юзеров и серверной части. Бэкэнд по крону делает запросы к популярным российским поисковым системам, а фронт смотрит за состоянием лицевого счета, так же туда вводятся сайт и нужные по введенным сайтам ключевые слова.

Так же, я ознакомился с исходниками беты(php+mysql, которые писали до меня), схемами БД итп. Вопрос номер 1: стоит ли за это вообще браться? Вопрос 2: сколько за эту работу попросить?

По поводу первого: парсинг гугла еще можно заменить на их search API, яндексовый Я.XML к сожалению имеет привязку по IP и 100 запросов в сутки. Про рамблер не узнавал, что там и как, ну они вторичны. В общем, не уверен что такая система нужна поисковым роботам, но она, вроде как(раз есть потребность), нужна сеошникам.

Кто что скажет? Браться или нет? Может какие другие мнения будут?

 

[A1x]

анализируя инфу по поисковым запросам

узнать какую именно инфу и можно ли ее получать через API поисковой системы. Парсинг гугла оборачивается тем что гугл банит по айпи.
В общем я б за такое не взялся никогда Другой чтоли работы нет?

 

[kolemming]

Автор оригинала: A1x
Парсинг гугла оборачивается тем что гугл банит по айпи.
В общем я б за такое не взялся никогда Другой чтоли работы нет?

Гугл как раз вроде можно и через апи, а вот с яндексом, за который в основном и борятся сеошники уже сложней. Их я.xml слишком уж ограничем для данного сервиса

 

[A1x]

например свой PageRank гугл через апи не отдает (или я не нашел, хотя искал)

 

[kolemming]

Автор оригинала: A1x
например свой PageRank гугл через апи не отдает (или я не нашел, хотя искал)

Учитывая задачу тут нужен просто перебор позиций, как руками забил в гугле, так и скрипт отработает через их АПИ, если нет(читаю гугловые доки и в чем различие еще не проверил), то тогда его тож придется парсить. Впрочем для парсинга яндекса обещают10-20 IP адресов, хотя уже предупредили что если что, уже сказали что конектится будем черезе прокси, так что этот момент над тоже предусмотреть в проге.

Вообще интересно, кто нить делал что либо подобное на пхп и вообще стоит ли в такую затею ввязываться?

 

[Krishna]

Вообще интересно, кто нить делал что либо подобное на пхп и вообще стоит ли в такую затею ввязываться?

Судя по тому, что ты уточняешь "на пхп" - не стоит
А вообще, разобраться в предметной области настолько, чтбы точно оценить трудозатраты - это уже половина дела и вряд ли кто-то будет его делать за тебя. + тебе не на форум по пхп, который здесь вообще не причём, а на какойнить searchengines.ru.

 

[kolemming]

Автор оригинала: Krishna
Судя по тому, что ты уточняешь "на пхп" - не стоит

Дело в том что заказчик настаивает на пхп, я ему предложил на, как вариант на джаве, но он стоит на своем. Я даж на джаве распарсил яндекс По поводу предметки, задача очень проста: есть сайты, есть сеошники, последние делают какие то движения ради повышения позиций продвигаемых сайтов в поисковиках. Что хочется(заказчику и его сеошникам): продвигают сайты обычно по ключевым словам, как я понял, покупают ссылки, так вот СЕОшникам- пользователям будущего сервиса нужно видеть отчеты, по каким ключевым словам их сайт поднялся вверх в яндексе, а по каким он наоборот рухнул(и так для трех основных систем гугл,яндек, рамблер).

В идеале для конечного юзера-сеошника это будет выглядить так: он вводит в системе свои сайты, вводит для каждого сайта ключевые слова и сервис ему меряет, а так же периодически шлет отчеты - по каким словам сайт в том или ином поисковике поднялся, по каким упал итп.

 

[Krishna]

По поводу предметки, задача очень проста

Какие тогда вопросы?

 

[kolemming]

Автор оригинала: Krishna
Какие тогда вопросы?

Делал ли кто либо из участников форума что-то подобное? Если да, то какие были подводные камни?

Сколько это может стоить и стоит ли браться? (жаль что повторяюсь, еще в первом посте спросил)

-~{}~ 18.09.09 02:23:

Вот, если вдруг кому интересно о чем идет речь, то схема предполагаемой заказчиком БД по ссылке тынц

-~{}~ 18.09.09 03:02:

Вот, подоспел и код...Даже не знаю готов ли браться за развитие проекта или нет. Пока сижу думаю над исходниками

В любом случае, мнение и советы принимаются.

 

[vegaplex]

> то какие были подводные камни?
подводных камней всего один - большое количество незабаненных прокси.
а вообще то, исходя из "предоставляет подписанным на сервис заказчикам определенную отчетность" размер этого камня оценить достаточно сложно, если это будет система для "своих" и кейвёрды/сниппеты будут запрашиваться не для дорогенераторов пормышленных масштабов, то ничего особенного система из себя не представляет (кроме того, возможных аналогов миллионы), если же подписка на сервис для всех желающих, то имхо, быстрее обанкротитесь на проксях

зы: ну никакой поисковик небудет просто так безгеморно свой СЕРП отдавать )))

 

[CHEM_Eugene]

Таких систем уже не мало. Вот например seumka.ru. Нужна ли ещё одна?
Подводные камни - нужна куча ip-адресов. Кстати яндекс-xml 1000 запросов в день позволяет сделать.
Я сам такую системку хочу написать, но для нужд своей компании только (пока). Реализовать действительно лучше на java.

 

[Ирокез]

Это больше похоже на линкатор, но не seo систему

 

[clevel]

Я аналогичную системе себе написал года два назад.
Работает как часики.

Плюс самописной системы - что ты оперативно можешь ее расширять. Например, несколько месяцев назад яндекс сделал региональную выдачу. Мой сеошник это чухнул в первые же дни - я внедрил патч -- все заработало по новой схеме.

Завтра надо будет доп. функицонал - аля расширенные статистические данные, отчеты по разным критериям - прикручу.

Для того, чтобы все это работало без проблем - у нас своя сетка айпишников, 256 штучек

 

[CHEM_Eugene]

Автор оригинала: clevel
Для того, чтобы все это работало без проблем - у нас своя сетка айпишников, 256 штучек

А где ip заказывал для этих целей, вместе с хостингом прикупил или как? На php кстати реализовано?

 

[nw]

подводных камней несколько:

1. Поисковики это дело не очень любят, поэтому нужно быть готовым постоянно менять IP (или придумывать извороты, типа пакетной отдачи, ботнета на бесплатных хостингах, но бесплатные хостинги про это знают и тоже борятся со своей стороны).

2. Мало где есть цивилизованное API или тем более дока, в основном просто выдача HTML (а вариантов выдачи может быть много, в зависимости от количества найденных результатов etc). Будьте готовы что при какой нить смене символа ваш софт просто перестанет работать (потребуется правка) - могут быть вопросы со стороны заказчика. Так же не стоит думать что всё просто - получил HTML и распарсил. На одном запросе результат выдаст, а при посыле многих - нет. И т.п.

3. Если вы не знаете всех особенностей поисковиков, то в тему придётся вникать глубоко, проводить очень много тестов и экспериментов. Уточните у заказчика - готов ли он ждать.

Т.е. нужно понимать, что практически нельзя сделать коробочный продукт без поддержки - постоянно придётся поддерживать его работоспособность и снова и снова обходить вводимые поисковиками ограничения или изменения.

 

[kolemming]

Всем спасибо за советы и инфу!!! Надо подумать...

 

[clevel]

А где ip заказывал для этих целей, вместе с хостингом прикупил или как? На php кстати реализовано?

Регистрировал, через Лира, r01.ru, с автономкой. Для этого купил маршрутизатор циску + коммутатор
Хостинг - у меня своя группа серваков.

Писалось все на пхп. Там ничгео сложного нет - строк 100 кода в итоге.

В основном для поисковиков грабится хтмл и регуляркой выдираются данные. За пару лет - один/два раза пришлось немного подпилить эти шаблоны.
В yahoo только xml вроде отдается и парсится.

 

[Dreammaker]

kolemming
для сео более ценен парсинг выдачи, чем получение данных по API - они изредка между собой разнятся.

Для получения айпишников стукнись в личку пользователю юни на http://forum.searchengines.ru - он там запускал в своё время сервис по раздаче туевой хучи айпи, не знаю судьбы этого сервиса, но я брал на тест - вроде нормально. Единственнно, личка может сразу не заработать, на сёрче есть ораничения для новых юзверей.

 

[grigori]

есть у меня ощущение, что этот топик попадает под запрет по правилу против сканнеров и хакинга

работа с поисковиками через прокси и сканирование по ряду слов - вид хакинга системы ранжирования
закрою пока что

 

[grigori]

Тема закрыта

Варез, взлом, кража контента и другие противоправные действия запрещены к обсуждению на форуме.
Правила форума: http://phpclub.ru/talk/announcement.php?s=&forumid=12