И вот я что еще не понял, Curl и другие функции чтения удалленных сайтов

[craz]

На форуме вообще их нельзя нельзя обсуждать?
к примеру тема:
http://phpclub.ru/talk/threads/curl-читать-страницу-до-пор-го-размера.66785/#post-595027

Или к примеру я задам вопрос как мне поисковую выдачу яндекса пропарсить на придмет чего нибудь. Это запрещено? Это варез?

P.s. Я не против, мне просто интересно узнать.

 

[baev]

Или к примеру я задам вопрос как мне поисковую выдачу яндекса пропарсить на придмет чего нибудь. Это запрещено? Это варез?

— да, запрещено. Да, «варез».

Внизу страницы с результатами поиска Яндекса есть ссылка «Лицензия на поиск».
Неужели так сложно её самостоятельно прочесть?

 

[tz-lom]

у яндекса есть поисковый АПИ

 

[craz]

— да, запрещено. Да, «варез».

Внизу страницы с результатами поиска Яндекса есть ссылка «Лицензия на поиск».
Неужели так сложно её самостоятельно прочесть?

не нашел( киньте ссылку.

у яндекса есть поисковый АПИ

ну а если мне претит использование апи, а моя задача узнать сколько страниц в индексе? это варез и кража?

 

[baev]

не нашел( киньте ссылку.

— это как же «искать» надо?
http://company.yandex.ru/legal/termsofuse/

ну а если мне претит использование апи, а моя задача узнать сколько страниц в индексе? это варез и кража?

— Вы на самом деле такой инфантильный? Или это Вы так троллить пытаетесь?

Всё, что нарушает «Пользовательское соглашение» (или другой подобный документ) интернет-ресурса, является «варезом и кражей».

И даже если такого документа нет, парсинг контента чужого сайта — всё равно «варез и кража». Поскольку парсинг — это всегда нарушение авторских прав. (Объектом авторского права в данном случае будет html-документ — весь, со всеми тегами.)

В конкретном случае с Яндексом достаточно одного пункта из «Лицензии на поиск»:

2.1. Поисковая машина Яндекса предназначена только для личного некоммерческого использования.

— Вам никто не поверит, что Ваша «задача узнать сколько страниц в индексе» — для личного некоммерческого использования.

 

[craz]

1)
2.3. Если вы используете поисковую машину Яндекса в коммерческих целях для оказания услуг по поиску и/или навигации по Сети, вы должны уведомить об этом вашего клиента и предоставить ему ссылку на Яндекс (www.yandex.ru).
хм..
2) все что не делается все за деньги по вашему?

Ладно понятно значит парсинг вообще не обсуждается... тупость имхо

 

[Adelf]

За все время у меня был лишь один случай легального парсинга сайта. Из-за отсутствия АПИ. И тот сайт был предупрежден.
А насчет запрета тем с парсингом - согласен. В нем обычно ничего сложного нет, когда он легальный CURL+phpQuery обычно решают 95% задач.

 

[DYPA]

писать поисковик тоже варез?

 

[Adelf]

DYPA
Если у тебя какие-то проблемы с загрузкой страниц, то не надо начинать писать поисковик Проблемы, которые там придется решать, мягко говоря, гораздо сложнее.

 

[Mols]

ИМХО конечно... но раз у ж вы тут такие "правоведы" то будьте ими до конца)))
Как говорится "не пойман не вор". Обсуждение алгоритмов парсинга - это не состав преступления.
И никакая не кража.
Другое дело, что с модерами не спорят.

 

[craz]

ИМХО конечно... но раз у ж вы тут такие "правоведы" то будьте ими до конца)))
Как говорится "не пойман не вор". Обсуждение алгоритмов парсинга - это не состав преступления.
И никакая не кража.
Другое дело, что с модерами не спорят.

Причем алгоритмы парсинга инфы в какой-то момент станут настолько необходимы каждому, что вы просто удивитесь сколько вы будете закрывать тем.
Дело в том информация распространяется сейчас очень быстро и накапливается еще быстрее. Тупо для того чтобы оперировать не всем скопом инфы, а только нужными ее разделами уже сейчас есть поиски в ПС по разделам и так далее.
А уж тем более парсинг каких нибудь навостей с сайта вендера... и то что такой парсинг нельзя тут обсуждать но ИМХО повторюсь тупость запредельная

 

[DYPA]

DYPA
Если у тебя какие-то проблемы с загрузкой страниц, то не надо начинать писать поисковик Проблемы, которые там придется решать, мягко говоря, гораздо сложнее.

у меня проблемы?! у меня проблем нет! у меня уже всё написано и лежит под лицензией MIT на гуглокоде
а вот у многих есть с этим проблемы, посмотри хотя бы на гуглокоде сколько вариантов реализации работы с мультикурлом и попробуй посчитать сколько из них правильных (busy loop с usleep, reusage of curl objects, возможность работать с полученными заголовками и тд и тп)
парсер не обязательно приносит зло, например работа с rtorrent через xml-rpc, агрегация rss лент, работа с апи твиттера

 

[baev]

Как говорится "не пойман не вор".

— в том-то и дело, что «пойман»: практически всегда топикстартер в первом же вопросе засвечивает адрес сайта-цели.
Исключения — единичны.

С другой стороны, как выше уже заметили: необходимость использования CURL в легальных целях возникает настолько редко, что проще исходить из «презумпции виновности» — и не тратить напрасно время на изучение подробностей.

 

[craz]

тогда надо отписать разработчикам php 6 чтоб к чертям выпили curl)

 

[baev]

тогда надо отписать разработчикам php 6 чтоб к чертям выпили curl)

— будьте любезны озвучить всю логическую цепочку, приведшую Вас к столь любопытному окончательному выводу.

 

[Mr_Max]

Mols
Какие нафиг правоведы
Презумпция виновности у нас здесь.
Если человек в первом-же посте развернуто не описывает что нужно, то даже смысла нет писать в топик

 

[craz]

С другой стороны, как выше уже заметили: необходимость использования CURL в легальных целях возникает настолько редко, что проще исходить из «презумпции виновности» — и не тратить напрасно время на изучение подробностей.

мы же за легальность так? начит надо всем дартаньянам не дать возможность воровать контент у Триумвирата!

 

[tz-lom]

да да, а Триумвирата - сжечь
дискуссия зашла в тупик силами участников

 

[craz]

кстати а зачастую курл вместе с регулярными выражениями, предлагаю и их запилить!

Запиливаем!

 

[baev]

мы же за легальность так? начит надо всем дартаньянам не дать возможность воровать контент у Триумвирата!

— угу:
«мы не обсуждаем на форуме кухонных ножей, как правильно убить соседа в пьяной драке» —> «давайте тогда запретим производство кухонных ножей!».

Поскольку логически мыслить Вы отказываетесь, тему закрываю как бесперспективную.