PHP загружает только половину удаленной странички в UTF8

[KIRALEX]

Добрый день.
Я хочу загрузить по URL файл в UTF8 кодировке для дальнейшей обработки на сервере.
Банально пытаюсь открыть открыть URL и на выходе получаю только половину файла.
Если удаленный файл в кодировке CP1251 то проблемы не возникает.

<?php
error_reporting( E_ALL );
$h = fopen( 'http://example.com', 'r' );

$file = '';

while ( ($buf = fread( $h, 8192 )) != '' )
{
    $file .= $buf;
}

fclose($h);

echo $file;
?>

<?php
error_reporting( E_ALL );
$file = file_get_contents( 'http://example.com' );
echo $file;
?>

Использую PHP CLI 5.3.3 под Windows
В чем проблема? Вероятно придется перейти на сокеты?

 

[gerasim]

fread( $h, 8192 ) - второй аргумент - кол-во байтов, а не символов
длина документа в utf-8 больше, чем с cp1251 (в байтах)
cp1251 кодировка однобайтная, а утф - нет

 

[tz-lom]

gerasim
и как это может помочь?
KIRALEX
в принципе не правильно опираться на священное знание fread != '' , следует делать fread в цикле while(!feof($h)) ,

 

[KIRALEX]

следует делать fread в цикле while(!feof($h)) ,

Эффект тотже самый данные выгружаются не до конца.

fread( $h, 8192 ) - второй аргумент - кол-во байтов, а не символов
длина документа в utf-8 больше, чем с cp1251 (в байтах)
cp1251 кодировка однобайтная, а утф - нет

Что собственно логически вытекает, вероятно вебсервер выдает Content-Legth в символах UTF8 коих фактически в два раза меньше количества байт, а послушный fopen считает что это количество байт.

Веб браузер обрабатывает такую страничку правильно.


Собственно такой код выдает точно такойже результат, получаем половину файла.
Причем размер загруженных данных не зависит от количества этих данных, отдается примерно половина.

<?php
error_reporting( E_ALL );

$h = fopen( 'http://example.com', 'rb' ); // r тоже самое

$file = '';

while (!feof($h)) {
  $file .= fgets($h);
}

fclose($h);

echo $file;
?>

Возможно нужно создать особенных $context со словами вроде Accept-Charsets: Windows-1251 но я не уверен что сервер отдаст именно CP1251.

 

[tz-lom]

KIRALEX
версия PHP ?

 

[KIRALEX]

версия PHP ?

Использую PHP CLI 5.3.3 под Windows

Мотодом научного тыка было установлено что такое происходит долеко не со всем серверами отдающими контент в UTF8.

Например нет проблем с google yandex phpclub.

 

[Активист]

fsocket read, curl? fopen не для этого.

 

[Mr_Max]

Вопросы воровства контента здесь не обсуждают