вначале смотрел в сторону UTF-8, но не получилось настроить.
Перерыл уйму материала.
Перепробовал различные вариации:
- htaccess,
- header
- setlocale
- mb_* (кстати функция mb_strpos() поменяла кодировку)
Пытался найти ответ на sql.ru, не суждено. Дошел до этого маразма с html entities так как выхода больше не видел.
мой пост из sql.ru, чтобы понять проблему:
нужно было подружить движок DataLife Engine c UTF-8, так как контент сайта, мог быть на различных языках.
1. перекодировал все файлы в UTF-8
2. в meta выставил UTF-8
3. после подключения к БД и также вся БД в utf8_general_ci
mysql_query("SET NAMES utf8");
mysql_query("SET CHARACTER SET 'utf8'");
mysql_query("SET SESSION collation_connection = 'utf8_general_ci';");
4. ini_set("default_charset", "utf8_general_ci");
5. на хостинге:
HTTP_ACCEPT_CHARSET - iso-8859-1, utf-8, utf-16, *;q=0.1
все отображалось отлично, русский, немецкий языки т.д.
в скрипте я использовал curl чтобы скачивать первую стр. сайта. нужно было парсить title, потомучто на хостинге функции: file_get_contents(), fopen откл. из-за безопасности.
потом хостеры начали выдергиватся. любой запрос и скачивается 301 ошибка. написал в саппорт, исправили. но потом начались проблемы с кодировкой.
немецкие, русские буквы после парсинга не добавляются в БД, а обрезаются на том месте где они появляются.
в файле я написал header("Content-Type: text/html; charset=UTF-8");, это не исправило ошибку.
я использовал функцию mb_convert_encoding($title, "UTF-8");
это исправило ошибку но только для немецких сайтов. русский текст - абракадабра и опять обрезает текст.
стоит поменять на header("Content-Type: text/html; charset=windows-1251"); и убрать соответственно mb_convert_encoding($title, "UTF-8"); русский отображается нормально, но немецкий нет.
задача усложняется еще тем, что я не могу заранее знать , на каком языке будет контент.
мне кажется хостинг что-то чудит. может кто-то встречался с проблемой, посоветуйте пжл как исправить.
В итоге я узнал в чем проблема:
preg_match('/<title>([^>]*)<\/title>/si', $contents, $match );
меняет кодировку. Но решить проблему так и не удалось.
