определение языка в строке

[gofman]

определение языка в строке

есть текст в utf-8, он всегда пишется на разных языках.

возможно ли определить на каком языке написан текст в строке?

 

[Krishna]

А нам откуда знать?

 

[gofman]

Krishna я спрашиваю у тех кто знает решение

 

[zerkms]

взять словари всех языков мира и посмотреть в каком из словарей больше слов, входящих в строку?

 

[Гравицапа]

gofman
А для чего тебе это?

 

[gofman]

да уж...

сам вижу решение только - сравнивать вхождение символов.

по поводу количества слов - хорошее замечание.

-~{}~ 09.01.07 14:56:

Гравицапа собираю базу текстов для дальнейшего анализа. нужно отсортировать.

 

[SiMM]

http://phpclub.ru/talk/showthread.php?threadid=93669

> сам вижу решение только - сравнивать вхождение символов.
Нормальное решение. Только может оказаться, что текст к нескольким языкам относится.

 

[Wicked]

наборы символов дадут тебе информацию только об алфавитах из разряда http://www.unicode.org/Public/UNIDATA/Blocks.txt . Заметь, что там нету, например, русского языка, а есть только кириллический алфавит, в который входит полтора десятка языков.
И болгарский от русского ты отличить толком уже не сможешь.

 

[phprus]

Wicked
В теме на которую сослался SiMM я привел ссылку на таблици принадлежнасти букв к языкам, а не к алфивитам. А основываясь на этой информации можно примерно определить список языков, на которых мог быть написан этот текст(слово).

 

[Wicked]

phprus
Знание алфавита тоже позволяет "примерно определить список языков, на которых мог быть написан этот текст(слово)", может, разве что, менее точно, чем в твоем случае. Например, ни один из этих методов не сможет распознать язык текста на болгарском языке.

 

[phprus]

Wicked
Тогда можно анализировать встречаемость последовательностей из 2 - 3 букв (помню, что этот метод вроде как то называется, но не помню как). Это еще сильнее увеличит точность определения языка.

В той мне в моей задаче это было не нужно. Мне было достаточно точности которую дает анализ по таблице принадлежности букв к языкам.

 

[Krishna]

Я лично не понимаю, какое отношение эта задача имеет к программированию?

 

[gofman]

спасибо. всё стало понятно

 

[Rin]

Если тема еще не "протухла", то вот еще ссылки по теме:
http://en.wikipedia.org/wiki/Language_identification

Реализация на Perl

languid.cantbedone.org

72 (including such languages as pig latin, klingon, and both ukrainian and ukranian). The author writes: I've been a big fan of TextCat, and wanted to see what happened if I combined the same algorithm for n-gram based identification with some intelligence about Unicode. The result is a Unicode-friendly language identifier that makes some initial guesses based on script block. It relies on proper UTF-8 input to be happy.

Реализация на PHP

http://pear.php.net/package/Text_LanguageDetect

Класс путает русский с хорватским.

Реализация на Python

http://jones.ling.indiana.edu/~dcavar/lid/