-
Юбилейный DevConfX пройдет 21-22 июня в Москве. Как всегда — Вы решаете, кто попадет в программу секции Backend — голосуйте за интересные доклады
Морфология русского языка. Подходы.
- Автор темы Sniff
- Дата начала
Sniff
Новичок
Меня, в общем, интересовали, готовые решения... как писать свой замут, и какие направления имеет смысл разрабатывать, в общем-то, понятно...
а есть, интересно, базы "полуфабрикатов", например, корней русских слов, приставок, суффиксов, и так далее?
моя задача, например, не совсем поиск. Важно идентифицировать разные склонения как одно и то же слово. Вроде по сканам Железняка (а также по его онлайновым имплементациям) можно предположить, что он позволит выделять основу более эффективно, чем ispell
Кстати, кто-то знает, что за словарь Книжника такой? Основной файл там выглядит примерно так:
0юан
3ей
3ь
1балхо
2ер
4а/E
4ляден/K
2илаумшахт
4ее
6м
6в
5и/F
5й
6ная/C
7ом/A
6чик
4яра/E
2ка/E
3и
3ой
2ок
3чек
4ке
5и/
а подобия аффиксного файла я как-то не нашел.
Кто знает, что за формат такой?
а есть, интересно, базы "полуфабрикатов", например, корней русских слов, приставок, суффиксов, и так далее?
моя задача, например, не совсем поиск. Важно идентифицировать разные склонения как одно и то же слово. Вроде по сканам Железняка (а также по его онлайновым имплементациям) можно предположить, что он позволит выделять основу более эффективно, чем ispell
Кстати, кто-то знает, что за словарь Книжника такой? Основной файл там выглядит примерно так:
0юан
3ей
3ь
1балхо
2ер
4а/E
4ляден/K
2илаумшахт
4ее
6м
6в
5и/F
5й
6ная/C
7ом/A
6чик
4яра/E
2ка/E
3и
3ой
2ок
3чек
4ке
5и/
а подобия аффиксного файла я как-то не нашел.
Кто знает, что за формат такой?
kostya.sys
Новичок
Когдато много времени и сил убил на это
В итоге попробовал http://www.risearch.org/rus/risearch_php/index.html
Готовое решение на пхп использующее словарь Зелизняка (или как там его)
Бесплатно предоставляется кастрированная версия, за небольшие денежки (порядка 50 баксов, если ничего не изменилось) можно купить полную.
В настоящее время использую этот скрипт при индексации публикаций в нескольких проектах.
Надеюсь пригодится
ЗЫ: в довесок к платной версии получил скрипт, позволяющий дополнять базу из ISPELL
В итоге попробовал http://www.risearch.org/rus/risearch_php/index.html
Готовое решение на пхп использующее словарь Зелизняка (или как там его)
Бесплатно предоставляется кастрированная версия, за небольшие денежки (порядка 50 баксов, если ничего не изменилось) можно купить полную.
В настоящее время использую этот скрипт при индексации публикаций в нескольких проектах.
Надеюсь пригодится
ЗЫ: в довесок к платной версии получил скрипт, позволяющий дополнять базу из ISPELL
vitovt
Новичок
я пробовал, но что-то не подходит оно мне. Мне тут выдали один скриптец для работы с ispell но он как-то странно себя ведет:
<?
function ispell($words) {
global $config;
if (!sizeof($words)) return;
$descriptorspec = array(
0 => array("pipe", "r"),
1 => array("pipe", "w"),
// 2 => array("file",
_file_root."include/log/pipe.log", "a"),
);
$cmd =($config['isLocal'])?"c:\\ispell\\bin\\ispell.exe -a -d c:\\ispell\\lib\\russian":"ispell -a -d russian";
$process = proc_open($cmd, $descriptorspec, $pipes);
if (is_resource($process)) {
unset($w);
for ($i=0;$i<sizeof($words);$i++) if
(!preg_match('/[0-9a-z]/i',$words[$i])) $w[]=$words[$i];
if (is_array($w)) fwrite($pipes[0],implode(' ',$w));
fclose($pipes[0]);
$ret=array();
$cnt=0;
while(!feof($pipes[1])) {
if (preg_match('/[0-9a-z]/i',$words[$cnt]))
{$ret[]=strtolower($words[$cnt]);$cnt++;}
else {
$fn=_strtolower(preg_replace('/\n|\r/','',fgets($pipes[1],1024)));
if ($fn and $fn[0]!='@') {
$fo=_strtolower($words[$cnt]);
if ($fn[0]=='*') $ret[]=$fo;
elseif ($fn[0]=='+') {
preg_match('/.
([а-я]+)/',$fn,$out);
$ret[]=$out[1];
}
elseif ($fn[0]=='&' or
$fn[0]=='#') {
$ret[]=$fo;
}
$cnt++;
}
}
}
fclose($pipes[1]);
$return_value = proc_close($process);
return $ret;
}
}
?>
-~{}~ 01.03.07 18:38:
Причем этот скрипт ничего не возвращает (кроме первой буквы слова, которое передаешь в функцию) а вот если вставляешь английское слово како-нибудь то выводит просто массив букв )
<?
function ispell($words) {
global $config;
if (!sizeof($words)) return;
$descriptorspec = array(
0 => array("pipe", "r"),
1 => array("pipe", "w"),
// 2 => array("file",
_file_root."include/log/pipe.log", "a"),
);
$cmd =($config['isLocal'])?"c:\\ispell\\bin\\ispell.exe -a -d c:\\ispell\\lib\\russian":"ispell -a -d russian";
$process = proc_open($cmd, $descriptorspec, $pipes);
if (is_resource($process)) {
unset($w);
for ($i=0;$i<sizeof($words);$i++) if
(!preg_match('/[0-9a-z]/i',$words[$i])) $w[]=$words[$i];
if (is_array($w)) fwrite($pipes[0],implode(' ',$w));
fclose($pipes[0]);
$ret=array();
$cnt=0;
while(!feof($pipes[1])) {
if (preg_match('/[0-9a-z]/i',$words[$cnt]))
{$ret[]=strtolower($words[$cnt]);$cnt++;}
else {
$fn=_strtolower(preg_replace('/\n|\r/','',fgets($pipes[1],1024)));
if ($fn and $fn[0]!='@') {
$fo=_strtolower($words[$cnt]);
if ($fn[0]=='*') $ret[]=$fo;
elseif ($fn[0]=='+') {
preg_match('/.
([а-я]+)/',$fn,$out);
$ret[]=$out[1];
}
elseif ($fn[0]=='&' or
$fn[0]=='#') {
$ret[]=$fo;
}
$cnt++;
}
}
}
fclose($pipes[1]);
$return_value = proc_close($process);
return $ret;
}
}
?>
-~{}~ 01.03.07 18:38:
Причем этот скрипт ничего не возвращает (кроме первой буквы слова, которое передаешь в функцию) а вот если вставляешь английское слово како-нибудь то выводит просто массив букв )