Выдирания из куска текста слов-существительных

[donflash]

Выдирания из куска текста слов-существительных

Собственно есть задача автоматизированной расстановки тегов для новостей. Алгоритм такой:
1) в качестве тегов должны использоваться только слова существительные,
2) определение того, является ли слово тегом, должно проходить на основе частоты его упоминания в полном описании новости

Вопрос в первом пункте. В поиске нашёл парочку похожих тем, но суть там не была раскрыта. Погуглив, нашёл базы, но они содержат далеко не "существительные"... Может я плохо искал или ещё что... Кто-нить подскажет куда рыть?

 

[kvf77]

donflash
Рыть в сторону прекращения заниматься фигней и бросить эту затею. максимум, что могу посоветовать, выдели только ЗНАЧИМЫЕ существительные для твоей тематики сайта. и только их ищи. Искать ВСЕ существительные - это глупая идея.

 

[donflash]

В смысле, значимые? Имеется ввиду ручками составить базу необходимых существительных?

 

[Dovg]

Есть словарь Лебедева для ispell
там указана часть речи

 

[kvf77]

donflash
Ну очевидно же, что твой сайт посвящен чему-то, для этого чего-то есть значимые слова. Не думаю что их миллиард. Просто например если новость о ядерных реакторах, то затесавшееся там слово "ДОМ" никак не будет релевантно для такой новости. Например " Ядерный реактор туда сюда. а рядом стоял дом." Смысл тегом делать слово дом? Ты хочешь то, что тебе совершенно не нужно.

 

[donflash]

kvf77, я полностью согласен в абсурдности этой затеи, но, к сожалению, задача поставлена не мной и придётся её выполнять


Dovg
Спасибо за наводку, но по словосочетанию "словарь Лебедева для ispell" я нашёл только обычне словари ispell...

 

[BrigadeFuhrer]

если хочется ковырятся, морфология вам в помощь. Русский язык вполне себе формализуется

 

[kvf77]

donflash
Тебе нужен не словарь, точнее, главнее не словарь - тебе нужен алгоритм лемматизации - чтобы получать существительное не просто как есть, а в иминительном падеже единственного числа.

Вот очень интересный топик:
http://phpclub.ru/talk/showthread.php?s=&threadid=96949&rand=52

НО, ПОВТОРЯЮ! ЗАДАЧА БЕССМЫСЛЕННА В ЕЕ ТЕКУЩЕЙ ПОСТАНОВКЕ.

Можно позволю себе интересную цитату:

«Любой главнокомандующий, который собирается выполнить план (приказ), который он считает неправильным, делает ошибку. В таком случае, он обязан изложить причины своего несогласия с планом и настаивать на том, чтобы план был изменен. А в крайнем случае, отказаться от своей должности для того, чтобы не стать инструментом поражения армии». Наполеон

 

[donflash]

Спасибо всем за помощь, буду ковыряться дальше...

 

[Beavis]

[offtop]

Автор оригинала: kvf77 «Любой главнокомандующий, который собирается выполнить план (приказ), который он считает неправильным, делает ошибку. В таком случае, он обязан изложить причины своего несогласия с планом и настаивать на том, чтобы план был изменен. А в крайнем случае, отказаться от своей должности для того, чтобы не стать инструментом поражения армии». Наполеон

а кто у нас командует главнокомандующими?))
[/offtop]