Я конечно извиняюсь, но что мешает взять словарь Константина Книжника, включённый в существующие сборки Firefox, и довести его до ума?
Обязательно было начинать всё с нуля?

Добавлено Thu Jan  3 19:01:15 2008 :
Исходники его лежат здесь

Все прочитал, но так и не понял как создавать новый словарь. Точнее мне нужно добавить в уже существующий словарь новые слова со всеми словоформами.
Какой программой мне пользоваться? Или по какому алгоритму можно определить все словоформы имея неизвестное слово и файл affix?

cyber-pilot
Чтобы добавить новое слово со всеми его словоформами нужно для начала определиться с правилом(ами) под которые подпадает это слово. В соответствии с этим выбрать нужное(ые) правило(а). Проще всего действовать по аналогии, то есть найти похожее слово из словаря. Но это достаточно нетривиальная задача — разобраться в формате чужого словаря.

cyber-pilot

Насчёт автоматизации — я бы тоже не отказался Делали составители словаря это вручную или нет могут сказать только они сами. Единственное что могу ещё добавить, что словарь строился на основе словаря Зализняка.
По моему мнению окончательная версия правил подверглась уменьшению их количества путём объединения правил друг с другом. Вот это и составляет основную проблему. Отсутствие же каких-либо комментариев практически не позволяет с ходу определить для чего используется конкретное правило. Поэтому аналогия — единственный, на мой взгляд, не слишком затратный метод добавления словоформ в существующий чужой словарь с неизвестной структурой правил.

cyber-pilot

Не пойдет, в русском языке нет ни классов слов, ни сингармонизма, чтобы по последним эн знакам определить, какое окончание цеплять.
Например, есть глаголы на ять, которые относятся к 2 спряжению.

Вот здесь вот http://www.5ballov.ru/referats/preview/15883/1 например, говорится, что по принципу аналогии вероятность правильного анализа слов при обработке текстов любой тематики превышает 99%

И еще есть программы, которые умеют строить список словоформ для неизвестных слов, например ОРФО.

Отредактировано cyber-pilot (04-02-2008 15:27:41)

У меня ОРФО сразу выдает гипотезы словоформ, причем первая из них в основном правильная. А если ни одна из них не подошла, то можно в режиме "Эксперт" самому выбрать, что это за слово.

cyber-pilot
Вообще-то есть онлайн проект АОТ там и части речи догадывает.

они уже не работают над словарём...

TLemur
Компания. К сожалению не получилось.

Там был мой ответ, который удалили. Напишу его сюда:
John Lynx
Подумал над Вашими словами.
Результат следующий:
Вся работа делится на 2 этапа:
1. Подготовительный. В котором определяется группа людей, которые будут работать над добавлением слов в словарь. Они определяются между собой, кто будет лидером (человеком, который будет отвечать за непосредственное добавление слов в словарь и который будет осуществлять общий контроль работы остальных членов группы). Они ищут всю доступную информацию по словарю (что он из себя представляет, как организован механизм добавления слов и т.д.), вся эта информация публикуется в доступном для всех месте. Эти же люди определяют критерии, по которым слово может быть добавлено в словарь. Ставится срок, к которому работа (или какой-то промежуточный релиз) должна быть выполнена.
2. Непосредственно работа. Тут могут быть нюансы. Если, например, много людей, то можно начать распределять между участниками диапазон букв в алфавите (например, первый предлагает к дополнению слова, начинающиеся на буквы а - г, второй - д - з и т.д.). Если нет, можно выбрать какой-то иной способ работы. Это уже проблема, которую нужно будет решать непосредственно на этом этапе работы. Заранее планировать это в деталях - слишком затратно по времени и несколько нерационально.
Здесь выполнение работы, контроль, возможная коррекция сроков выполнения работы....

Это, так сказать, набросок...

Отредактировано Quicksilver tears (24-11-2008 21:16:39)

Кстати, а с Лебедевым кто-нибудь контактировал, узнавал о том, продолжается ли работа над словарём, кто участвует и т.д.?