opencorpora icon indicating copy to clipboard operation
opencorpora copied to clipboard

Составить список недостающих слов из Викисловаря

Open grandsbor opened this issue 11 years ago • 10 comments

Скрипты: https://github.com/grandsbor/opencorpora-junk/tree/master/wiktionary_import Описание скриптов: https://code.google.com/p/opencorpora/issues/detail?id=157#c46

Дамп Викисловаря можно взять тут: http://dumps.wikimedia.org/ruwiktionary/latest/

grandsbor avatar Mar 31 '14 10:03 grandsbor

  • Запустила скрипты.
  • Добавила некоторые шаблоны для сущ-х, также создала новые шаблоны для прил-х и наречий.
  • Посмотрела на всё глазами.
  • Удалила те слова, которые не совпадают с тем, что есть в корпусе.
  • Добавила пометы slng, infr, pltm и подобное.

Всего новых 1400 слов, ну там вообще много нормальных: стейк, дедлайн, аварийка, госуслуга и т. д. прил -- adjf.zip сущ -- nouns.zip наречия -- form_adv_unkn.txt

Нормален ли формат прил-х и наречий для автопереноса в словарь?

В каком виде генерировать глаголы и их формы (прич-я, деепр-я ), чтобы при импорте не потерялись связи?

Shimorina avatar Jun 16 '17 16:06 Shimorina

Формат нормальный.

Кажется, проще потом расставить связи отдельно, имея список пар лемм.

grandsbor avatar Jun 16 '17 16:06 grandsbor

Существительные залил

grandsbor avatar Apr 30 '19 13:04 grandsbor

И наречия залил

grandsbor avatar Apr 30 '19 19:04 grandsbor

Новые извлечённые существительные и наречия: adv_nouns_2020.zip (~ 150 штук). Просмотрены вручную, лишние удалены, поэтому айди в файлах не подряд.

Shimorina avatar Jul 14 '20 20:07 Shimorina

Добавила некоторые шаблоны для сущ-х, также создала новые шаблоны для прил-х и наречий.

@Shimorina Настя, эти твои правки где-то сохранены? Будет жалко, если пропадут.

grandsbor avatar Aug 21 '20 14:08 grandsbor

adjf_fixed_grammemes.zip

Эти залил.

grandsbor avatar Aug 21 '20 15:08 grandsbor

@Shimorina Настя, эти твои правки где-то сохранены? Будет жалко, если пропадут.

Да, они все есть в репозитории в scripts/wiktionary_import

Shimorina avatar Aug 21 '20 15:08 Shimorina

Новые извлечённые существительные и наречия: adv_nouns_2020.zip (~ 150 штук). Просмотрены вручную, лишние удалены, поэтому айди в файлах не подряд.

и новые прилагательные: adj_2020.zip (~60 шт.)

Shimorina avatar Sep 19 '20 13:09 Shimorina