- Автоматизация
- Антропология
- Археология
- Архитектура
- Биология
- Ботаника
- Бухгалтерия
- Военная наука
- Генетика
- География
- Геология
- Демография
- Деревообработка
- Журналистика
- Зоология
- Изобретательство
- Информатика
- Искусство
- История
- Кинематография
- Компьютеризация
- Косметика
- Кулинария
- Культура
- Лексикология
- Лингвистика
- Литература
- Логика
- Маркетинг
- Математика
- Материаловедение
- Медицина
- Менеджмент
- Металлургия
- Метрология
- Механика
- Музыка
- Науковедение
- Образование
- Охрана Труда
- Педагогика
- Полиграфия
- Политология
- Право
- Предпринимательство
- Приборостроение
- Программирование
- Производство
- Промышленность
- Психология
- Радиосвязь
- Религия
- Риторика
- Социология
- Спорт
- Стандартизация
- Статистика
- Строительство
- Технологии
- Торговля
- Транспорт
- Фармакология
- Физика
- Физиология
- Философия
- Финансы
- Химия
- Хозяйство
- Черчение
- Экология
- Экономика
- Электроника
- Электротехника
- Энергетика
Token segmentation. Morphology
Token segmentation
There are ~5 tokenization errors per 1000 tokens, see Naeval tokenization section. Error examples, first is golden partition from SynTagRus:
Иногда| |на| |первое| |место| |в| |списке| |гаджетов|-|неудачников| |попадают| |устройства|,| |подобной| |участи| |совершенно| |не| |заслуживающие|.
Иногда| |на| |первое| |место| |в| |списке| |гаджетов-неудачников| |попадают| |устройства|,| |подобной| |участи| |совершенно| |не| |заслуживающие|.
Средний| |размер| |вуза| |на| |Западе| |-| |25000|-|30000| |студентов|.
Средний| |размер| |вуза| |на| |Западе| |-| |25000-30000| |студентов|.
-| |Какое| |же| |тут| |зверье| |может| |быть|?|!| |-| |донельзя| |испугался| |толстяк| |Леонтий|.
-| |Какое| |же| |тут| |зверье| |может| |быть|?!| |-| |донельзя| |испугался| |толстяк| |Леонтий|.
Наука| |и| |жизнь|,| |№| |10|,| |2005|.
Наука| |и| |жизнь|,| |№| |10,| |2005|.
В| |это| |же| |время| |в| |стране| |строились| |планеры| |оригинальных| |конструкций|,| |например| |БП-2| |(|ЦАГИ|-|2|)|.
В| |это| |же| |время| |в| |стране| |строились| |планеры| |оригинальных| |конструкций|,| |например| |БП-2| |(|ЦАГИ-2|)|.
Причиненный| |пожарами| |ущерб| |оценивается| |в| |50| |млн.| |австралийских| |долларов| |(|$|27| |млн.|)|.
Причиненный| |пожарами| |ущерб| |оценивается| |в| |50| |млн|.| |австралийских| |долларов| |(|$|27| |млн|.|)|.
Самый| |же| |главный| |юмор| |ситуации| |в| |том|,| |что| |поклонники| |Андропова| |явно| |прочат| |Юрия| |Владимировича| |на| |роль| |"|славного| |предшественника|"| |В.| |В.| |Путина|.
Самый| |же| |главный| |юмор| |ситуации| |в| |том|,| |что| |поклонники| |Андропова| |явно| |прочат| |Юрия| |Владимировича| |на| |роль| |"|славного| |предшественника|"| |В|.| |В|.| |Путина|.
Morphology
We use morphoRuEval-2017 methodology and GramEval2020 Taiga News dataset to score morphology tags. Accuracy is 94%, more relaxed morphoRuEval version is 98% (see Naeval morphology section). Examples of errors, top is correct, "!" marks errors, "?" marks different tags that are same according to morphoRuEval:
Официальные ADJ|Animacy=Inan|Case=Nom|Degree=Pos|Number=Plur
? ADJ|Case=Nom|Degree=Pos|Number=Plur
американские ADJ|Case=Nom|Degree=Pos|Number=Plur
власти NOUN|Animacy=Inan|Case=Nom|Gender=Fem|Number=Plur
отказываются VERB|Aspect=Imp|Mood=Ind|Number=Plur|Person=3|Tense=Pres|VerbForm=Fin|Voice=Mid
комментировать VERB|Aspect=Imp|VerbForm=Inf|Voice=Act
подробности NOUN|Animacy=Inan|Case=Acc|Gender=Fem|Number=Plur
программы NOUN|Animacy=Inan|Case=Gen|Gender=Fem|Number=Sing
, PUNCT
ссылаясь VERB|Aspect=Imp|Tense=Pres|VerbForm=Conv|Voice=Mid
на ADP
ее DET
секретность NOUN|Animacy=Inan|Case=Acc|Gender=Fem|Number=Sing
. PUNCT
Бейкер PROPN|Animacy=Anim|Case=Nom|Gender=Masc|Number=Sing
считается VERB|Aspect=Imp|Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin|Voice=Mid
? VERB|Aspect=Imp|Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin|Voice=Pass
давним ADJ|Case=Ins|Degree=Pos|Gender=Masc|Number=Sing
другом NOUN|Animacy=Anim|Case=Ins|Gender=Masc|Number=Sing
семьи NOUN|Animacy=Inan|Case=Gen|Gender=Fem|Number=Sing
Бушей PROPN|Animacy=Anim|Case=Gen|Gender=Masc|Number=Plur
. PUNCT
Обоим NUM|Case=Dat|Gender=Masc
по ADP
24 NUM|NumForm=Digit
? NUM
года NOUN|Animacy=Inan|Case=Gen|Gender=Masc|Number=Sing
, PUNCT
в ADP
Греции PROPN|Animacy=Inan|Case=Loc|Gender=Fem|Number=Sing
они PRON|Case=Nom|Number=Plur|Person=3
провели VERB|Aspect=Perf|Mood=Ind|Number=Plur|Tense=Past|VerbForm=Fin|Voice=Act
по ADP
шесть NUM|Case=Acc
лет NOUN|Animacy=Inan|Case=Gen|Gender=Masc|Number=Plur
и CCONJ
ранее ADV|Degree=Cmp
! ADV|Degree=Pos
в ADP
правонарушениях NOUN|Animacy=Inan|Case=Loc|Gender=Neut|Number=Plur
на ADP
греческой ADJ|Case=Loc|Degree=Pos|Gender=Fem|Number=Sing
территории NOUN|Animacy=Inan|Case=Loc|Gender=Fem|Number=Sing
замечены VERB|Aspect=Perf|Number=Plur|Tense=Past|Variant=Short|VerbForm=Part|Voice=Pass
не PART|Polarity=Neg
были AUX|Mood=Ind|Number=Plur|Tense=Past|VerbForm=Fin|Voice=Act
? AUX|Aspect=Imp|Mood=Ind|Number=Plur|Tense=Past|VerbForm=Fin|Voice=Act
. PUNCT
Тихонов PROPN|Animacy=Anim|Case=Nom|Gender=Masc|Number=Sing
сообщил VERB|Aspect=Perf|Gender=Masc|Mood=Ind|Number=Sing|Tense=Past|VerbForm=Fin|Voice=Act
, PUNCT
что SCONJ
уже ADV|Degree=Pos
шестой ADJ|Case=Nom|Degree=Pos|Gender=Masc|Number=Sing
! ADJ|Animacy=Inan|Case=Acc|Degree=Pos|Gender=Masc|Number=Sing
день NOUN|Animacy=Inan|Case=Nom|Gender=Masc|Number=Sing
! NOUN|Animacy=Inan|Case=Acc|Gender=Masc|Number=Sing
находится VERB|Aspect=Imp|Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin|Voice=Mid
в ADP
Австрии PROPN|Animacy=Inan|Case=Loc|Gender=Fem|Number=Sing
, PUNCT
в ADP
одной NUM|Case=Loc|Gender=Fem|Number=Sing
из ADP
лучших ADJ|Case=Gen|Degree=Pos|Number=Plur
клиник NOUN|Animacy=Inan|Case=Gen|Gender=Fem|Number=Plur
мира NOUN|Animacy=Inan|Case=Gen|Gender=Masc|Number=Sing
по ADP
нейрохирургии NOUN|Animacy=Inan|Case=Dat|Gender=Fem|Number=Sing
и CCONJ
сердечно-сосудистым ADJ|Case=Dat|Degree=Pos|Number=Plur
заболеваниям NOUN|Animacy=Inan|Case=Dat|Gender=Neut|Number=Plur
. PUNCT
|
|
|
© helpiks.su При использовании или копировании материалов прямая ссылка на сайт обязательна.
|