Syntax. Support. Development

Syntax

We use GramEval2020 Taiga News as test dataset, UAS is 96%, LAS 93% (see Naeval syntax section). Error examples, left is correct:

┌──► Официальные amod ┌──► Официальные amod

│ ┌► американские amod │ ┌► американские amod

└─└─ власти nsubj └─└─ власти nsubj

┌─┌─└─┌─ отказываются | ┌───└─┌─ отказываются

│ │ ┌─└► комментировать xcomp | │ ┌─┌─└► комментировать xcomp

│ │ └►┌─ подробности obj │ │ └►┌─ подробности obj

│ │ └► программы nmod │ │ └► программы nmod

│ │ ┌► , punct │ │ ┌► , punct

│ └──►└─ ссылаясь advcl │ └──►└─ ссылаясь advcl

│ │ ┌──► на case │ │ ┌──► на case

│ │ │ ┌► ее det │ │ │ ┌► ее det

│ └►└─└─ секретность obl │ └►└─└─ секретность obl

└──────► . punct └──────► . punct

┌► Единственный amod ┌► Единственный amod

┌────►┌─└─ сын nsubj ┌────►┌─└─ сын nsubj

│ ┌───└──► одного nmod │ ┌───└──► одного nmod

│ │ ┌────► из case │ │ ┌────► из case

│ │ │ ┌──► высокопоставленных amod │ │ │ ┌──► высокопоставленных amod

│ │ │ │ ┌► северокорейских amod │ │ │ │ ┌► северокорейских amod

│ └►└─└─└─ генералов nmod │ └►└─└─└─ генералов nmod

┌─┌─└───┌─┌─── бежал ┌─┌─└───┌─┌─── бежал

│ │ │ │ ┌► из case │ │ │ │ ┌► из case

│ │ │ └►└─ страны obl │ │ │ └►└─ страны obl

│ │ │ ┌──► вместе advmod | │ │ └►┌─── вместе advmod

│ │ │ │ ┌► с case | │ │ │ ┌► с case

│ │ └►└─└─ семьей obl | │ │ └►└─ семьей obl

│ │ ┌──► и cc │ │ ┌──► и cc

│ │ │ ┌► сейчас advmod │ │ │ ┌► сейчас advmod

│ └────►┌─└─└─ находится conj │ └────►┌─└─└─ находится conj

│ │ ┌► в case │ │ ┌► в case

│ ┌─└──►└─ руках obl │ ┌─└──►└─ руках obl

│ │ ┌► американской amod │ │ ┌► американской amod

│ └────►└─ разведки nmod │ └────►└─ разведки nmod

└────────────► . punct └────────────► . punct

┌► Бейкер nsubj | ┌► Бейкер nsubj:pass

┌─┌─└─ считается ┌─┌─└─ считается

│ │ ┌► давним amod │ │ ┌► давним amod

│ └►└─ другом xcomp │ └►└─ другом xcomp

│ └►┌─ семьи nmod │ └►┌─ семьи nmod

│ └► Бушей nmod │ └► Бушей nmod

└────► . punct └────► . punct

┌► По case ┌► По case

┌►┌───┌─└─ сведениям parataxis ┌►┌───┌─└─ сведениям parataxis

│ │ │ ┌► из case │ │ │ ┌► из case

│ │ ┌─└►└─ источника nmod │ │ ┌─└►└─ источника nmod

│ │ │ ┌► " punct │ │ │ ┌► " punct

│ │ └►┌─└─ Интерфакса nmod │ │ └►┌─└─ Интерфакса nmod

│ │ └──► " punct │ │ └──► " punct

│ └──────► , punct │ └──────► , punct

│ ┌► на case │ ┌► на case

│ ┌►└─ процессе obl │ ┌►└─ процессе obl

│ │ ┌► также advmod │ │ ┌► также advmod

┌─└─────└─└─ представлены ┌─└─────└─└─ представлены

│ ┌─└──► адвокаты nsubj:pass │ ┌─└──► адвокаты nsubj:pass

│ │ ┌► " punct │ │ ┌► " punct

│ ┌─└►┌─└─ Газпрома nmod │ ┌─└►┌─└─ Газпрома nmod

│ │ └──► " punct │ │ └──► " punct

│ │ ┌────► — punct │ │ ┌────► — punct

│ │ │ ┌► самого amod │ │ │ ┌► самого amod

│ │ │ ┌►└─ вероятного amod │ │ │ ┌►└─ вероятного amod

│ └►└─└─┌─ покупателя appos │ └►└─└─┌─ покупателя appos

│ ┌─┌─└► компании nmod │ ┌─┌─└► компании nmod

│ │ │ ┌► " punct │ │ │ ┌► " punct

│ │ └►└─ Юганскнефтегаз appos │ │ └►└─ Юганскнефтегаз appos

│ │ └──► " punct │ │ └──► " punct

│ │ ┌──► , punct │ │ ┌──► , punct

│ │ │ ┌► основного amod │ │ │ ┌► основного amod

│ └►└─└─ актива conj | │ └►└─└─ актива appos

│ │ ┌► " punct │ │ ┌► " punct

│ └►┌─└─ ЮКОСа nmod │ └►┌─└─ ЮКОСа nmod

│ └──► " punct │ └──► " punct

└──────────► . punct └──────────► . punct

┌► Между obl | ┌► Между case

┌────►└─ тем parataxis | ┌────►└─ тем obl

│ ┌►┌─── руководство nsubj | │ ┌►┌─── руководство nsubj

│ │ │ ┌► " punct | │ │ │ ┌► " punct

│ │ └►└─ ЮКОСа nmod | │ │ └►└─ ЮКОСа nmod

│ │ └──► " punct | │ │ └──► " punct

┌─┌─└─└───┌─ опротестовало | ┌─└─└───┌─ опротестовало

│ │ ┌─└► решение obj | │ ┌─└► решение obj

│ │ │ ┌► об case | │ │ ┌► об case

│ │ └►└─ аресте nmod | │ ┌───└►└─ аресте nmod

│ │ ┌─└──► акций nmod | │ │ ┌─└──► акций nmod

│ │ │ ┌► " punct | │ │ │ ┌► " punct

│ │ └►┌─└─ Юганскнефтегаза nmod | │ │ └►┌─└─ Юганскнефтегаза nmod

│ │ └──► " punct | │ │ └──► " punct

│ │ ┌────► в case | │ │ ┌────► в case

│ │ │ ┌──► Высшем amod | │ │ │ ┌──► Высшем amod

│ │ │ │ ┌► арбитражном amod | │ │ │ │ ┌► арбитражном amod

│ └──►└─└─└─ суде obl | │ └►└─└─└─ суде nmod

│ └──► России nmod | │ └──► России nmod

└──────────► . punct | └────────► . punct

┌► Это det ┌► Это det

┌──►└─ решение nsubj | ┌──►└─ решение nsubj:pass

│ ┌► уже advmod │ ┌► уже advmod

│ ┌►└─ трижды advmod │ ┌►└─ трижды advmod

┌─────┌─└─└─── рассматривалось ┌─────┌─└─└─── рассматривалось

│ │ │ ┌► в case │ │ │ ┌► в case

│ │ └──►└─ судах obl │ │ └──►└─ судах obl

│ │ ┌────► — punct │ │ ┌────► — punct

│ │ │ ┌► первая amod │ │ │ ┌► первая amod

│ │ │ ┌►└─ инстанция nsubj │ │ │ ┌►└─ инстанция nsubj

│ ┌───└►└─└─┌─ удовлетворила parataxis │ ┌───└►└─└─┌─ удовлетворила parataxis

│ │ ┌─└► жалобу obj │ │ ┌─└► жалобу obj

│ │ │ ┌► " punct │ │ │ ┌► " punct

│ │ └►└─ ЮКОСа nmod │ │ └►└─ ЮКОСа nmod

│ │ └──► " punct │ │ └──► " punct

│ │ ┌────────► , punct │ │ ┌────────► , punct

│ │ │ ┌──────► однако advmod │ │ │ ┌──────► однако advmod

│ │ │ │ ┌►┌─── вторая nsubj │ │ │ │ ┌►┌─── вторая nsubj

│ │ │ │ │ │ ┌► и cc │ │ │ │ │ │ ┌► и cc

│ │ │ │ │ └►└─ третья conj │ │ │ │ │ └►└─ третья conj

│ └►└─└─└───┌─ признали conj │ └►└─└─└───┌─ признали conj

│ │ ┌─└► арест obj │ │ ┌─└► арест obj

│ │ └──► акций nmod │ │ └──► акций nmod

│ └──────► законным xcomp │ └──────► законным xcomp

└────────────► . punct └────────────► . punct

NER

We use first 100 news articles from Collection5 for evaluation, PER F1 is 99.7%, LOC — 98.6%, ORG — 97.2%. Error examples, top is correct:

Выборы Верховного совета Аджарской автономной республики назначены в

ORG────────────── LOC────────────────────────────

соответствии с 241-ой статьей и 4-м пунктом 10-й статьи

Конституционного закона Грузии <О статусе Аджарской автономной

LOC─── LOC──────────────────

республики>.

──────────

Выборы Верховного совета Аджарской автономной республики назначены в

ORG────────────── LOC────────────────────────────

соответствии с 241-ой статьей и 4-м пунктом 10-й статьи

Конституционного закона Грузии <О статусе Аджарской автономной

LOC─── LOC─────────────────

республики>.

Следственное управление при прокуратуре требует наказать премьера

ORG────────────────────────────────────

Якутии

LOC───

Следственное управление при прокуратуре требует наказать премьера

ORG────────────────────

Якутии

LOC───

Следственное управление Следственного комитета при прокуратуре

ORG──────────────────── ORG───────────────────────────────────

Российской Федерации по Якутии обжаловало решение прокуратуры

LOC───────────────── LOC───

республики.

Следственное управление Следственного комитета при прокуратуре

ORG──────────────────── ORG───────────────────

Российской Федерации по Якутии обжаловало решение прокуратуры

LOC───────────────── LOC───

республики.

Как сообщили в четверг корреспонденту Агентства национальных новостей

ORG────────────────────────────

в следственном управлении, еще 16 мая 2007 г. прокуратурой Якутии было

LOC───

возбуждено уголовное дело № 66144 по признакам преступления,

предусмотренного ч. 4 ст. 159 УК РФ по факту причинения имущественного

ущерба в размере 30 млн руб. государственному унитарному предприятию

<Дирекция по строительству железной дороги <Беркакит-Томмот-Якутск>.

ORG──────────────────────────────────────────────────────────────

Как сообщили в четверг корреспонденту Агентства национальных новостей

ORG────────────────────────────

в следственном управлении, еще 16 мая 2007 г. прокуратурой Якутии было

LOC───

возбуждено уголовное дело № 66144 по признакам преступления,

предусмотренного ч. 4 ст. 159 УК РФ по факту причинения имущественного

ущерба в размере 30 млн руб. государственному унитарному предприятию

<Дирекция по строительству железной дороги <Беркакит-Томмот-Якутск>.

ORG────────────────────── LOC───────────────────

Для установления процессуальным путем всех обстоятельств, касающихся

причинения ущерба, 4 августа 2008 года Следственное управление

ORG────────────────────

Следственного комитета при прокуратуре Российской Федерации по Якутии

ORG─────────────────────────────────── LOC───────────────── LOC───

возбудило уголовное дело № 49234 в отношении Егора Борисова по

PER───────────

признакам составов преступлений, предусмотренных ч. 2 ст. 286, ч. 5

ст. 33, ч. 4 ст. 160 и ч. 2 ст. 286 УК РФ.

Для установления процессуальным путем всех обстоятельств, касающихся

причинения ущерба, 4 августа 2008 года Следственное управление

ORG────────────────────

Следственного комитета при прокуратуре Российской Федерации по Якутии

ORG─────────────────── LOC───────────────── LOC───

возбудило уголовное дело № 49234 в отношении Егора Борисова по

PER───────────

признакам составов преступлений, предусмотренных ч. 2 ст. 286, ч. 5

ст. 33, ч. 4 ст. 160 и ч. 2 ст. 286 УК РФ.

Начальник полигона твердых бытовых отходов <Игумново> в Нижегородской

ORG───── LOC───────────

области осужден за загрязнение атмосферы и грунтовых вод.

───────

Начальник полигона твердых бытовых отходов <Игумново> в Нижегородской

LOC───────────

области осужден за загрязнение атмосферы и грунтовых вод.

───────

Федеральная антимонопольная служба (ФАС) России признала, что группа

ORG─────────────────────────────── ORG LOC───

компаний <Мечел> нарушила статью 10 закона <О защите конкуренции> в

ORG──

части создания дискриминационных условий для отдельных потребителей

продукции, а также экономически и технологически необоснованного

отказа от заключения договора на поставку продукции и поддержания

монопольно высокой цены на товар.

Федеральная антимонопольная служба (ФАС) России признала, что группа

ORG───────────────────────────────────── LOC───

компаний <Мечел> нарушила статью 10 закона <О защите конкуренции> в

ORG──

части создания дискриминационных условий для отдельных потребителей

продукции, а также экономически и технологически необоснованного

отказа от заключения договора на поставку продукции и поддержания

монопольно высокой цены на товар.

Страны Азии и Африки поддержали позицию России в конфликте с Грузией

LOC─ LOC─── LOC─── LOC────

Страны Азии и Африки поддержали позицию России в конфликте с Грузией

LOC─── LOC────

Support

· Chat — https://telegram.me/natural_language_processing

· Issues — https://github.com/natasha/nerus/issues

· Commercial support — https://lab.alexkuk.ru

Development

Tests:

make test

Package:

make version

git push

git push --tags

make clean wheel upload

Rent YC GPU:

yc compute instance create \

--name gpu \

--zone ru-central1-a \

--network-interface subnet-name=default,nat-ip-version=ipv4 \

--create-boot-disk image-folder-id=standard-images,image-family=ubuntu-1804-lts-ngc,type=network-ssd,size=20 \

--cores=8 \

--memory=96 \

--gpus=1 \

--ssh-key ~/.ssh/id_rsa.pub \

--folder-name default \

--platform-id gpu-standard-v1 \

--preemptible

yc compute instance list

yc compute instance delete fhmj2ftcm32qgqt4igjf

Setup instance:

sudo locale-gen ru_RU.UTF-8

sudo apt-get update

sudo apt-get install -y python3-pip

sudo pip3 install jupyter

nohup jupyter notebook \

--no-browser \

--allow-root \

--ip=localhost \

--port=8888 \

--NotebookApp.token='' \

--NotebookApp.password='' &

ssh -Nf gpu -L 8888:localhost:8888

http://localhost:8888/

Sync remote:

scp ~/.nerus.json gpu:~

rsync --exclude data -rv . gpu:~/nerus

rsync -u --exclude data -rv 'gpu:~/nerus/*' .

Intall dev:

sudo pip3 install -r nerus/requirements/dev.txt

sudo pip3 install -e nerus

⇐ Предыдущая 1 2 345 Следующая ⇒