Skip to main content

Moksha 基于规则的形态分析

项目描述

Moksha 形态分析仪

mdf这是 Moksha ( ; Uralic > Mordvinic)的基于规则的形态分析器。它基于对文学 Moksha 形态的形式化描述,其中还包含许多方言元素,并使用uniparser-morph进行解析。它对 Moksha 词进行完整的形态分析(词形还原、词性标注、语法标注、注解)。

如何使用

Python 包

该分析器以 Python 包的形式提供。如果要在 Python 中分析 Moksha 文本,请安装该模块:

pip3 install uniparser-moksha

导入模块并创建MokshaAnalyzer类的实例。设置mode='strict'是否要以标准正字法处理文本,或者mode='nodiacritics'如果您希望某些单词缺少变音符号(这在社交媒体中经常发生)。之后,您可以使用 解析标记或标记列表analyze_words(),或者使用 解析频率列表analyze_wordlist()。这是一个简单的例子:

from uniparser_moksha import MokshaAnalyzer
a = MokshaAnalyzer(mode='strict')

analyses = a.analyze_words('Морфологиять')
# The parser is initialized before first use, so expect
# some delay here (usually several seconds)

# You will get a list of Wordform objects
# The analysis attributes are stored in its properties
# as string values, e.g.:
for ana in analyses:
        print(ana.wf, ana.lemma, ana.gramm, ana.gloss)

# You can also pass lists (even nested lists) and specify
# output format ('xml' or 'json')
# If you pass a list, you will get a list of analyses
# with the same structure
analyses = a.analyze_words([['А'], ['Мон', 'тонь', 'келькте', '.']],
	                       format='xml')
analyses = a.analyze_words(['Морфологиять', [['А'], ['Мон', 'тонь', 'келькте', '.']]],
	                       format='json')

有关完整的选项列表,请参阅uniparser-morph 文档

消歧义

该语言尚不支持消歧。

单词列表

或者,您可以使用预处理的单词列表。该wordlists目录包含来自 170 万字Moksha 语料库的单词列表( wordlist_main.csv)、已分析标记列表 ( wordlist_analyzed.txt;每行包含对 XML 格式的一个单词的所有可能分析) 以及解析器无法分析的标记列表 ( wordlist_unanalyzed.txt)。分析仪的召回率为 91% 的文学文本和 79% 的社交媒体文本。

描述格式

描述以uniparser-morph格式进行,包括对变形的描述(paradigms.txt)、语法词典(kpv_lexemes_XXX.txt 文件)、用附加俄语翻译注释词位和语法值组合的规则列表(lex_rules.txt)。 txt),以及应避免的分析的简短列表 (bad_analysiss.txt)。该词典包含对单个词位的描述,每个词位都附有关于其词干、词性标签和一些其他语法/借用信息、其屈折类型(范式)和俄语翻译的信息。在 uniparser-morph 文档中查看有关格式的更多信息。

项目详情


下载文件

下载适用于您平台的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。

源分布

uniparser-moksha-1.1.0.tar.gz (1.2 MB 查看哈希)

已上传 source

内置分布

uniparser_moksha-1.1.0-py3-none-any.whl (1.2 MB 查看哈希

已上传 py3