快速文本语言检测

该库是 Facebook 在 fasttext 上训练的语言检测模型的包装器。欲了解更多信息，请访问：https ://fasttext.cc/docs/en/language-identification.html

支持的语言

af als am an ar arz as ast av az azb ba bar bcl be bg bh bn bo bpy br bs bxr ca cbk ce cebckb co cs cv cy da de diq dsb dty dv el eml en eo es et eu fa fi fr frr fy ga gd gl gn gom gu gv he hi hif hr hsb ht hu hy ia id ie ilo io is it ja jbo jv ka kk km kn ko krc ku kv kw ky la lb lez li lmo lo lrc lt lv mai mg mhr min mk ml mn mr mrj ms mt mwl my myv mzn nah nap nds ne new nl nn no oc or os pa pam pfl pl pms pnb ps pt qu rm ro ru rue sa sah sc scn sco sd sh si sk sl so sq sr su sv sw ta te tg th tk tl tr tt tyv ug uk ur uz vec vep vi vls vo wa war wuu xal xmf yi yo yue zh

安装

pip install fasttext-langdetect

用法

detect方法需要 UTF-8 数据。low_memory选项可以通过牺牲一点准确性来使用压缩版本的 fasttext 模型获得预测。

from ftlangdetect import detect

result = detect(text="Bugün hava çok güzel", low_memory=False)
print(result)
> {'lang': 'tr', 'score': 1.00}

result = detect(text="Bugün hava çok güzel", low_memory=True)
print(result)
> {'lang': 'tr', 'score': 0.9982126951217651}

基准

我们在 Wili-2018 数据集上针对cld2、langid和langdetect对fasttext 模型进行了基准测试。

• pop weighted意味着每种语言的召回率乘以其说话者的数量。
• 139 种语言 = 具有 ISO 639-1 2 字母代码的所有语言
• 44 种语言 = 世界上使用最多的 44 种语言

每种语言的召回

参考

[1] A. Joulin、E. Grave、P. Bojanowski、T. Mikolov，《高效文本分类技巧包》

@article{joulin2016bag,
  title={Bag of Tricks for Efficient Text Classification},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1607.01759},
  year={2016}
}

[2] A. Joulin, E. Grave, P. Bojanowski, M. Douze, H. Jégou, T. Mikolov, FastText.zip：压缩文本分类模型

@article{joulin2016fasttext,
  title={FastText.zip: Compressing text classification models},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Douze, Matthijs and J{\'e}gou, H{\'e}rve and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1612.03651},
  year={2016}
}