Whatlangid

该项目建立在whatthelang和langid之上

为什么这个项目存在？

见issue_lang.py

依赖项

可以使用 requirements.txt 文件安装依赖项：

$ pip install -r requirements.txt

安装

来自 github

$ pip install  git+https://github.com/bung87/whatlangid  

来自 pypi

$ pip install  whatlangid  

基本用法

预测语言使用whatlangid

>>> from whatlangid import WhatLangId
>>> wtl = WhatLangId()
>>> wtl.predict_lang("Mother")
'en'
>>> wtl.predict_lang("தாய்")
'ta'
>>> wtl.predict_lang("അമ്മ")
'ml'
>>> wtl.predict_lang("पिता")
'hi'
>>> wtl.predict_pro(["English sentence", "അമ്മ"])
[('en', 0.8848170638084412), ('ml', 0.9535570740699768)]

还支持批量预测

>>>wtl.predict_lang(["അമ്മ","पिता","teacher"])
['ml','hi','en']

高级用法

wtl = WhatLangId(custom_model=abs_path)

使用 bin 版本模型，该模型更快且更准确，但文件大小为 126MB

python -m whatlangid.use_bin

支持的语言

支持 176 种语言。对应语言的 ISO 代码如下。

af als am an ar arz as ast av az azb ba bar bcl be bg bh bn bo bpy br bs bxr ca cbk
ce ceb ckb co cs cv cy da de diq dsb dty dv el eml en eo es et eu fa fi fr frr fy ga
gd gl gn gom gu gv he hi hif hr hsb ht hu hy ia id ie ilo io is it ja jbo jv ka kk km
kn ko krc ku kv kw ky la lb lez li lmo lo lrc lt lv mai mg mhr min mk ml mn mr mrj ms
mt mwl my myv mzn nah nap nds ne new nl nn no oc or os pa pam pfl pl pms pnb ps pt qu
rm ro ru rue sa sah sc scn sco sd sh si sk sl so sq sr su sv sw ta te tg th tk tl tr
tt tyv ug uk ur uz vec vep vi vls vo wa war wuu xal xmf yi yo yue zh

模型训练详情

使用 Fasttext 构建的量化模型。fasttext博客中提供了更多详细信息

参考

WhatLangId由FastText和langid

用子词信息丰富词向量

[1] P. Bojanowski*、E. Grave*、A. Joulin、T. Mikolov，用子词信息丰富词向量

@article{bojanowski2016enriching,
  title={Enriching Word Vectors with Subword Information},
  author={Bojanowski, Piotr and Grave, Edouard and Joulin, Armand and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1607.04606},
  year={2016}
}

有效文本分类的技巧包

[2] A. Joulin、E. Grave、P. Bojanowski、T. Mikolov，高效文本分类的技巧包

@article{joulin2016bag,
  title={Bag of Tricks for Efficient Text Classification},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1607.01759},
  year={2016}
}

FastText.zip：压缩文本分类模型

[3] A. Joulin, E. Grave, P. Bojanowski, M. Douze, H. Jégou, T. Mikolov, FastText.zip：压缩文本分类模型

@article{joulin2016fasttext,
  title={FastText.zip: Compressing text classification models},
  author={Joulin, Armand and Grave, Edouard and Bojanowski, Piotr and Douze, Matthijs and J{\'e}gou, H{\'e}rve and Mikolov, Tomas},
  journal={arXiv preprint arXiv:1612.03651},
  year={2016}
}