自然語言處理
自然語言處理已成為 2020 年深度學習領域中研究最多的領域之一，這主要是由于其日益普及，未來的潛力以及對各種應用程序的支持。
如果你以前玩過深度學習，那么可能知道傳統的深度學習框架，例如 Tensorflow，Keras 和 Pytorch。 假定你了解這些基本框架，本文將專門簡要介紹很多有用的 NLP 庫，2020 年把這些庫都用起來吧！
通用框架
1.AllenNLP
人氣指數：????（四星）
官網網站：https://allennlp.org/
GitHub：https://github.com/allenai/allennlp
簡要說明：AllenNLP 是由世界著名的艾倫人工智能實驗室（Allen Institute for AI Lab）建立的 NLP 深度學習通用框架，不僅包含了最先進的參考模型，可以進行快速部署，而且支持多種任務和數據集，還包含了很多很酷的演示案例，看完案例，你就知道自己是否想學習和使用這個框架了！
2.Fast.ai
人氣指數：????（四星）
官方網站： http://docs.fast.ai/
Github: https://github.com/fastai/fastai
簡要說明：Fast.ai 的構建旨在通過其免費的在線課程和易于使用的軟件庫，為沒有技術背景的人們提供深度學習的機會。 實際上，它的共同創始人杰里米·霍華德（Jeremy Howard）剛剛出版（2020年8月）一本全新的書，名為《面向程序員的 fastai 和 PyTorch 深度學習：不需要博士學位的AI應用》，其標題不言而喻。在 Fast.ai 庫中，它們具有指定的 Text 節，該節用于與 NLP 相關的所有內容。它們具有具有超高層次的抽象和易于實現的 NLP 數據預處理、模型構建、培訓和評估。 在這里，推薦那些偏愛實踐而不是理論，并希望快速解決問題的人使用 Fast.ai。
預處理
1.Spacy
人氣指數：?????（五星）
官方網站：https://spacy.io/
GitHub：https://github.com/explosion/spaCy
簡要說明：Spacy是最受歡迎的文本預處理庫，也是你能找到最方便的庫。它包含許多易于使用的函數，可以用于標記化、詞性標記、命名實體識別等。它還支持59種以上的語言和幾種預訓練的單詞向量，你很容易就可以快速入門！
2.NLTK
人氣指數：?????（五星）
官方網站：https://www.nltk.org/
GitHub：https://github.com/nltk/nltk
簡要說明：與 Spacy 相似，它是 NLP 的另一個流行的預處理庫。它的功能包括標記化、詞干提取、標記、句法分析和語義推理。就我個人而言，NLTK 是我最喜歡的預處理庫，因為 NLTK 足夠簡單，而且能幫助我們快速完成工作。
3.TorchText
人氣指數：????（四星）
官方網站：https://torchtext.readthedocs.io/en/latest/
GitHub：https://github.com/pytorch/text
簡要說明：TorchText 因為得到 Pytorch 的支持，所以越來越受歡迎。它包含便利的數據處理實用程序，可在批量處理和準備之前將其輸入到深度學習框架中。我經常使用 TorchText 來加載訓練、驗證和測試數據集，來進行標記化、vocab 構造和創建迭代器，這些迭代器稍后可被 dataloader 使用。它不僅是一個非常方便的工具，僅用幾行簡單的代碼就能處理所有繁重的工作，還可以輕松地為數據集使用經過預訓練的單詞嵌入，例如 word2Vec 或 FastText。
使用 Pytorch 進行的 BERT 文本分類示例：
https://towardsdatascience.com/bert-text-classification-using-pytorch-723dfb8b6b5b
Transformers
Huggingface
人氣指數：?????（五星）
官方網站：https://huggingface.co/
GitHub：https://github.com/huggingface/transformers
簡要說明：這是最流行的庫，它實現了從 BERT 和 GPT-2 到 BART 和 Reformer 的各種轉換。huggingface 的代碼可讀性強和文檔也是清晰易讀。在官方github的存儲庫中，甚至通過不同的任務來組織 Python 腳本，例如語言建模、文本生成、問題回答、多項選擇等。他們具有內置的腳本，用于為每個任務運行基線轉換，真的很方便！
具體任務
1.Gensim
人氣指數：???（三星）
官方網站：https://radimrehurek.com/gensim/
GitHub：https://github.com/RaRe-Technologies/gensim
任務：主題建模，文本摘要，語義相似度
簡要說明：Gensim 是用于特定文本主題建模的高端行業級軟件。它的功能非常強大，獨立于平臺，并且具有可擴展性。不僅可以用來判斷兩個報紙文章之間的語義相似性，而且可以利用簡單的函數調用來執行此操作并返回其相似度分數，非常方便！
2.OpenNMT
人氣指數：???（三星）
官方網站：https://opennmt.net/
GitHub：https://github.com/OpenNMT/OpenNMT-py
任務：機器翻譯
簡要說明：OpenNMT 是用于機器翻譯和序列學習任務的便捷而強大的工具。其包含的高度可配置的模型和培訓過程，讓它成為了一個非常簡單的框架。因其開源且簡單的特性，建議大家使用 OpenNMT 進行各種類型的序列學習任務。
3.ParlAI
人氣指數：???（三星）
官方網站：https://parl.ai/
GitHub：https://github.com/facebookresearch/ParlAI
任務：面向任務的對話，聊天對話，視覺問答
說明：ParlAI 是 Facebook 的＃1 框架，用于共享、訓練和測試用于各種對話任務的對話模型。其提供了一個支持多種參考模型、預訓練模型、數據集等的多合一環境。與本文中的其他大多數工具不同，如果你想自行定制內容，ParlAI 需要一定的編碼水平和機器學習專業知識。換句話說，就是用起來有點復雜，但是如果你要是用于對話，它還是一個很好的工具。
4.DeepPavlov
人氣指數：???（三星）
官方網站：http://deeppavlov.ai/
GitHub：https://github.com/deepmipt/DeepPavlov
任務：面向任務的對話，聊天對話
簡要說明：除了 ParlAI 之外，我想說 DeepPavlov 更適合于應用程序和部署，而不是用于研究，盡管我們仍然可以用 DeepPavlov 來進行很多自定義。 我認為，DeepPavlov 到 ParlAI 就像 Tensorflow 到 Pytorch。DeepPavlov 是主要用于聊天機器人和虛擬助手開發的框架，因為它提供了生產就緒和行業級對話代理所需的所有環境工具。
--END--
喜歡本文的同學記得收藏+點贊~
更多內容，歡迎大家關注我們的公眾號：為AI吶喊（weainahan）
