01自然語(yǔ)言處理

Natural Language Processing，簡(jiǎn)稱NLP，涉及語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)和人工智能等。

NLP是語(yǔ)言專業(yè)學(xué)生提高自己市場(chǎng)競(jìng)爭(zhēng)力的一個(gè)比較好的方向。

在NLP中，語(yǔ)言學(xué)知識(shí)是非常重要的。我們可以從語(yǔ)言學(xué)的角度出發(fā)，去學(xué)習(xí)NLP。

首先筆者介紹一個(gè)常用的Python/ target=_blank class=infotextkey>Python庫(kù)：NLTK（Natural Language Toolkit）。其包含了各種用于文本分析、詞性標(biāo)注、句法分析、語(yǔ)義分析等任務(wù)的模塊和數(shù)據(jù)集。

02 詞法分析

詞法分析涉及對(duì)單詞的形態(tài)和結(jié)構(gòu)進(jìn)行分析，包括詞干、詞形變化和詞義。

在NLP中，詞干提取是一種常見(jiàn)的詞法分析技術(shù)，它可以將單詞還原為其原始形式。例如，將“running”還原為“run”。

03 句法分析

句法分析涉及識(shí)別句子中的成分結(jié)構(gòu)和句法關(guān)系，幫助理解句子的語(yǔ)法結(jié)構(gòu)。例如，對(duì)于句子“The cat chased the mouse”，句法分析可以幫助識(shí)別主語(yǔ)（the cat）、謂語(yǔ)（chased）和賓語(yǔ)（the mouse）之間的關(guān)系。

04 語(yǔ)義分析

語(yǔ)義分析涉及理解文本的意義和語(yǔ)義關(guān)系，包括詞義消歧、語(yǔ)義角色標(biāo)注等任務(wù)。例如，對(duì)于句子“Apple is a company”，語(yǔ)義分析可以幫助識(shí)別“Apple”指的是“蘋(píng)果”還是“蘋(píng)果公司”。

05語(yǔ)用學(xué)

語(yǔ)用學(xué)是研究語(yǔ)言使用的科學(xué)，它涉及到語(yǔ)言在特定上下文中的意義、指代、語(yǔ)用規(guī)則等方面。NLTK庫(kù)本身并不直接包含用于語(yǔ)用學(xué)分析的工具，但可以用于處理從語(yǔ)用學(xué)角度進(jìn)行分析的文本數(shù)據(jù)。

補(bǔ)充上圖28 : ["Bye, take care. See you soon :) ","It was nice talking to you. See you later :)"] ]

06 寫(xiě)在最后

其實(shí)很多語(yǔ)言專業(yè)的學(xué)生想到編程就會(huì)想到計(jì)算機(jī)，想到數(shù)學(xué)，云云。然后心底立刻打退堂鼓，但我們從上述幾個(gè)例子中不難發(fā)現(xiàn)，就只是對(duì)nltk這個(gè)python庫(kù)的簡(jiǎn)單使用罷了。所以不必害怕，人工智能時(shí)代必然有俺們語(yǔ)言專業(yè)學(xué)生的一席之地。

哦，偉大的AI大人，請(qǐng)讓“巴別塔”再現(xiàn)。

特別說(shuō)明：本文僅供學(xué)習(xí)交流，如有不妥歡迎后臺(tái)聯(lián)系小編。

- END -

原文作者：張子明