Python中的斯坦福分詞是一種強(qiáng)大的自然語(yǔ)言處理工具,可用于處理中文和英文文本。它是基于Java開(kāi)發(fā)的Stanford CoreNLP的Python接口,提供了許多有用的分詞工具,包括分詞器、命名實(shí)體識(shí)別器、文本分類器等。
import stanfordnlp stanfordnlp.download('zh') # 下載中文模型 nlp = stanfordnlp.Pipeline(lang='zh') # 初始化分析器 # 分析文本 doc = nlp('我愛(ài)北京天安門(mén)') for sent in doc.sentences: print(sent.words)
代碼中的stanfordnlp.download('zh')用于下載中文模型,nlp = stanfordnlp.Pipeline(lang='zh')用于初始化分析器。然后,你只需將要分析的文本傳遞給實(shí)例化的分析器,就可以獲得分詞結(jié)果。
斯坦福分詞還支持許多其他功能,如詞形還原、依存句法分析和關(guān)系抽取等。它可以在自然語(yǔ)言處理中發(fā)揮很大作用,并且由于其簡(jiǎn)單易用的API和強(qiáng)大的功能,越來(lái)越多的開(kāi)發(fā)者選擇使用它。