自然語言處理中的概率語法

自然語言處理中的概率語法

上下文無關(guān)語法在處理句法歧義時(shí)遇到了困難,概率上下文無關(guān)語法和概率詞匯化上下文無關(guān)語法為解決句法歧義問題提供了有力的手段.概率語法給一個(gè)句子或者單詞的符號(hào)串指派一個(gè)概率,從而捕捉比一般的上下文無關(guān)語法更加細(xì)致的句法信息.概率上下文無關(guān)語法也是一種上下文無關(guān)語法,其中的每一個(gè)規(guī)則都標(biāo)上選擇該規(guī)則的概率,處理每一個(gè)上下文無關(guān)規(guī)則時(shí),都假定它們?cè)跅l件上是獨(dú)立的,一個(gè)句子的概率使用剖析該句子時(shí)每一個(gè)規(guī)則的概率的乘積來計(jì)算.CYK算法是一種自底向上的動(dòng)態(tài)規(guī)劃剖析算法,經(jīng)過概率上下文無關(guān)語法增強(qiáng)之后,概率CYK算法就可以計(jì)算在剖析一個(gè)句子時(shí)的剖析概率.概率上下文無關(guān)語法的概率可以通過統(tǒng)計(jì)已經(jīng)剖析好的語料庫(kù)(樹庫(kù))中的規(guī)則而得到,也可以通過直接剖析尚未加工過的語料庫(kù)而得到.當(dāng)剖析的句子有歧義的時(shí)候,可以使用向內(nèi)向外算法來處理.概率詞匯化上下文無關(guān)語法要考慮每一個(gè)規(guī)則的詞匯中心語,規(guī)則的概率要以詞匯中心語和鄰近的中心語作為它的條件,這樣就進(jìn)一步增強(qiáng)了規(guī)則的功能.

作 者： 馮志偉 Feng,Zhiwei   作者單位： 韓國(guó)科學(xué)技術(shù)院  刊 名： 當(dāng)代語言學(xué)  PKU CSSCI 英文刊名： CONTEMPORARY LINGUISTICS  年，卷(期)： 2005 7(2)  分類號(hào)： H0  關(guān)鍵詞： 上下文無關(guān)語法   概率上下文無關(guān)語法   概率CYK算法   概率詞匯化上下文無關(guān)語法  

【自然語言處理中的概率語法】相關(guān)文章：

心理測(cè)驗(yàn)中的趨中回歸與超常分?jǐn)?shù)重現(xiàn)概率04-26

概率統(tǒng)計(jì)方法在企業(yè)風(fēng)險(xiǎn)管理中的應(yīng)用04-27

淺談?dòng)⒄Z教學(xué)中的趣味語法04-26

淺談城市中垃圾的處理04-26

速分技術(shù)在中水處理中的應(yīng)用04-26

曝氣生物濾池在中水處理中的應(yīng)用04-25

幾種中水處理技術(shù)簡(jiǎn)介04-26

Excel中VBA處理數(shù)據(jù)的優(yōu)勢(shì)04-27

電絮凝在水處理中的應(yīng)用04-27

人工濕地在水處理中的應(yīng)用04-25