論中文信息處理的主流技術(shù)

　　論文關(guān)鍵詞：信息處理　N元模型　語音識別　句法分析

論文摘要：本文分析了中文信息處理的主流技術(shù)，尤其是幾個重要的部分，即N元模型、語音識別和句法分析技術(shù)。

一、中文信息處理的特點(diǎn)
（一）漢字的特殊性
我們都知道，英語在計(jì)算機(jī)信息處理方面的優(yōu)勢就是其字母數(shù)量有限，因而可以很容易的進(jìn)行輸入輸出以及信息的加工和處理，而中文的漢字則數(shù)量龐大，且字形相對復(fù)雜，這就給漢字的編碼帶來了不小的困擾。因此我們根據(jù)漢字信息處理過程中的不同要求對漢字進(jìn)行了不同形式的編碼，總結(jié)來說有以下幾種方案，即漢字輸入編碼,漢字標(biāo)準(zhǔn)編碼,漢字內(nèi)碼和漢字形碼。
（二）書面漢語的特殊性
漢語的另一個特征是在書面表達(dá)中，詞語和記號之間沒有明顯的分隔標(biāo)記，這就使自動分詞在書面漢語分析中成立一個難題。分詞需要將連續(xù)的字按照一定的規(guī)范進(jìn)行有序的組合，比較英文我們會發(fā)現(xiàn)，英文單詞之間都是用空格來做分隔符，而中文則是習(xí)慣通過字、整句以及段落進(jìn)行簡單的劃分，而這其中的一個難點(diǎn)就是對詞語的劃分，我們都知道，英語中也有短語劃分的問題，但是由于中文的詞語遠(yuǎn)比英語的數(shù)量和范圍要龐大，因而處理起來更為困難。
（三）漢語語音的特殊性
在語音方面，漢語的特征是音節(jié)結(jié)構(gòu)相對簡單，音節(jié)劃分界限比較清晰，但是聲調(diào)和變調(diào)是中文與英文的顯著區(qū)別，因而在語音識別和語音合成方面來講這是一個劣勢，但是總體上來說漢語語音的處理比之其他方面來說還是相對容易的。
（四）漢語語法的特殊性
在語法方面，漢語詞匯的句法功能相對來說難以判斷，這與英語語言上的多變形態(tài)有著截然不同的表現(xiàn)。漢語主要依靠詞序和虛詞來表達(dá)不同的含義，因此如果不能很好的掌握句法，就特別容易產(chǎn)生歧義，因此漢語語句自動分析這一重要技術(shù)是一項(xiàng)難以攻克的技術(shù)。
二、中文信息處理的若干技術(shù)
（一）N元模型
設(shè)wi是文本中的任意一個詞,如果已知它在該文本中的前兩個詞wi-2w-1,便可以用條件概率P(wi|wi-2w-1)來預(yù)測wi出現(xiàn)的概率。這就是統(tǒng)計(jì)語言模型的概念。一般來說,如果用變量W代表文本中一個任意的詞序列,它由順序排列的n個詞組成,即W=w1w2。。。wn,則統(tǒng)計(jì)語言模型就是該詞序列W在文本中出現(xiàn)的概率P(W)。利用概率的乘積公式,P(W)可展開為:P(W)=P(w1)P(w2|w1)P(w3|w1 w2)。。。P(wn|w1 w2。。。wn-1)不難看出,為了預(yù)測詞w n的出現(xiàn)概率,必須知道它前面所有詞的出現(xiàn)概率。從計(jì)算上來看,這種方法太復(fù)雜了。如果任意一個詞wi的出現(xiàn)概率只同它前面的兩個詞有關(guān),問題就可以得到極大的簡化。這時的語言模型叫做三元模型(tri-gram):P(W)≈P(w1)P(w2|w1)∏i(i=3,。。。,nP(wi|wi-2w-1)
符號∏i i=3,…,n P(…)表示概率的連乘。一般來說,N元模型就是假設(shè)當(dāng)前詞的出現(xiàn)概率只同它前面的N-1個詞有關(guān)。重要的是這些概率參數(shù)都是可以通過大規(guī)模語料庫來計(jì)算的。比如三元概率有P(wi|wi-2wi-1)≈count(wi-2wi-1wi)/count(wi-2wi-1)式中count(…)表示一個特定詞序列在整個語料庫中出現(xiàn)的累計(jì)次數(shù)。
（二）語音識別
語音識別的最終目標(biāo)是使人類與計(jì)算機(jī)之間實(shí)現(xiàn)真正意義上的自由交流，使機(jī)器聽懂人類的語言，并及時的做出準(zhǔn)確的反饋。語音識別技術(shù)包括了信號處理、模式識別、概率論和信息論、發(fā)聲機(jī)原理和聽覺原理、人工智能等主要內(nèi)容。語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準(zhǔn)則和模型訓(xùn)練技術(shù)3個方面,另外還涉及到語音識別單元的選取，在這個問題上我們通常采用的是以音節(jié)為識別單元。另外，在特征參數(shù)的提取技術(shù)方面，由于語音符號中含有大量的信息，它們通常被稱為聲學(xué)特征。特征參數(shù)是決定語音識別質(zhì)量的關(guān)鍵技術(shù)，因此我們應(yīng)該極可能的采集所要傳播語言的語義信息，剔除掉說話人的個人信息干擾，這樣才能保證特征參數(shù)的有效性和準(zhǔn)確性。
（三）句法分析
句法分析是以漢語的語法特征為分析方法，對句子、段落中的短語結(jié)構(gòu)樹進(jìn)行各個句子成分關(guān)系的分析，分析的主要內(nèi)容包括：句子中所有的單句，每個單句在句法中的作用是什么，在單句以上更大的語法結(jié)構(gòu)是什么，句子中的短語或詞組類型是什么，在句子中起了什么作用，最后，所有這些成分是如何有機(jī)組合或附著在整個句子中的，這些就是句法結(jié)構(gòu)分析的主要內(nèi)容，這叫做線圖分析法。值得說明的是，英語語言結(jié)構(gòu)中主語必須置于謂語之前，否則所表達(dá)的意思就完全變化了，當(dāng)然，在一些特定情況下，如倒裝句結(jié)構(gòu)中這種情況還是普遍存在的。這一點(diǎn)是與漢語有著顯著的區(qū)別的。
三、結(jié)語
中文信息處理技術(shù)有著重要的意義，它是語言學(xué)與信息技術(shù)的有機(jī)融合，旨在對中文的音、形、義等輸入計(jì)算機(jī)，進(jìn)而進(jìn)行必要的信息加工與處理，在這一過程中涉及到了計(jì)算機(jī)科學(xué)、信息學(xué)、聲學(xué)等大量學(xué)科的交叉知識。具體來說，語言信息處理是將自然語言的各個部分，包括詞語、句子、段落以至篇章進(jìn)行文本、聲音和圖像各種方式的信息化加工，然后對這些信息進(jìn)行輸入輸出、壓縮、存儲以及檢索等等各項(xiàng)處理。我們都知道，自然語言是我們?nèi)粘Ｗ钪匾�的交流溝通工具，是人類進(jìn)行思維活動、文化傳播的有效載體，因此語言信息處理這種技術(shù)有著重要的意義，本文專門分析了利用計(jì)算機(jī)處理中文信息，即漢語信息處理技術(shù)，希望本文能夠?qū)ν�行們有所啟示，還望能夠多多交流學(xué)習(xí)，更好的完善這項(xiàng)技術(shù)。

參考文獻(xiàn)：
[1]曹邦偉,高傳善.計(jì)算機(jī)與信息處理[M].上海:復(fù)旦大學(xué)出版社,2001.
[2]陳小荷.中文信息處理概述[J].南京師范大學(xué)文學(xué)院學(xué)報,2002,(1).
[3]馮志偉.漢字和漢語的計(jì)算機(jī)處理[J].當(dāng)代語言學(xué),2001,(1).

相關(guān)論文查閱：大學(xué)生論文、工商財務(wù)論文、經(jīng)濟(jì)論文、教育論文  熱門畢業(yè)論文   

【論中文信息處理的主流技術(shù)】相關(guān)文章：

中文信息處理與現(xiàn)代漢語語法11-24

故障信息處理測試中的邊界掃描技術(shù)探討12-09

論英語語言教學(xué)中文化資源11-14

論教育技術(shù)建設(shè)與應(yīng)用03-29

論金屬焊接雕塑技術(shù)11-24

論生姜的種植技術(shù)與藥用價值11-18

論超濾技術(shù)在化工工藝中的應(yīng)用11-23

論流行文化；主流文化；價值契合；功能互動11-21

論科學(xué)技術(shù)與倫理道德關(guān)系03-16

論高性能砼施工技術(shù)淺析11-26