四虎影视精品永久在线观看,中文字幕婷婷日韩欧美亚洲 ,婷婷成人综合激情在线视频播放,中文在线а√天堂,伊人久久大香线蕉成人

知識(shí)庫(kù)分類索引
技術(shù)分類
廠商分類

語言模型

語言模型主要分為規(guī)則模型和統(tǒng)計(jì)模型兩種。統(tǒng)計(jì)語言模型是用概率統(tǒng)計(jì)的方法來揭示語言單位內(nèi)在的統(tǒng)計(jì)規(guī)律,其中N-Gram簡(jiǎn)單有效,被廣泛使用。

N-Gram:該模型基于這樣一種假設(shè),第n個(gè)詞的出現(xiàn)只與前面N-1個(gè)詞相關(guān),而與其它任何詞都不相關(guān),整句的概率就是各個(gè)詞出現(xiàn)概率的乘積。這些概率可以通過直接從語料中統(tǒng)計(jì)N個(gè)詞同時(shí)出現(xiàn)的次數(shù)得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

語言模型的性能通常用交叉熵和復(fù)雜度(Perplexity)來衡量。交叉熵的意義是用該模型對(duì)文本識(shí)別的難度,或者從壓縮的角度來看,每個(gè)詞平均要用幾個(gè)位來編碼。復(fù)雜度的意義是用該模型表示這一文本平均的分支數(shù),其倒數(shù)可視為每個(gè)詞的平均概率。平滑是指對(duì)沒觀察到的N元組合賦予一個(gè)概率值,以保證詞序列總能通過語言模型得到一個(gè)概率值。通常使用的平滑技術(shù)有圖靈估計(jì)、刪除插值平滑、Katz平滑和Kneser-Ney平滑。

相關(guān)新聞
    暫無相關(guān)新聞
語言模型相關(guān)廠商
暫無相關(guān)廠商

分隔