這篇文章將為大家詳細講解有關(guān)如何使用Hanlp加載大字典，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

站在用戶的角度思考問題，與客戶深入溝通，找到吉陽網(wǎng)站設(shè)計與吉陽網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網(wǎng)站制作、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、國際域名空間、虛擬空間、企業(yè)郵箱。業(yè)務(wù)覆蓋吉陽地區(qū)。

問題

因為需要加載一個 近 1G 的字典到Hanlp中，一開始使用了CustomDictionay.add() 方法來一條條的加載，果然到了中間，維護DoubleArraTre 的成本太高，添加一個節(jié)點，都會很長時間，本來時間長一點沒有關(guān)系，只要訓(xùn)練出.bin 的文件，第二次加載就會很快，然而作為以空間換時間的DAT結(jié)構(gòu)，內(nèi)存消耗很大，預(yù)料之內(nèi)的出現(xiàn)了

out of memory: heap size

1

的問題。　后來嘗試直接加載了1G 的字典，顯然更不行。

思路

閱讀了Hanlp的　部分源碼，也請教了原作者一部分問題，　就打算從源碼入手。初步想法大概是將原始字典 

split 成多份，然后分別將多份的小字典 訓(xùn)練成 多個小的.bin 文件，再完整的加載到內(nèi)存中，基于的原則則是：加載兩個10M的字典的消耗比一個20M的要小。 

然后又優(yōu)化了一部分，現(xiàn)在加載一個大概1G的字典，占內(nèi)存約3g+ ，已經(jīng)可以使用了。

大概流程

修改　CustomDictionary.java　設(shè)置一個 hashmap　或者 一個 list 來存儲所有的小Dat

將所有的dat加載完，這里就不再區(qū)分主副字典了。

修改Segment.java里面的combineByCustomDictionary 函數(shù)，源碼中只有一個dat， 這里我們需要選擇我們?nèi)萜髦衅渲心骋粋€dat作為要匹配使用，之前使用的方案是，遍歷所有的dat，知道有了匹配，但是這樣缺陷很明顯，解決不了多個字典匹配同一個詞的字串的情況，這里我的考察方案是，字典中的同一個字開始的詞條映射到同一個文件，這樣不會出現(xiàn)字串問題了。

關(guān)于“如何使用Hanlp加載大字典”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

本文題目：如何使用Hanlp加載大字典
文章源于：http://chinadenli.net/article10/ggpedo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、品牌網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站營銷、外貿(mào)建站、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)