創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)、覃塘網(wǎng)絡(luò)推廣、微信小程序開發(fā)、覃塘網(wǎng)絡(luò)營銷、覃塘企業(yè)策劃、覃塘品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供覃塘建站搭建服務(wù)，24小時服務(wù)熱線：028-86922220，官方網(wǎng)址：chinadenli.net

搜索對比測試工具

目錄

1.     工具簡介...1

2.     設(shè)計思路...1

3.     工具實用性...3

4.     工具集成擴展...6

 

1.                                工具簡介

因公司的搜索服務(wù)及底層索引創(chuàng)建維護由基礎(chǔ)架構(gòu)部同事維護，業(yè)務(wù)接入方同學(xué)對于業(yè)務(wù)相關(guān)的搜索測試基本都是功能性的基礎(chǔ)驗證，為了更直觀的從多維度評估搜索策略優(yōu)化產(chǎn)生的效果及影響，我們開發(fā)了這個搜索對比測試工具。該工具通過解析線上真實用戶的搜索日志，分別調(diào)用預(yù)上線和線上搜索服務(wù)，給出搜索結(jié)果數(shù)量、排序、服務(wù)耗時等維度的可視化對比結(jié)果。目前已實現(xiàn)的功能及統(tǒng)計信息包括：

 

• 同一搜索query預(yù)上線、線上搜索結(jié)果數(shù)量對比，輸出各自數(shù)量

• 同一搜索結(jié)果預(yù)上線、線上排序?qū)Ρ?，分別輸出相同排序和不同排序結(jié)果

• 搜索結(jié)果重復(fù)性判斷及重復(fù)數(shù)量輸出

• 對于梯度數(shù)據(jù),即針對搜索結(jié)果數(shù)量落在個，百，十，千，萬范圍內(nèi)的搜索詞進行的對比分析

• 少無搜索結(jié)果搜索詞統(tǒng)計

• 搜索詞對應(yīng)搜索耗時統(tǒng)計

• 根據(jù)配置的飄紅閾值，在測試報告中對異常數(shù)據(jù)飄紅顯示，方便查看分析

• 配置化控制：可配置項包括待測業(yè)務(wù)、全局抽樣數(shù)量、梯度搜索詞抽樣數(shù)量、報告中差異化比例飄紅閾值，方便供其他業(yè)務(wù)線接入及工具的靈活使用

• 靈活擴展，可通過簡單的增加其它業(yè)務(wù)線的搜索結(jié)果實現(xiàn)類，支持更多業(yè)務(wù)線。

（詳細(xì)統(tǒng)計數(shù)據(jù)及報告展示格式請參見后文截圖）

2.                                設(shè)計思路

搜索對比測試主要目的是對比更改搜索策略前后，搜索結(jié)果數(shù)量是否有明顯起伏，搜索結(jié)果是否滿足預(yù)期效果，服務(wù)性能是否有明顯差異。我們的對比測試工具主要從搜索結(jié)果數(shù)量、搜索結(jié)果排序和服務(wù)調(diào)用時間三個維度進行設(shè)計實現(xiàn)。下面對主要功能點設(shè)計思路進行說明。

• 為了模擬真實用戶，我們提取線上搜索日志中真實用戶的搜索query進行對比測試

• 搜索結(jié)果數(shù)量對比：我們?nèi)【€上query分別調(diào)用預(yù)上線和線上服務(wù)，并對比當(dāng)前預(yù)上線、線上搜索結(jié)果數(shù)量以及上一次真實用戶搜索到的結(jié)果數(shù)量。

• 搜索服務(wù)調(diào)用時間對比：我們用stopwatch分別統(tǒng)計調(diào)用預(yù)上線/線上服務(wù)的時間

• 搜索結(jié)果排序?qū)Ρ龋河捎陬A(yù)上線和線上服務(wù)連接的都是線上數(shù)據(jù)庫，而線上數(shù)據(jù)是實時動態(tài)變化的，再加上策略的調(diào)整，同一query對應(yīng)的預(yù)上線/線上結(jié)果排序沒有可比性，我們對調(diào)用預(yù)上線服務(wù)的query進行了重新拼接。考慮到搜索服務(wù)可以根據(jù)索引id進行搜索，并且索引id不參與搜索排序的打分，我們?nèi)∫欢〝?shù)量的線上搜索結(jié)果的索引id，拼接到query上，重新調(diào)用預(yù)上線服務(wù)進行搜索，這樣我們就可以比較兩個環(huán)境中相同職位/簡歷對應(yīng)的排序情況。

• 梯度數(shù)據(jù)對比：搜索結(jié)果的量級在一定程度上也會影響服務(wù)性能、結(jié)果數(shù)量及排序的相對變化，因此我們對不同數(shù)量級結(jié)果的query進行了抽樣對比測試，增加對比結(jié)果評估的合理性。

• 少無結(jié)果的統(tǒng)計：少無結(jié)果的場景是搜索優(yōu)化的重要參考項，我們分別對預(yù)

上線和線上環(huán)境少無結(jié)果的情況進行了統(tǒng)計，以支持后續(xù)優(yōu)化。

• 重復(fù)結(jié)果統(tǒng)計：重復(fù)結(jié)果對于用戶毫無意義，因此我們對是否有重復(fù)結(jié)果進行了判斷

對比工具基本流程圖如上圖所示

3.                                工具實用性

目前，我們的搜索對比測試工具已經(jīng)應(yīng)用到英才職位和簡歷搜索的對比測試中。

• 多維度的搜索結(jié)果對比，可以為研發(fā)、產(chǎn)品、測試人員提供比較有價值的參考

• 方便擴展，對于各調(diào)用平臺部垂搜服務(wù)的業(yè)務(wù)線，只需增加具體的搜索結(jié)果實現(xiàn)類及對應(yīng)服務(wù)地址即可接入

• 可視化對比測試報告，對比結(jié)果可以郵件的形式周知相關(guān)人員，并且報告中對異常數(shù)據(jù)進行了飄紅處理，方便相關(guān)人員進行排查，詳細(xì)的差異對比內(nèi)容以附件的形式輸出。測試報告樣例如下圖所示：

(附件內(nèi)容展示只存在于預(yù)上線環(huán)境的索引數(shù)據(jù))

（附件內(nèi)容展示只存在于線上的索引數(shù)據(jù)）

（附件內(nèi)容展示搜索結(jié)果中排序不同的索引數(shù)據(jù)）

 

 

 

4.                                工具集成擴展

未來計劃將具與jenkins集成，通過界面配置，實現(xiàn)全流程的自動化。

分享題目：項目實踐：搜索對比測試工具
標(biāo)題網(wǎng)址：http://chinadenli.net/article34/jegope.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、云服務(wù)器、企業(yè)網(wǎng)站制作、App設(shè)計、網(wǎng)站內(nèi)鏈、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)