追求卓越

打造極致文化與產(chǎn)品研發(fā)結(jié)合的最佳實(shí)踐

神策已啟動「卓越產(chǎn)品計(jì)劃」

產(chǎn)品功能、性能、穩(wěn)定性不斷邁向新臺階

“追求卓越”是神策軍的三大信念之一。我們希望通過「卓越產(chǎn)品計(jì)劃」,在服務(wù)客戶數(shù)量越來越多、業(yè)務(wù)邏輯和技術(shù)架構(gòu)越來越復(fù)雜的背景下,全面保障產(chǎn)品技術(shù)架構(gòu)和技術(shù)支撐系統(tǒng)穩(wěn)步提升。除了將產(chǎn)品打磨好之外,要在內(nèi)部實(shí)現(xiàn)極致文化與產(chǎn)品研發(fā)結(jié)合的最佳實(shí)踐,致力于把功能做到極致,把性能做到極致,把穩(wěn)定性做到極致。

神策分析是公司成立之初推出的用戶行為分析產(chǎn)品,支持私有化部署、云版部署等多種部署方式,如今已是神策“兩云一平臺”(神策分析云、神策營銷云、神策數(shù)據(jù)根基平臺)的重要組成部分。

本文將針對神策分析,圍繞服務(wù)質(zhì)量指標(biāo)、錯誤碼系統(tǒng)、服務(wù)治理,詳細(xì)講述解決查詢報錯類問題(如分析模型的查詢報錯、未知使用報錯等)的產(chǎn)品迭代實(shí)踐。

一、制定服務(wù)質(zhì)量指標(biāo)體系,先于客戶發(fā)現(xiàn)問題

在我們?yōu)榭蛻艚鉀Q問題的過程中,通常能夠明確地定位問題,但是我們又不滿足于對具體問題的發(fā)現(xiàn)和解決——希望能夠在客戶發(fā)現(xiàn)實(shí)際問題之前消滅隱患,變被動為主動,先于客戶發(fā)現(xiàn)問題。

面對千余家大大小小不同規(guī)模的私有化部署集群,傳統(tǒng)的服務(wù)監(jiān)控 + 報警的方式對運(yùn)維人工的依賴較高,問題處理進(jìn)度相對滯后,無法滿足我們對卓越產(chǎn)品的需求,因此,我們決定通過制定和完善服務(wù)質(zhì)量指標(biāo)體系(簡稱 SLI),先于客戶發(fā)現(xiàn)問題。

制定服務(wù)質(zhì)量指標(biāo)體系,一方面可以將問題反饋轉(zhuǎn)化為量化指標(biāo),用數(shù)據(jù)說話;另一方面,合理地監(jiān)控服務(wù)質(zhì)量指標(biāo)的變化情況,可以在集群環(huán)境出現(xiàn)隱患時及時介入并處理。同時,基于服務(wù)質(zhì)量指標(biāo)我們也可以對產(chǎn)品實(shí)施效果進(jìn)行持續(xù)評估,更好地指導(dǎo)產(chǎn)品優(yōu)化思路。

對于不規(guī)律的查詢報錯類問題,服務(wù)質(zhì)量指標(biāo)通常包括:

1、分析模型查詢錯誤率。神策分析核心功能度量指標(biāo),直接影響客戶的查詢體驗(yàn)。

2、單客戶平均請求報錯數(shù)。重點(diǎn)度量客戶的前端使用體驗(yàn),統(tǒng)計(jì)客戶側(cè)直觀的報錯數(shù)據(jù)量。

通過服務(wù)質(zhì)量指標(biāo)體系,我們可以在保證合規(guī)的前提下,全面洞察客戶服務(wù)質(zhì)量技術(shù)類指標(biāo),對于提前發(fā)現(xiàn)問題和觀測產(chǎn)品服務(wù)質(zhì)量的優(yōu)化效果都起到重大作用。

二、自研錯誤碼系統(tǒng),提升問題處理效率

神策分析功能豐富,依賴較多技術(shù)組件,加上私有化部署集群帶來的機(jī)器配置和硬件環(huán)境差異,使得快速地定位和歸因問題、解決問題成為我們提升技術(shù)支撐能力的重點(diǎn)。

在神策,我們一直堅(jiān)持“能用產(chǎn)品解決的問題,就不要用服務(wù)解決”。因此,我們通過自研錯誤碼管理系統(tǒng),一方面形成一套統(tǒng)一的錯誤碼規(guī)范和管理標(biāo)準(zhǔn),以產(chǎn)品化的方式管理錯誤信息,讓技術(shù)支持和運(yùn)維等售后同學(xué)能夠更準(zhǔn)確地獲取報錯提示;另一方面也為我們提供錯誤碼的檢索能力,作為技術(shù)支持知識的一部分進(jìn)行沉淀,快速針對相關(guān)錯誤碼獲取對應(yīng)的原因和解決方案。

在具體的實(shí)踐過程中,錯誤碼系統(tǒng)包含錯誤碼規(guī)范定義、錯誤碼字典、開發(fā)工具和錯誤碼展示四個部分。

●「錯誤碼規(guī)范定義」由“應(yīng)用 - 錯誤階段 - 單元 ID - 錯誤編號”組成,如 SA-D-1-1。其中,“核心編碼”是唯一標(biāo)識,用于代碼開發(fā)過程,保證全局唯一性,在各種場景下固定無變更。“關(guān)鍵屬性”用于直觀描述,在錯誤碼中直觀地外顯更多錯誤定義信息;“連接符”用于功能區(qū)分及擴(kuò)展,是各個組成屬性間的連接,方便各屬性之間不限位數(shù)的擴(kuò)展。

● 「錯誤碼字典」用于錯誤碼注冊、查詢、編輯、審批等維護(hù)與管理,通過流程機(jī)制確保錯誤碼按照統(tǒng)一規(guī)范進(jìn)行接入,讓每一個錯誤碼都有結(jié)構(gòu)化的詳細(xì)描述錯誤信息,能夠更好地輔助問題的排查和定位。

● 「開發(fā)工具」是指錯誤碼系統(tǒng)提供適用于不同技術(shù)端的錯誤碼開發(fā)工具、適用于不同語言的 SDK & 編輯工具等,實(shí)現(xiàn)低成本的快速接入與開發(fā)。

● 「錯誤碼展示」可以根據(jù)錯誤碼的定義規(guī)范,提供產(chǎn)品化的通用錯誤提示框,以更加詳細(xì)、清晰的結(jié)構(gòu)化方式具體描述錯誤,同時提供描述信息的復(fù)制、截圖、錯誤文件下載等功能。

到目前為止,錯誤碼系統(tǒng)包含了 20+ 類錯誤信息,其中累計(jì)完善錯誤碼數(shù) 700 多個。基于該錯誤碼系統(tǒng),我們的產(chǎn)品和技術(shù)圍繞報錯信息形成了更加高效的問題處理和反饋機(jī)制。

三、基于服務(wù)治理“三板斧”,減少報錯數(shù)量

通過服務(wù)治理指標(biāo)的采集與分析、錯誤碼系統(tǒng)的構(gòu)建,我們可以對業(yè)務(wù)中存在的各種報錯問題進(jìn)行統(tǒng)計(jì)和歸因。但是在解決實(shí)際問題的過程中,我們會發(fā)現(xiàn)很多問題都不是復(fù)雜技術(shù)架構(gòu)下對單一節(jié)點(diǎn)進(jìn)行優(yōu)化就能夠解決的,通常需要進(jìn)行一些系統(tǒng)性的治理工作。因此,結(jié)合神策的技術(shù)架構(gòu)和業(yè)務(wù)特點(diǎn),我們制定了服務(wù)治理的三板斧策略。

第一板斧:“應(yīng)用化”重構(gòu)

神策分析發(fā)展至今,產(chǎn)品組件的數(shù)量明顯增加,不同產(chǎn)品組件之間也存在復(fù)雜的依賴關(guān)系。與此同時,隨著公司業(yè)務(wù)的快速發(fā)展,過去的管理方式已經(jīng)不能夠滿足產(chǎn)品迭代和質(zhì)量標(biāo)準(zhǔn)提升的需求。因此,在神策私有化部署和云版部署多種部署模式共存的背景下,我們定義了一套服務(wù)管理標(biāo)準(zhǔn)——從技術(shù)和產(chǎn)品層面將服務(wù)模塊劃分為應(yīng)用、產(chǎn)品組件、模塊三個級別,通過明確職責(zé)范圍以降低組件之間的依賴和團(tuán)隊(duì)之間的溝通成本。同時,將所有不符合新規(guī)范定義的服務(wù)間訪問定義為“飛線”問題。圍繞著新的“應(yīng)用化”定義,啟動多個技術(shù)重構(gòu)類項(xiàng)目,消除“飛線”訪問,降低服務(wù)間的技術(shù)耦合,實(shí)現(xiàn)應(yīng)用化定義要求的高內(nèi)聚、低耦合的目標(biāo)。

第二板斧:容器化

在完成“應(yīng)用化”重構(gòu)的基礎(chǔ)之上,我們將服務(wù)間存在的無狀態(tài)服務(wù)和有狀態(tài)服務(wù)進(jìn)行剝離,同時嚴(yán)格避免無狀態(tài)服務(wù)對本地文件、本地服務(wù)等的依賴。另外,對于新產(chǎn)品組件內(nèi)的服務(wù)模塊,我們統(tǒng)一構(gòu)建了 Docker 鏡像,將原來只能在物理機(jī)上進(jìn)行裸機(jī)部署的服務(wù)進(jìn)行了容器化部署的改造,支持容器化的方式進(jìn)行部署。除此之外,對于打包、升級、安裝等一系列流程,按照容器化標(biāo)準(zhǔn)進(jìn)行改造,使產(chǎn)品組件的管理更加輕量和靈活。

第三板斧:容錯和降級

隨著產(chǎn)品組件數(shù)量的增多,我們需要進(jìn)行服務(wù)間容錯和降級的處理,以避免當(dāng)部分服務(wù)出現(xiàn)故障時對整體業(yè)務(wù)產(chǎn)生影響,盡量減少底層組件的報錯對實(shí)際用戶體驗(yàn)造成的干擾。

首先,我們將依賴的底層應(yīng)用組件劃分為強(qiáng)依賴和弱依賴兩種類型。對于強(qiáng)依賴類型的應(yīng)用組件,我們提供一定的服務(wù)降級能力,比如,當(dāng)查詢引擎不可用時,查詢請求會進(jìn)行重試;但當(dāng)系統(tǒng)整體查詢資源緊張時,查詢接口會嘗試降級并查找歷史緩存數(shù)據(jù)。對于弱依賴類型的應(yīng)用組件,我們提供足夠的服務(wù)容錯能力,比如,當(dāng)標(biāo)簽系統(tǒng)完全不可用時,在分析模型中仍然可以使用基礎(chǔ)的元數(shù)據(jù)和屬性,只是不再提供關(guān)聯(lián)用戶標(biāo)簽的分析能力。通過對服務(wù)容錯和降級的處理,大大減少了服務(wù)故障對客戶實(shí)際產(chǎn)品體驗(yàn)的影響。

通過以上服務(wù)治理“三板斧”,我們已經(jīng)取得了預(yù)期的效果。下圖是某客戶上線私有部署集群之后的查詢錯誤率情況統(tǒng)計(jì),可以看到,分析模型查詢錯誤率已經(jīng)從最高時 1.2% 降低到目前的 0.2% 左右。

圖 模擬數(shù)據(jù)

神策分析作為數(shù)據(jù)分析領(lǐng)域的代表產(chǎn)品,追求極致性能亦是我們持續(xù)努力的方向。在下一篇文章中,我們將在神策數(shù)據(jù)公眾號針對神策分析產(chǎn)品性能優(yōu)化的五個方面做詳細(xì)介紹,敬請期待!