深信服上網(wǎng)行為管理團隊于近日推出“行為感知系統(tǒng)”,顛覆了傳統(tǒng)的行為管理方式,自問世之后獲得了大量用戶的一致好評。
今天我們有請到深信服科技產(chǎn)品運營專家王金紅為我們介紹,上網(wǎng)行為管理一路走來,是如何不斷進取、連創(chuàng)佳績的。
信服君:金紅你好,最近有所耳聞,深信服上網(wǎng)行為管理最新推出的行為感知系統(tǒng)一經(jīng)問世就收獲了贊譽。你能為大家介紹一下這款產(chǎn)品嗎?
王金紅:行為感知系統(tǒng)是深信服上網(wǎng)行為管理團隊踐行產(chǎn)品價值主張“讓上網(wǎng)可視可控,讓數(shù)據(jù)更有價值”的重要產(chǎn)物。它基于海量的上網(wǎng)日志,通過深度建模分析,幫助客戶發(fā)現(xiàn)用戶行為風險,如“校園網(wǎng)貸分析”功能幫助高校規(guī)避學生網(wǎng)貸風險;“事件感知分析”功能可以幫助單位提前預警敏感事件等。
信服君:據(jù)我所知,行為感知平臺從開發(fā)到推出僅用了幾個月,從技術(shù)層面來講,你們是如何達到這種“深信服速度”的呢?
王金紅:有好幾個懂技術(shù)的同行都問我一個問題:你們怎么做到快速推出一個TB級數(shù)據(jù)分析平臺出來的?確實,大家對深信服的了解一直都是網(wǎng)絡安全廠商,似乎和大數(shù)據(jù)分析這塊沒什么交集。但,往往“看起來毫不費力”的背后,都隱藏著不為人知的辛勤努力。深信服在安全與云計算領域已經(jīng)經(jīng)過了十多年的沉淀,一直在不斷適應用戶需求的變化,保證技術(shù)的持續(xù)創(chuàng)新。
信服君:感覺其中深有故事啊,是否能跟大家分享一下?
王金紅:其實深信服上網(wǎng)行為管理產(chǎn)品一直都有一個外置日志中心用于匯集多臺上網(wǎng)行為管理設備記錄下的用戶上網(wǎng)日志。隨著日志中心處理的數(shù)據(jù)量從GB級到TB級,技術(shù)架構(gòu)也是更新了一代又一代,可以說,上網(wǎng)行為管理團隊一直在這一塊默默耕耘著。
過去,日志中心采用開源的MySQL數(shù)據(jù)庫做數(shù)據(jù)分析,從InnoDB引擎切換到MyISAM引擎,我們遇坑無數(shù)。費了九牛二虎之力才保證了產(chǎn)品的穩(wěn)定性和性能在用戶可接受的范圍內(nèi),當時整個團隊是痛苦的。
后來,上網(wǎng)行為管理團隊決心擯棄開源產(chǎn)品,完成一次自我救贖。團隊基于多年數(shù)據(jù)庫技術(shù)的積累,并參考了當前主流技術(shù)架構(gòu),完全自主研發(fā)了一個數(shù)據(jù)分析平臺,平臺架構(gòu)師張斌給他取名:IterateDB。
而行為感知系統(tǒng)能夠快速推出,秘訣就在IterateDB上。
信服君:IterateDB這個命名是如何由來的呢?
王金紅:Iterate 是迭代的概念,它有這么幾層含義:
1、Iterate對應迭代計算,它是新數(shù)據(jù)分析領域最為重要的技術(shù),也是這個數(shù)據(jù)分析平臺的核心;
2、平臺并非一蹴而就,而是多年自主研發(fā),持續(xù)改進的結(jié)果;
3、平臺支撐敏捷迭代式的應用開發(fā),移植簡單,1個月就能出產(chǎn)品。
信服君:剛才你說了行為感知系統(tǒng)快速推出的“秘訣”是IterateDB,給我們簡單介紹一下嗎?
王金紅:好的,IterateDB是行為感知系統(tǒng)的基礎平臺架構(gòu),可以說行為感知系統(tǒng)是站在了巨人的肩膀上。IterateDB是深信服完全自主研發(fā)的數(shù)據(jù)分析平臺,但卻并非閉門造車,其各個模塊的設計思想吸收了當前眾多先進的技術(shù)思路,比如軟件架構(gòu)上參考了Hadoop的MapReduce框架,實現(xiàn)分布式計算的基礎,不僅僅如此,我們平臺的計算框架還有獨特的特點,比如:
1、 MapReduce組件化,提高應用開發(fā)效率;
2、 MapReduce組件用完即毀,節(jié)省了大量狀態(tài)維護的開銷;
3、 框架用C/C++實現(xiàn),避免了語言級別的性能問題等等;
當然,還有一些的核心技術(shù),也是很有深信服特色的,比如:索引與搜索、列式存儲、MVCC機制、工作流機制、DSL等。
信服君:不難看出,行為感知系統(tǒng)的推出是先進技術(shù)長期沉淀的結(jié)果。
王金紅:是的,IterateDB發(fā)布后,上網(wǎng)行為管理的日志中心的性能有了一個質(zhì)的飛躍,遙遙領先于同類產(chǎn)品。我們在IterateDB發(fā)布后的第二年進行了一次使用情況統(tǒng)計:
1、超過1萬8千臺設備運行著IterateDB;
2、IterateDB內(nèi)部組件零故障;
3、目前支持的單個客戶業(yè)務數(shù)據(jù)中,最大能達到每日60億條記錄,數(shù)據(jù)容量達到144TB,總計3600億條原始記錄,超過6000億條視圖記錄;
4、單個用戶每間隔5分鐘同步最大超過150個數(shù)據(jù)倉庫視圖,總計150億條記錄;
5、統(tǒng)計查詢視圖做到秒級返回。
信服君:在本期內(nèi)容的最后,你用一段話為大家總結(jié)一下深信服行為感知系統(tǒng)的成長過程吧。
王金紅:好的,行為感知系統(tǒng)的驅(qū)動力來源于用戶需求和產(chǎn)品愿景,“讓數(shù)據(jù)更有價值”的愿景督促我們絞盡腦汁的去利用數(shù)據(jù)為用戶創(chuàng)造價值。而用戶需求,是產(chǎn)品成功的外在必備條件。目前行為感知系統(tǒng)有一定的成績,但是還遠遠不夠,如果用一個定量數(shù)據(jù)來描述,可以說數(shù)據(jù)價值才挖掘出了千萬分之一。還有海量的價值等待我們?nèi)ネ诰颍覀儓F隊已經(jīng)做好充分的準備。
如果您非常迫切的想了解IT領域更新產(chǎn)品與技術(shù)信息,那么訂閱強川技術(shù)郵件將是您的更佳途徑之一。