安全與流計算解決方案
近年來,隨著測繪信息化工作的不斷發(fā)展,多半數(shù)據(jù)處理在計算機的協(xié)助下快速完成,大量涉密信息存放于計算機硬盤的各個角落,且圖紙實現(xiàn)共享。而電子文檔在方便共享的同時也使得泄密變得容易,難以得到有效控制。
● 應采用約定通信會話方式的方法保證通信過程中數(shù)據(jù)的完整性。
● 應采用密碼技術(shù)保證通信過程中數(shù)據(jù)的完整性。
● 在通信雙方建立連接之前,應用系統(tǒng)應利用密碼技術(shù)進行會話初始化驗證
● 應對通信過程中的整個報文或會話過程進行加密。
數(shù)據(jù)安全問題剖析
隨著計算機網(wǎng)絡(luò)技術(shù)的發(fā)展和業(yè)務擴展的需要,很多中小型企業(yè)開通了遠程聯(lián)網(wǎng)和遠程業(yè)務,從局域網(wǎng)發(fā)展到廣域網(wǎng),因而很容易受到社會上黑客的攻擊和惡性病毒的感染,加上網(wǎng)絡(luò)環(huán)境硬件本身的可靠性和操作人員的差異性,企業(yè)網(wǎng)絡(luò)的安全運行已引起公司領(lǐng)導的極大關(guān)注。
流計算
一種被設(shè)計來處理無窮數(shù)據(jù)集的數(shù)據(jù)處理系統(tǒng)引擎。僅此而已。考慮到完整性,需要強調(diào)的是這個定義不僅包含了真正的流計算實現(xiàn),也包括微批處理的實現(xiàn)。
無窮數(shù)據(jù)
一種持續(xù)生成,本質(zhì)上是無窮盡的數(shù)據(jù)集。它經(jīng)常會被稱為“流數(shù)據(jù)”。然而,用流和批次來定義數(shù)據(jù)集的時候就有問題了,因為如前所述,這就意味著用處理數(shù)據(jù)的引擎的類型來定義數(shù)據(jù)的類型。
無窮數(shù)據(jù)處理
一種發(fā)展中的數(shù)據(jù)處理模式,應用于前面所說的無窮數(shù)據(jù)類型。盡管我本人也喜歡使用流式計算來代表這種類型的數(shù)據(jù)處理方式,但是在本文這個環(huán)境里,這個說法是誤導的。
低延遲,近似和/或推測性結(jié)果
這些結(jié)果和流處理引擎經(jīng)常關(guān)聯(lián)在一起。批處理系統(tǒng)傳統(tǒng)上不是設(shè)計來處理低延遲或推測性結(jié)果這個事實僅僅是一個歷史產(chǎn)物,并無它意。
大數(shù)據(jù)流式計算
大數(shù)據(jù)計算主要有批量計算和流式計算兩種形態(tài),目前,關(guān)于大數(shù)據(jù)批量計算系統(tǒng)的研究和討論相對充分,而如何構(gòu)建低延遲、高吞吐且持續(xù)可靠運行的大數(shù)據(jù)流式計算系統(tǒng)是當前亟待解決的問題且研究成果和實踐經(jīng)驗相對較少.總結(jié)了典型應用領(lǐng)域中流式大數(shù)據(jù)所呈現(xiàn)出的實時性、易失性、突發(fā)性、無序性、無限性等特征,給出了理想的大數(shù)據(jù)流式計算系統(tǒng)在系統(tǒng)結(jié)構(gòu)、數(shù)據(jù)傳輸、應用接口、高可用技術(shù)等方面應該具有的關(guān)鍵技術(shù)特征,論述并對比了已有的大數(shù)據(jù)流式計算系統(tǒng)的典型實例,最后闡述了大數(shù)據(jù)流式計算系統(tǒng)在可伸縮性、系統(tǒng)容錯、狀態(tài)一致性、負載均衡、數(shù)據(jù)吞吐量等方面所面臨的技術(shù)挑戰(zhàn).