基于NoSQL數(shù)據(jù)庫的空間大數(shù)據(jù)

新技術的發(fā)展給空間數(shù)據(jù)存儲與管理又提出了新的挑戰(zhàn)。物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和云計算技術及應用的蓬勃發(fā)展，使得空間數(shù)據(jù)在數(shù)據(jù)量和應用模式上發(fā)生了轉變；此外，傳感器技術的發(fā)展，使采集數(shù)據(jù)的空間分辨率和時間分辨率顯著提高，導致所獲取的數(shù)據(jù)規(guī)模成指數(shù)級快速上升，面對動輒以 TB（trillionbyte ），甚至PB（petabyte）計的數(shù)據(jù)，也給空間數(shù)據(jù)存儲和處理帶來巨大的壓力。

傳統(tǒng)的基于關系型數(shù)據(jù)庫的空間數(shù)據(jù)存儲與管理已經(jīng)無法滿足大數(shù)據(jù)存儲和處理的實際應用要求，隨著互聯(lián)網(wǎng)領域云技術、非關系型數(shù)據(jù)庫技術的迅速發(fā)展，各種分布式 GIS技術的研究成為研究熱點。本文主要著眼于空間大數(shù)據(jù)的存儲與管理，首先分析了傳統(tǒng)集中存儲模式在大數(shù)據(jù)存儲方面的局限性；然后，針對互聯(lián)網(wǎng)領域大數(shù)據(jù)的成功解決方案，研究當前主流 NoSQL數(shù)據(jù)庫的特點，分析其在處理空間數(shù)據(jù)時的優(yōu)勢與不足；最后，針對這些需求和存在的問題，本文提出空間大數(shù)據(jù)分布式存儲與處理策略，并在原型系統(tǒng)中進行試驗驗證。

1　空間數(shù)據(jù)存儲技術現(xiàn)狀

基于成熟的關系型數(shù)據(jù)庫設計空間數(shù)據(jù)引擎，集中存儲和管理空間數(shù)據(jù)是當前應用的主流模式。

1.1　空間數(shù)據(jù)集中存儲模式及其局限性

從空間數(shù)據(jù)引擎和關系數(shù)據(jù)庫與應用程序結合的緊密程度來看，可以將空間數(shù)據(jù)引擎的體系結構分為內(nèi)置模式、三層結構模式和兩層結構模式，這些集中存儲模式很好地解決了海量空間數(shù)據(jù)存儲和管理的問題。

目前，各種地理空間信息獲取手段多樣、數(shù)據(jù)規(guī)模巨大、更新頻率快、數(shù)據(jù)應用現(xiàn)勢性強。傳統(tǒng)的空間數(shù)據(jù)集中，單一的存儲方式不能滿足大數(shù)據(jù)高并發(fā)甚至高時效的應用要求，空間數(shù)據(jù)從海量特征轉變?yōu)榇髷?shù)據(jù)特征對存儲技術的要求主要表現(xiàn)如下

• 1）存儲對象的變化。關系型數(shù)據(jù)庫不擅長處理大量位置相關的視頻、音頻、圖片等數(shù)據(jù)。
• 2）存儲能力的擴展。在容量上，傳統(tǒng)關系型數(shù)據(jù)庫難以維護動輒千萬級別的二維表，且存儲能力的橫向擴展也非常困難。在性能上，由于需要維護數(shù)據(jù)的完整性、一致性，數(shù)據(jù)存儲的性能受到很大影響。
• 3）并發(fā)訪問能力。關系型數(shù)據(jù)庫區(qū)別傳統(tǒng)文件的最大優(yōu)勢在于其對數(shù)據(jù)的多用戶并發(fā)訪問能力，但在云服務、互聯(lián)網(wǎng)等應用領域，用戶的并發(fā)量要求是關系型數(shù)據(jù)庫無法滿足的。

1.2　基于 NoSQL的空間數(shù)據(jù)單一存儲模式優(yōu)勢與不足

在互聯(lián)網(wǎng)領域，基于非關系型數(shù)據(jù)庫的NoSQL數(shù)據(jù)庫技術已經(jīng)得到成功應用。從數(shù)據(jù)存儲的角度來說，NoSQL數(shù)據(jù)庫非常適合空間大數(shù)據(jù)的存儲，但互聯(lián)網(wǎng)領域的應用模式與 GIS領域存在一定差異，由此產(chǎn)生的局限性主要包括如下方面

• 1）數(shù)據(jù)操作方式的局限性。在空間數(shù)據(jù)庫中對數(shù)據(jù)的修改是常用操作，但 NoSQL數(shù)據(jù)庫一般不建議對數(shù)據(jù)進行修改，不慎重的修改操作甚至會因為引起相關存儲數(shù)據(jù)的大量遷移而導致性能急劇下降。
• 2）數(shù)據(jù)查詢方式的局限性?；诳臻g數(shù)據(jù)的各種專題圖展示能力以數(shù)據(jù)庫的查詢能力為重要基礎，需要按圖層的屬性信息提取數(shù)據(jù)，因此基于數(shù)據(jù)庫的按字段查詢、排序、統(tǒng)計等功能是重要基礎。NoSQL數(shù)據(jù)庫提供的查詢能力非常有限，MongoDB也不能滿足 GIS常用查詢的需要。
• 3）單一空間索引算法或技術的局限。類似關系型數(shù)據(jù)庫，空間數(shù)據(jù)的索引技術是空間數(shù)據(jù)存儲技術的重要研究內(nèi)容，但有一定局限性。在大數(shù)據(jù)應用環(huán)境下，應該考慮把空間索引技術從算法層面提升到方法策略層面，才能解決空間數(shù)據(jù)的高效檢索問題。

本文綜合 NoSQL數(shù)據(jù)庫和關系型數(shù)據(jù)庫各自的優(yōu)勢，提出一種混合的空間大數(shù)據(jù)分布式存儲策略，既滿足大數(shù)據(jù)存儲的需要，又能滿足傳統(tǒng)GIS應用的需求。

更多內(nèi)容請點擊下方的PDF下載