摘 要：圖像識別及其圖像修復(fù)技術(shù)在目前的數(shù)字化領(lǐng)域應(yīng)用非常廣泛，在金融、安防領(lǐng)域尤為突出。因此，從經(jīng)濟(jì)和實(shí)用性角度出發(fā)基于大數(shù)據(jù)的圖像修復(fù)技術(shù)有著廣闊的應(yīng)用前景。但大數(shù)據(jù)環(huán)境下復(fù)雜的數(shù)據(jù)存儲是數(shù)據(jù)圖像修復(fù)的關(guān)鍵，如何建立一個高效、安全、高容量的基于大數(shù)據(jù)平臺的數(shù)據(jù)庫，是數(shù)據(jù)庫建立需要考慮的關(guān)鍵問題。下文從數(shù)據(jù)庫架構(gòu)的構(gòu)成、應(yīng)用目的、數(shù)據(jù)量大小、訪問量、安全要求等各個角度研究和討論圖像數(shù)據(jù)庫的建立，力求使數(shù)據(jù)庫建立在安全、合理、流暢的數(shù)據(jù)庫架構(gòu)之上，達(dá)到最優(yōu)的數(shù)據(jù)庫架構(gòu)模型。

　　關(guān)鍵詞：圖像識別;圖像處理;大數(shù)據(jù);架構(gòu)

　　1 引言(Introduction)

　　數(shù)據(jù)庫作為數(shù)字信息的載體在數(shù)字生活中起著極其重要的作用，無論是動態(tài)網(wǎng)站設(shè)計(jì)、數(shù)據(jù)挖掘、大數(shù)據(jù)存儲等各個領(lǐng)域都很重要。數(shù)字圖像作為數(shù)字信息的表現(xiàn)形式有著其他數(shù)字信息不可比擬的特點(diǎn)，存數(shù)量大、格式復(fù)雜、程序處理困難等都是其固有的屬性。因此，基于大數(shù)據(jù)平臺的圖像數(shù)據(jù)庫架構(gòu)的建設(shè)在整個平臺建設(shè)中顯得非常重要。

　　2 圖像數(shù)據(jù)的分類及特點(diǎn)(Classification and characteristics of image data)

　　隨著數(shù)碼相機(jī)、掃描儀、視屏攝錄設(shè)備的廣泛應(yīng)用，越來越多的數(shù)字圖像數(shù)據(jù)大量產(chǎn)生，這些數(shù)據(jù)圖像因格和采集設(shè)備等的不同有著很大的差別，不同的格式及設(shè)備采集的圖像特點(diǎn)也不相同。

　　2.1 位圖數(shù)據(jù)

　　位圖數(shù)據(jù)由若干點(diǎn)陣構(gòu)成，每個點(diǎn)稱為一個像素。文件大小與像素密集度有關(guān)。當(dāng)文件太大時處理速就會變慢，但點(diǎn)陣所表達(dá)的圖像色彩豐富、逼真，品質(zhì)較高。

　　2.2 JPEG圖像數(shù)據(jù)

　　JPEG是由國際標(biāo)準(zhǔn)組織(ISO)和國際電話電報(bào)咨詢委員會(CCITT)為靜態(tài)圖像所創(chuàng)建的第一個國際數(shù)字圖像壓縮標(biāo)準(zhǔn)，其不僅可以提供有損壓縮也可以提供無損壓縮。比傳統(tǒng)的圖像壓縮方式有不可比擬的優(yōu)越性。其特點(diǎn)如下：一次將圖像由左到右、由上到下順序處理;當(dāng)圖像傳輸?shù)臅r間較長時，可將圖像分?jǐn)?shù)次處理，以從模糊到清晰的方式來傳送圖像[1];其壓縮出來的圖像可以在較低分辨率的設(shè)備上顯示出高分辨率的效果。

　　2.3 TIFF標(biāo)記圖像文件格式

　　TIFF支持可選壓縮、可擴(kuò)展格式許多可選功能，TIFF是廣泛支持的格式，尤其是在Macintosh計(jì)算機(jī)和基于Windows的計(jì)算機(jī)之間[2]。以任何顏色深度存儲單個光柵圖像，其缺點(diǎn)是TIFF在Web瀏覽器得不到支持，而且TIFF之間的文件兼容性也存在問題。

　　2.4 PNG格式

　　PNG(Portable Network Graphics)是近幾年來網(wǎng)絡(luò)上比較流行的圖像格式。其優(yōu)點(diǎn)是目前保證最不失真的格式，存貯形式豐富，兼有GIF和JPG的色彩模式的特點(diǎn);其缺點(diǎn)是不支持動畫應(yīng)用效果。

　　3 大數(shù)據(jù)數(shù)據(jù)庫設(shè)計(jì)與優(yōu)化(Design and optimization of big data database)

　　3.1 數(shù)據(jù)庫架構(gòu)的設(shè)計(jì)

　　數(shù)據(jù)庫架構(gòu)是數(shù)據(jù)資源布置方式的統(tǒng)稱，一個合理的架構(gòu)可以提高數(shù)據(jù)的安全性和數(shù)據(jù)訪問的速度。目前提供大數(shù)據(jù)訪問的平臺提供商，廣泛采用B/S結(jié)構(gòu)的數(shù)據(jù)庫前端平臺搭建模式(圖1)。B/S結(jié)構(gòu)具有使用方便、成本低、適應(yīng)強(qiáng)等特點(diǎn)，但這種基于動態(tài)網(wǎng)站建設(shè)技術(shù)的數(shù)據(jù)平臺前端建立模式最大的缺點(diǎn)就是安全性不能得到很好的保障[3]。因此，在大數(shù)據(jù)平臺下數(shù)據(jù)庫的架構(gòu)設(shè)計(jì)必須采用相關(guān)的措施提高數(shù)據(jù)庫的安全性。

　　為了提高數(shù)據(jù)庫平臺的安全性，在數(shù)據(jù)庫核心層的外圍需采用多層控制機(jī)制，通常從平臺的使用、管理、控制、維護(hù)等方面數(shù)據(jù)庫架構(gòu)可由：產(chǎn)品層、接入層、網(wǎng)絡(luò)層、中間件、存儲層、運(yùn)維服務(wù)等幾個層級(圖2)。

　　各層的具體作用如下：

　　產(chǎn)品層：該層是數(shù)據(jù)庫架構(gòu)的硬件平臺，平臺設(shè)備由服務(wù)商提供。主要負(fù)責(zé)整個架構(gòu)軟硬件設(shè)備的管理和使用。對于性能的要求與平臺硬件的構(gòu)成有關(guān)，基本要求是平臺必須具備對整體架構(gòu)安全性、實(shí)用性、操控性的管理[4，5]。

　　接入層：接入層負(fù)責(zé)對外提供數(shù)據(jù)服務(wù)，對于大數(shù)據(jù)平臺，如果要提高服務(wù)品質(zhì)，良好的接入層設(shè)計(jì)可以使數(shù)據(jù)得到高效的應(yīng)用。大數(shù)據(jù)平臺要面向眾多的使用對象，接入層是每個使用對象必須經(jīng)過的訪問節(jié)點(diǎn)。接入層要提供有線、無線、云上數(shù)據(jù)等各種接入服務(wù)。如果從數(shù)據(jù)的安全性考慮，對眾多的接入請求，接口要建立足夠的安全保障機(jī)制。但如果復(fù)雜的安全保障機(jī)制建立在接口層，會使接入速度降低、服務(wù)品質(zhì)下降[6]。從大數(shù)據(jù)的使用初衷考慮在服務(wù)品質(zhì)和安全性這兩方面權(quán)衡，在接口層一般對安全性不做硬性要求，從而保證提供較高的服務(wù)品質(zhì)。

　　中間件：大數(shù)據(jù)的特點(diǎn)就是數(shù)據(jù)量大而復(fù)雜，如何使用戶快速、便捷地從海量數(shù)據(jù)獲取所需信息，是架構(gòu)設(shè)計(jì)必須考慮的。目前，多采用多語言支持、SQL二級索引等中間件來提高訪問效率。另外，在中間件的下層多采用HBase面向列的開源數(shù)據(jù)庫提供數(shù)據(jù)庫技術(shù)支持。

　　存儲層：該層作為數(shù)據(jù)的存儲空間的管理層是整個數(shù)據(jù)庫架構(gòu)的核心，目前采用Ali-HDFS、共享存儲OSS等管理數(shù)據(jù)資源，為數(shù)據(jù)保存提供高效組織方式[7]。

　　運(yùn)維服務(wù)：大數(shù)據(jù)架構(gòu)的使用對象眾多，使用方式和使用習(xí)慣差異很大，平臺架構(gòu)運(yùn)行后會有很多問題需要進(jìn)一步服務(wù)。只有在不斷的維護(hù)和改進(jìn)中平臺的功能才能更加完善[8]?，F(xiàn)在平臺維護(hù)主要涉及全鏈路監(jiān)控、自動運(yùn)維、資源調(diào)度、運(yùn)維部署、物理機(jī)等幾個方面。

　　3.2 安全數(shù)據(jù)庫的建立

　　為了提高大數(shù)據(jù)平臺的服務(wù)品質(zhì)，在接口層對于安全性沒有采用過多的設(shè)計(jì)。但數(shù)據(jù)的安全還是大數(shù)據(jù)系統(tǒng)必須考慮的問題。因此，除了在產(chǎn)品層對于安全性的總體硬件部署之外，在數(shù)據(jù)庫的結(jié)構(gòu)設(shè)計(jì)上安全性的本質(zhì)要求必須充分體現(xiàn)(圖3)。

　　數(shù)據(jù)庫是大數(shù)據(jù)系統(tǒng)的核心，因此安全層次的部署也相當(dāng)復(fù)雜。如圖3所示，可以采用專用安全數(shù)據(jù)庫系統(tǒng)對核心數(shù)據(jù)庫進(jìn)行保護(hù)，數(shù)據(jù)庫安全管理層結(jié)構(gòu)主要構(gòu)成及功能如下：

　　統(tǒng)一安全管理：主要功能負(fù)責(zé)整個數(shù)據(jù)庫安全管理層的高層管理，具體有配置管理、安全審計(jì)、操作日志管理、用戶管理、權(quán)限管理、日志分析等功能。

　　監(jiān)控管理子系統(tǒng)：包括警告管理、性能管理、配置管理，在警告管理模塊主要實(shí)現(xiàn)警告過濾、警告分析、預(yù)處理、格式化等功能;性能管理模塊主要包括數(shù)據(jù)稽查、閾值對比、數(shù)據(jù)匯總、預(yù)處理等功能;配置管理主要包括數(shù)據(jù)整合、異常處理、數(shù)據(jù)審核等功能[9]。

　　安全數(shù)據(jù)庫：核心數(shù)據(jù)庫是大數(shù)據(jù)平臺提供服務(wù)的信息載體，有著極其嚴(yán)格的配置管理控制。在安全控制及信息過濾的過程中也會需要大量的數(shù)據(jù)需要建立數(shù)據(jù)庫進(jìn)行存儲，但從數(shù)據(jù)結(jié)構(gòu)及安全配置管理的角度去考慮，這些存儲的數(shù)據(jù)不需要供給大數(shù)據(jù)客戶使用，因此需建立專用的安全數(shù)據(jù)庫進(jìn)行存儲。這類數(shù)據(jù)庫主要有警告數(shù)據(jù)庫、性能數(shù)據(jù)庫、配置數(shù)據(jù)庫等。

　　3.3 核心數(shù)據(jù)庫的構(gòu)成

　　當(dāng)數(shù)據(jù)庫的安全控制功能分離出去后，核心數(shù)據(jù)庫的設(shè)計(jì)主要涉及大數(shù)據(jù)采集、大數(shù)據(jù)清理、大數(shù)據(jù)標(biāo)準(zhǔn)化、大數(shù)據(jù)結(jié)構(gòu)化幾個方面[4](圖4)。

　　大數(shù)據(jù)采集：包含業(yè)務(wù)數(shù)據(jù)匯集系統(tǒng)、用戶行為數(shù)據(jù)采集系統(tǒng)、大數(shù)據(jù)爬蟲采集系統(tǒng)。

　　大數(shù)據(jù)清洗：包含業(yè)務(wù)數(shù)據(jù)清洗系統(tǒng)、用戶行為數(shù)據(jù)清洗系統(tǒng)、互聯(lián)網(wǎng)公開數(shù)據(jù)清洗系統(tǒng)。

　　大數(shù)據(jù)標(biāo)準(zhǔn)化：包含用戶多ID匹配系統(tǒng)、商品多ID匹配系統(tǒng)。

　　大數(shù)據(jù)結(jié)構(gòu)化：包含用戶標(biāo)簽管理系統(tǒng)、商品標(biāo)簽管理系統(tǒng)。

　　圖形圖像處理是目前需求比較大的業(yè)務(wù)，在安防、醫(yī)學(xué)、考古領(lǐng)域都有涉及。尤其是圖像修復(fù)更有著廣大的應(yīng)用市場，人臉識別、考古修復(fù)等都在應(yīng)用。因此基于大數(shù)據(jù)的圖像修復(fù)系統(tǒng)中，圖像數(shù)據(jù)庫的建立尤為重要。圖像數(shù)據(jù)具有文件大、種類多、存儲結(jié)構(gòu)復(fù)雜等特點(diǎn)。在建立圖像數(shù)據(jù)庫時所得到的數(shù)據(jù)同樣存在著不可預(yù)知的數(shù)據(jù)[10]。為了更精確的定位有用的存儲信息，核心數(shù)據(jù)庫建立時必須按照大數(shù)據(jù)采集—大數(shù)據(jù)清洗—大數(shù)據(jù)標(biāo)準(zhǔn)化—大數(shù)據(jù)結(jié)構(gòu)化的步驟對數(shù)據(jù)進(jìn)行優(yōu)化，以便客戶在使用時獲得更為精確的圖像數(shù)據(jù)。

　　4 結(jié)論(Conclusion)

　　基于大數(shù)據(jù)的圖形圖像處理是大數(shù)據(jù)的主要應(yīng)用方向，良好的數(shù)據(jù)庫架構(gòu)可以提高處理的速度，減少誤差，最大限度地提高工作效率。按文中所述，構(gòu)建合理安全的大數(shù)據(jù)數(shù)據(jù)庫架構(gòu)是大數(shù)據(jù)平臺建設(shè)必須遵循的規(guī)律，也是大數(shù)據(jù)應(yīng)用發(fā)展的必經(jīng)之路。

　　參考文獻(xiàn)(References)

　　[1] Trevor H.Booth.Species distribution modelling tools and databases to assist managing forests under climate change[J].Forest Ecology and Management，2018(04)：196-202.

　　[2] Nagori N P，MalodeV.Communication Interface for Deaf-Mute People using Microsoft Kinect[J].International Conference on Automatic Control and Dynamic Optimization Techniques，2017(03)：1-5.

　　[3] Gu B B，Li Z X，Zhang X L，et al.The interaction between schema matching and record matching in data integration[J].IEEE Transactions on Knowledge and Data Engineering，2016(05)：187-192.

　　[4] 傅穎勛，羅圣美，舒繼武.安全云存儲系統(tǒng)與關(guān)鍵技術(shù)綜述[J].計(jì)算機(jī)研究與發(fā)展，2013(01)：136-145.

　　推薦閱讀：哪里有整理好的期刊數(shù)據(jù)庫資源