大數(shù)據(jù)安全面臨著許多挑戰(zhàn)，需要通過研究關(guān)鍵技術(shù)、制定安全管理策略來應(yīng)對這些挑戰(zhàn)。當前，大數(shù)據(jù)的應(yīng)用和發(fā)展面臨著許多安全問題，具體來說有以下幾個方面。（1）大數(shù)據(jù)成為網(wǎng)絡(luò)攻擊的顯著目標在網(wǎng)絡(luò)空間中，大數(shù)據(jù)是更容易被“發(fā)現(xiàn)”的大目標，承載著越來越多的關(guān)注度。一方面，大數(shù)據(jù)不僅意味著海量的數(shù)據(jù)，也意味著更復雜、更敏感的數(shù)據(jù)，這些數(shù)據(jù)會吸引更多的潛在攻擊者，成為更具吸引力的目標；另一方面，數(shù)據(jù)的大量聚集，使黑客一次成功的攻擊能夠獲得更多的數(shù)據(jù)，無形中降低了黑客的進攻成本，增加了“收益率”。（2）大數(shù)據(jù)加大隱私泄露風險從基礎(chǔ)技術(shù)角度看，Hadoop對數(shù)據(jù)的聚合增加了數(shù)據(jù)泄露的風險。作為一個分布式系統(tǒng)架構(gòu)，Hadoop可以用來應(yīng)對PB甚至ZB級的海量數(shù)據(jù)存儲；作為一個云化的平臺，Hadoop自身存在云計算面臨的安全風險，企業(yè)需要實施安全訪問機制和數(shù)據(jù)保護機制。同樣，大數(shù)據(jù)依托的基礎(chǔ)技術(shù)——NoSQL（非關(guān)系型數(shù)據(jù)庫）與當前廣泛應(yīng)用的SQL（關(guān)系型數(shù)據(jù)庫）技術(shù)不同，沒有經(jīng)過長期改進和完善，在維護數(shù)據(jù)安全方面也未設(shè)置嚴格的訪問控制和隱私管理機制。NoSQL技術(shù)還因大數(shù)據(jù)中數(shù)據(jù)來源和承載方式的多樣性，使企業(yè)很難定位和保護其中的機密信息，這是NoSQL內(nèi)在安全機制的不完善，即缺乏機密性和完整性。另外，NoSQL對來自不同系統(tǒng)、不同應(yīng)用程序及不同活動的數(shù)據(jù)進行關(guān)聯(lián)，也加大了隱私泄露的風險。此外，NoSQL還允許不斷對數(shù)據(jù)記錄添加屬性，這也對數(shù)據(jù)庫管理員的安全性預見能力提出了更高的要求。從核心價值角度看，大數(shù)據(jù)的技術(shù)關(guān)鍵在于數(shù)據(jù)分析和利用，但數(shù)據(jù)分析技術(shù)的發(fā)展，勢必對用戶隱私產(chǎn)生極大威脅。
為聞喜等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及聞喜網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都做網(wǎng)站、成都網(wǎng)站設(shè)計、聞喜網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！
本質(zhì)是因為：隨著互聯(lián)網(wǎng)的進一步發(fā)展與各行業(yè)信息化建設(shè)進程加快、參與者的增多，人們對軟件有了更多更新的要求，需要軟件不僅能實現(xiàn)功能，而且要求保證許多人可以共同參與使用，因而軟件所需承載的數(shù)據(jù)量和吞吐量必須達到相應(yīng)的需求。而目前的關(guān)系型數(shù)據(jù)庫在某些方面有一些缺點，導致不能滿足需要。
具體則需要對比關(guān)系型數(shù)據(jù)庫與Nosql之間的區(qū)別可以得出
關(guān)系型數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫把所有的數(shù)據(jù)都通過行和列的二元表現(xiàn)形式表示出來。
關(guān)系型數(shù)據(jù)庫的優(yōu)勢：
1.?保持數(shù)據(jù)的一致性（事務(wù)處理）
2.由于以標準化為前提，數(shù)據(jù)更新的開銷很?。ㄏ嗤淖侄位旧隙贾挥幸惶帲?/p>
3.?可以進行Join等復雜查詢
其中能夠保持數(shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢。
關(guān)系型數(shù)據(jù)庫的不足：
不擅長的處理
1.?大量數(shù)據(jù)的寫入處理（這點尤為重要）
2.?為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)（schema）變更
3.?字段不固定時應(yīng)用
4.?對簡單查詢需要快速返回結(jié)果的處理
--大量數(shù)據(jù)的寫入處理
讀寫集中在一個數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負，大部分網(wǎng)站已使用主從復制技術(shù)實現(xiàn)讀寫分離，以提高讀寫性能和讀庫的可擴展性。
所以在進行大量數(shù)據(jù)操作時，會使用數(shù)據(jù)庫主從模式。數(shù)據(jù)的寫入由主數(shù)據(jù)庫負責，數(shù)據(jù)的讀入由從數(shù)據(jù)庫負責，可以比較簡單地通過增加從數(shù)據(jù)庫來實現(xiàn)規(guī)模化，但是數(shù)據(jù)的寫入?yún)s完全沒有簡單的方法來解決規(guī)?；瘑栴}。
第一，要想將數(shù)據(jù)的寫入規(guī)模化，可以考慮把主數(shù)據(jù)庫從一臺增加到兩臺，作為互相關(guān)聯(lián)復制的二元主數(shù)據(jù)庫使用，確實這樣可以把每臺主數(shù)據(jù)庫的負荷減少一半，但是更新處理會發(fā)生沖突，可能會造成數(shù)據(jù)的不一致，為了避免這樣的問題，需要把對每個表的請求分別分配給合適的主數(shù)據(jù)庫來處理。
第二，可以考慮把數(shù)據(jù)庫分割開來，分別放在不同的數(shù)據(jù)庫服務(wù)器上，比如將不同的表放在不同的數(shù)據(jù)庫服務(wù)器上，數(shù)據(jù)庫分割可以減少每臺數(shù)據(jù)庫服務(wù)器上的數(shù)據(jù)量，以便減少硬盤IO的輸入、輸出處理，實現(xiàn)內(nèi)存上的高速處理。但是由于分別存儲字不同服務(wù)器上的表之間無法進行Join處理，數(shù)據(jù)庫分割的時候就需要預先考慮這些問題，數(shù)據(jù)庫分割之后，如果一定要進行Join處理，就必須要在程序中進行關(guān)聯(lián)，這是非常困難的。
--為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)變更
在使用關(guān)系型數(shù)據(jù)庫時，為了加快查詢速度需要創(chuàng)建索引，為了增加必要的字段就一定要改變表結(jié)構(gòu)，為了進行這些處理，需要對表進行共享鎖定，這期間數(shù)據(jù)變更、更新、插入、刪除等都是無法進行的。如果需要進行一些耗時操作，例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或是變更其表結(jié)構(gòu)，就需要特別注意，長時間內(nèi)數(shù)據(jù)可能無法進行更新。
--字段不固定時的應(yīng)用
如果字段不固定，利用關(guān)系型數(shù)據(jù)庫也是比較困難的，有人會說，需要的時候加個字段就可以了，這樣的方法也不是不可以，但在實際運用中每次都進行反復的表結(jié)構(gòu)變更是非常痛苦的。你也可以預先設(shè)定大量的預備字段，但這樣的話，時間一長很容易弄不清除字段和數(shù)據(jù)的對應(yīng)狀態(tài)，即哪個字段保存有哪些數(shù)據(jù)。
--對簡單查詢需要快速返回結(jié)果的處理? （這里的“簡單”指的是沒有復雜的查詢條件）
這一點稱不上是缺點，但不管怎樣，關(guān)系型數(shù)據(jù)庫并不擅長對簡單的查詢快速返回結(jié)果，因為關(guān)系型數(shù)據(jù)庫是使用專門的sql語言進行數(shù)據(jù)讀取的，它需要對sql與越南進行解析，同時還有對表的鎖定和解鎖等這樣的額外開銷，這里并不是說關(guān)系型數(shù)據(jù)庫的速度太慢，而只是想告訴大家若希望對簡單查詢進行高速處理，則沒有必要非使用關(guān)系型數(shù)據(jù)庫不可。
NoSQL數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫應(yīng)用廣泛，能進行事務(wù)處理和表連接等復雜查詢。相對地，NoSQL數(shù)據(jù)庫只應(yīng)用在特定領(lǐng)域，基本上不進行復雜的處理，但它恰恰彌補了之前所列舉的關(guān)系型數(shù)據(jù)庫的不足之處。
優(yōu)點：
易于數(shù)據(jù)的分散
各個數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫得名的主要原因，為了進行join處理，關(guān)系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲在同一個服務(wù)器內(nèi)，這不利于數(shù)據(jù)的分散，這也是關(guān)系型數(shù)據(jù)庫并不擅長大數(shù)據(jù)量的寫入處理的原因。相反NoSQL數(shù)據(jù)庫原本就不支持Join處理，各個數(shù)據(jù)都是獨立設(shè)計的，很容易把數(shù)據(jù)分散在多個服務(wù)器上，故減少了每個服務(wù)器上的數(shù)據(jù)量，即使要處理大量數(shù)據(jù)的寫入，也變得更加容易，數(shù)據(jù)的讀入操作當然也同樣容易。
典型的NoSQL數(shù)據(jù)庫
臨時性鍵值存儲（memcached、Redis）、永久性鍵值存儲（ROMA、Redis）、面向文檔的數(shù)據(jù)庫（MongoDB、CouchDB）、面向列的數(shù)據(jù)庫（Cassandra、HBase）
一、 鍵值存儲
它的數(shù)據(jù)是以鍵值的形式存儲的，雖然它的速度非?？?，但基本上只能通過鍵的完全一致查詢獲取數(shù)據(jù)，根據(jù)數(shù)據(jù)的保存方式可以分為臨時性、永久性和兩者兼具 三種。
（1）臨時性
所謂臨時性就是數(shù)據(jù)有可能丟失，memcached把所有數(shù)據(jù)都保存在內(nèi)存中，這樣保存和讀取的速度非?？?，但是當memcached停止時，數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中，所以無法操作超出內(nèi)存容量的數(shù)據(jù)，舊數(shù)據(jù)會丟失?？偨Y(jié)來說：
。在內(nèi)存中保存數(shù)據(jù)
?？梢赃M行非常快速的保存和讀取處理
。數(shù)據(jù)有可能丟失
（2）永久性
所謂永久性就是數(shù)據(jù)不會丟失，這里的鍵值存儲是把數(shù)據(jù)保存在硬盤上，與臨時性比起來，由于必然要發(fā)生對硬盤的IO操作，所以性能上還是有差距的，但數(shù)據(jù)不會丟失是它最大的優(yōu)勢?？偨Y(jié)來說：
。在硬盤上保存數(shù)據(jù)
?？梢赃M行非?？焖俚谋４婧妥x取處理（但無法與memcached相比）
。數(shù)據(jù)不會丟失
（3） 兩者兼?zhèn)?/p>
Redis屬于這種類型。Redis有些特殊，臨時性和永久性兼具。Redis首先把數(shù)據(jù)保存在內(nèi)存中，在滿足特定條件（默認是?15分鐘一次以上，5分鐘內(nèi)10個以上，1分鐘內(nèi)10000個以上的鍵發(fā)生變更）的時候?qū)?shù)據(jù)寫入到硬盤中，這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度，又可以通過寫入硬盤來保證數(shù)據(jù)的永久性，這種類型的數(shù)據(jù)庫特別適合處理數(shù)組類型的數(shù)據(jù)。總結(jié)來說：
。同時在內(nèi)存和硬盤上保存數(shù)據(jù)
?？梢赃M行非?？焖俚谋４婧妥x取處理
。保存在硬盤上的數(shù)據(jù)不會消失（可以恢復）
。適合于處理數(shù)組類型的數(shù)據(jù)
二、面向文檔的數(shù)據(jù)庫
MongoDB、CouchDB屬于這種類型，它們屬于NoSQL數(shù)據(jù)庫，但與鍵值存儲相異。
（1）不定義表結(jié)構(gòu)
即使不定義表結(jié)構(gòu)，也可以像定義了表結(jié)構(gòu)一樣使用，還省去了變更表結(jié)構(gòu)的麻煩。
（2）可以使用復雜的查詢條件
跟鍵值存儲不同的是，面向文檔的數(shù)據(jù)庫可以通過復雜的查詢條件來獲取數(shù)據(jù)，雖然不具備事務(wù)處理和Join這些關(guān)系型數(shù)據(jù)庫所具有的處理能力，但初次以外的其他處理基本上都能實現(xiàn)。
三、?面向列的數(shù)據(jù)庫
Cassandra、HBae、HyperTable屬于這種類型，由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長，這種類型的NoSQL數(shù)據(jù)庫尤其引入注目。
普通的關(guān)系型數(shù)據(jù)庫都是以行為單位來存儲數(shù)據(jù)的，擅長以行為單位的讀入處理，比如特定條件數(shù)據(jù)的獲取。因此，關(guān)系型數(shù)據(jù)庫也被成為面向行的數(shù)據(jù)庫。相反，面向列的數(shù)據(jù)庫是以列為單位來存儲數(shù)據(jù)的，擅長以列為單位讀入數(shù)據(jù)。
面向列的數(shù)據(jù)庫具有搞擴展性，即使數(shù)據(jù)增加也不會降低相應(yīng)的處理速度（特別是寫入速度），所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外，把它作為批處理程序的存儲器來對大量數(shù)據(jù)進行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲的思維方式有很大不同，故應(yīng)用起來十分困難。
總結(jié)：關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并非對立而是互補的關(guān)系，即通常情況下使用關(guān)系型數(shù)據(jù)庫，在適合使用NoSQL的時候使用NoSQL數(shù)據(jù)庫，讓NoSQL數(shù)據(jù)庫對關(guān)系型數(shù)據(jù)庫的不足進行彌補。
首先是無狀態(tài)前端機器不足以承載請求流量，需要進行水平擴展，一般QPS是千級。 然后是關(guān)系型數(shù)據(jù)庫無法承載讀取或?qū)懭敕逯?，需要?shù)據(jù)庫橫向擴展或引入nosql，一般是千到萬級。 之后是單機nosql無法承載，需要nosql橫向擴展，一般是十萬到百萬QPS。
最后是難以單純橫向擴展nosql，比如微博就引入多級緩存架構(gòu)，這種架構(gòu)一般可以應(yīng)對百萬到千萬對nosql的訪問QPS。 當然面向用戶的接口請求一般到不了這個量級，QPS遞增大多是由于讀放大造成的壓力，單也屬于高并發(fā)架構(gòu)考慮的范疇。
QPS（TPS）：每秒鐘 request/事務(wù) 數(shù)量，在互聯(lián)網(wǎng)領(lǐng)域，指每秒響應(yīng)請求數(shù)吞吐量：單位時間內(nèi)處理的請求數(shù)量（通常由QPS與并發(fā)數(shù)決定）；響應(yīng)時間：系統(tǒng)對一個請求做出響應(yīng)的平均時間。例如系統(tǒng)處理一個HTTP請求需要200ms，這個200ms就是系統(tǒng)的響應(yīng)時間（我認為這里應(yīng)該僅包含處理時間，網(wǎng)絡(luò)傳輸時間忽略），這里一定要注意，QPS ≠ 并發(fā)數(shù)。
高并發(fā)通常是指我們提供的系統(tǒng)服務(wù)能夠同時并行處理很多請求。并發(fā)是指，某個時刻有多少個訪問同時到來。QPS是指秒鐘響應(yīng)的請求數(shù)量。那么這里就肯容易推算出一個公式：QPS = 并發(fā)數(shù) / 平均響應(yīng)時間
如果你發(fā)現(xiàn)自己高并發(fā)，一定要及時就醫(yī)，尋求正規(guī)醫(yī)生的幫助。
重慶分公司
重慶分公司
