大資料平臺是什麼?什麼時候需要大資料平臺?大數林諮詢2019-05-28 08:22:18

依我的理解,至少得是TB級以上的資料量要處理,同時傳統的資料庫已無法滿足資料處理和分析的需求,或者是效能不支援了。

小的大資料平臺,弄三臺伺服器,就可以搭建。關鍵還是看您的資料量和運算需求,後面再逐步增加伺服器。

另外如果是自己不會建也可以用阿里雲,騰訊雲,華為雲,租賃也是一種選擇。

大資料平臺搭建,網上也有教程的,大家現在普遍用的開源技術,自己研究下就可以了。

大資料平臺是什麼?什麼時候需要大資料平臺?珠鄉二哥2019-05-18 18:18:24

謝邀!

最近我和我的團隊一直在做一些大資料相關的工作,我來回答一下這個問題。

首先是第一個問題,大資料平臺是什麼?

當我們說到一個平臺的時候,我們的意識裡面往往就知道,這裡面肯定不止一樣東西,它是很多東西的一個集合,大資料平臺也是一樣,首先如果用幾個字來描述它的話就是“它是一個數據解決方案”,進一步解析就是:大資料平臺它是一個以分散式儲存為基礎,集成了資料獲取,資料清洗,資料流轉,資料分析,資料輸出等工具集的一個數據解決方案。它的核心使命是提供資料儲存和資料分析服務給目標客戶。

那麼它的核心組成部分是什麼呢?實現的方法有多種,我就舉一個最典型的大資料平臺結構作為說明。

目前無論是國內或者國外,應用最廣泛也是最典型的大資料平臺是以Hadoop為核心進行功能延伸的生態系統,業內把它叫做Hadoop生態,它開源並且免費使用,它長什麼樣子?它的面目基本上是這樣:

大資料平臺是什麼?什麼時候需要大資料平臺?

從上圖我們得知,它就是一套以Hadoop分散式檔案系統為核心的資料處理工具集,目的是為了向用戶提供資料分析服務的一個整合解決方案。

什麼時候需要大資料平臺?

簡單的說就是當資料總量大到傳統單機資料解決方面沒辦法儲存,分析,計算時就要用到大資料平臺。

舉例說,家用電腦目前一般是配置2TB大小的硬碟(儲存容量約等於於18個128G的iPhone),一般幾萬塊錢的商用伺服器容量大約在32TB容量,高階的單機儲存器可以達到100TB以上,但是資料量如果再大比如上跳一個數量級1000TB,也就是1PB左右,單機系統就無能為力了,不單是儲存容量無能為力,計算能力也無法應對了,因為我們知道,單臺計算機的效能是有極限的,資料太多磁碟檢索讀取的速度就會變慢,CPU和記憶體壓力也會變大,這個時候需要完成一個數據分析任務就要耗時很長,那麼這個時候大資料平臺就派上用場了,大資料平臺的一個特性就是多臺計算機組成一個叢集集體並行作戰,並且理論上可以無限拓展。

希望我的回答能夠幫助到您,有任何問題請在留言區留言,也歡迎關注頭條號,一個20年資深IT領域工作者,我會以圖文和影片的方式陸續更新一些IT知識在我的頭條號上。

大資料平臺是什麼?什麼時候需要大資料平臺?程式設計師小陶2018-11-08 00:31:37

謝邀。希望一起交流大資料

大資料,所謂大,最起碼是PB級別的資料量,而且每天以給飛快的速度積累,如何儲存,遷移資料,如何計算這些資料,就成了系統的瓶頸。單節點很難完成這樣的任務。

大資料平臺可以處理上述問題,分散式架構,高可用的叢集保證安全快速的處理資料,能夠達到毫秒級別的反應速度。