動力節點Java培訓2018-06-29 12:30:27應該先了解一下大資料，然後透過招聘網站看看找大資料工作都需要什麼技能，然後再決定是不是學習，如果實在覺得大資料好可以找些影片網站有免費的大資料影片跟著學學，不過大資料到底是個啥，能叫上名說不清楚，三思而行~~
千鋒鄭州2019-05-06 11:09:04如果你想投身於大資料行業，需要知道從哪裡開始學習之路。當前IT行業火爆的方向自然是大資料和人工智慧。人工智慧門檻相對高一些，那麼曲線救國之路呢？那就是大資料了，機器學習吃的是資料，你完全可以投身於大資料行業。
小白、沒有社會關係如何入行？相信在經過精心的對比之後，選擇報班專業的學習方式會比較好。更看重的應該是大資料專業學習設定，標準化AI工程流程，如：載入資料集、分割資料集、選擇建立模型、訓練模型、測試模型和應用模型，從專案立項分析、確定分析目標到專案分析設計。專案實戰也覆蓋西二旗、中關村、亦莊和朝陽的大資料商業實戰，專業的學習會讓你離夢想進一步，再進一步！
下面是一些大資料技術學習筆記，可以幫助你進入大資料學習之路！
倒排索引：
關鍵字存在於一些文章或者頁面中，順序索引為這些關鍵字在某一文章中的數量和位置。
倒排索引就是一關鍵字為單位，以關鍵字為主，將所有包含這些關鍵字的文章或者頁面與該關鍵字關聯，作為該關鍵字的索引。稱為倒排。
倒排索引常見思路：
比如統計某個關鍵字在多個網頁中存在的數量和存在的檔案。
在map中將關鍵字所在檔案的檔名稱和關鍵字拼接組成key，value直接使用1，使用combiner，做聚合操作，key值不變，將key_filename進行組合操作，計算出這樣的組合key總數量，然後發給reduce。
對於組合鍵如何傳送給reduce，這裡需要自定義分分割槽類。在分割槽類中不要使用預設的key_filename真個字串hash，而是隻提取key做hash。這樣相同關鍵字就會被髮送到同一個reduce。
在reduce方，鍵會以key_filename方式出現，但是這個key_filename包含了來自所有map的。在reduce函式中聚合，然後將key，filename，counter拆分出來根據key輸出到不同的檔案中。後面可能會有相同關鍵字但是來自於不同網頁這樣的組合關鍵字，但是真實關鍵字一定會被髮送到同一個reduce，所有不會存在多個reduce同時寫同一個結果檔案的情況。後面相同真實關鍵字到來後，即使與之前的相同真實關鍵字不連續，也會寫到相同的結果檔案中。
