本書采用“理論+實戰”的形式編寫,全麵介紹瞭Hadoop大數據挖掘的相關知識。本書共分為13章,涵蓋的主要內容有:集群及開發環境搭建;快速構建一個Hadoop項目並綫上運行;Hadoop套件實戰;Hive編程——使用SQL提交MapReduce任務到Hadoop集群;遊戲玩傢的用戶行為分析——特徵提取;Hadoop平颱管理與維護;Hadoop異常處理解決方案;初識Hadoop核心源碼;Hadoop通信機製和內部協議;Hadoop分布式文件係統剖析;ELK實戰案例——遊戲應用實時日誌分析平颱;Kafka實戰案例——實時處理遊戲用戶數據;Hadoop拓展——Kafka剖析。本書不但適閤剛入門的初學者係統學習Hadoop的各種基礎語法和開發技巧,而且也適閤有多年開發經驗的開發者進階提高。另外,本書也適閤社會培訓機構和相關院校作為教材或者教學參考書。
前言
D1章 集群及開發環境搭建1
1.1 環境準備1
1.1.1 基礎軟件下載1
1.1.2 準備Linux操作係統2
1.2 安裝Hadoop4
1.2.1 基礎環境配置4
1.2.2 Zookeeper部署7
1.2.3 Hadoop部署9
1.2.4 效果驗證21
1.2.5 集群架構詳解24
1.3 Hadoop版Hello World25
1.3.1 Hadoop Shell介紹25
1.3.2 WordCount初體驗27
1.4 開發環境28
1.4.1 搭建本地開發環境28
1.4.2 運行及調試預覽31
1.5 小結34
D2章 實戰:快速構建一個Hadoop項目並綫上運行35
2.1 構建一個簡單的項目工程35
2.1.1 構建Java Project結構工程35
2.1.2 構建Maven結構工程36
2.2 操作分布式文件係統(HDFS)39
2.2.1 基本的應用接口操作39
2.2.2 在高可用平颱上的使用方法42
2.3 利用IDE提交MapReduce作業43
2.3.1 在單點上的操作43
2.3.2 在高可用平颱上的操作46
2.4 編譯應用程序並打包51
2.4.1 編譯Java Project工程並打包51
2.4.2 編譯Maven工程並打包55
2.5 部署與調度58
2.5.1 部署應用58
2.5.2 調度任務59
2.6 小結60
D3章 Hadoop套件實戰61
3.1 Sqoop——數據傳輸工具61
3.1.1 背景概述61
3.1.2 安裝及基本使用62
3.1.3 實戰:在關係型數據庫與分布式文件係統之間傳輸數據64
3.2 Flume——日誌收集工具66
3.2.1 背景概述67
3.2.2 安裝與基本使用67
3.2.3 實戰:收集係統日誌並上傳到分布式文件係統(HDFS)上72
3.3 HBase——分布式數據庫74
3.3.1 背景概述74
3.3.2 存儲架構介紹75
3.3.3 安裝與基本使用75
3.3.4 實戰:對HBase業務錶進行增、刪、改、查操作79
3.4 Zeppelin——數據集分析工具85
3.4.1 背景概述85
3.4.2 安裝與基本使用85
3.4.3 實戰:使用解釋器操作不同的數據處理引擎88
3.5 Drill——低延時SQL查詢引擎92
3.5.1 背景概述93
3.5.2 安裝與基本使用93
3.5.3 實戰:對分布式文件係統(HDFS)使用SQL進行查詢95
3.5.4 實戰:使用SQL查詢HBase數據庫99
3.5.5 實戰:對數據倉庫(Hive)使用類實時統計、查詢操作101
3.6 Spark——實時流數據計算104
3.6.1 背景概述104
3.6.2 安裝部署及使用105
3.6.3 實戰:對接Kafka消息數據,消費、計算及落地108
3.7 小結114
D4章 Hive編程——使用SQL提交MapReduce任務到Hadoop集群115
D5章 遊戲玩傢的用戶行為分析——特徵提取144
D6章 Hadoop平颱管理與維護175
D7章 Hadoop異常處理解決方案204
D8章 初識Hadoop核心源碼224
D9章 Hadoop通信機製和內部協議248
評分
評分
評分
評分
評分
評分
評分
評分
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.tinynews.org All Rights Reserved. 静思书屋 版权所有