編輯推薦
內容新穎,可操作性強,層層深入,簡明易懂。從實用角度齣發,重點培養動手解決問題的能力。
提供體係完整的100學時在綫實驗,即學即練,書網結閤。
96個案例實戰(課程配套案例36個、擴展案例60個)和50餘套自測題,附贈PPT課件、案例源代碼、視頻等資源。
內容簡介
本書是一本Hadoop學習入門參考書,全書共11章,分為基礎篇和提高篇兩部分。基礎篇包括第1~6章,具體包括Hadoop概述、Hadoop基礎環境配置、分布式存儲HDFS、計算係統MapReduce、計算模型Yarn、數據雲盤。提高篇包括第7~11章,具體包括協調係統Zookeeper、Hadoop數據庫Hbase、Hadoop數據倉庫Hive、Hadoop數據采集Flume、OTA離綫數據分析平颱。全書內容結構閤理,知識點全麵,講解詳細,重點難點突齣。
本書適閤作為院校計算機及相關專業大數據課程的教材,也可供學習者自學參考。
作者簡介
時允田,IT教育培訓高級講師,現任西普教育教研部經理。先後就職清華同方、SK、森縱艾德、八維教育和西普教育等機構,擔任中北大學、南京大學、大連理工軟件學院等多所高校外聘企業講師。擁有十餘年的IT從業和教育培訓經驗,精通Java、Android、HTML5、大數據等技術。
林雪綱,博士,CCF理事,現任北京西普陽光教育科技股份有限公司常務副總裁。十餘年信息安全及教育培訓行業經驗,具有豐富的信息安全和數據領域大型項目谘詢、管理及教學培訓經驗。精通網絡安全、安全架構及技術管理、大數據分析,領導參與多個安全平颱研發、數字城市解決方案、移動互聯網平颱開發項目。
目錄
基礎篇
第1章 Hadoop概述 1
1.1 Hadoop簡介 1
1.2 Hadoop相關項目 2
1.3 Hadoop來源 3
1.4 Hadoop的發展史 4
1.5 Hadoop特點 5
1.6 Hadoop體係架構 6
1.6.1 HDFS體係結構 7
1.6.2 MapReduce體係結構 7
本章小結 8
習題 8
第2章 Hadoop基礎環境配置 9
2.1 準備Linux環境 9
2.1.1 安裝VMware12虛擬機 9
2.1.2 部署CentOS 64位操作係統 11
2.2 Linux配置 16
2.2.1 什麼是Linux 16
2.2.2 Linux發行版 16
2.2.3 配置網絡 16
2.2.4 Linux終端 17
2.3 Hadoop環境搭建 21
2.3.1 JDK安裝和測試 21
2.3.2 Hadoop安裝和配置 25
2.3.3 SSH免密碼配置 31
本章小結 33
習題 34
第3章 分布式存儲HDFS 35
3.1 HDFS概念 35
3.1.1 HDFS簡介 35
3.1.2 HDFS設計思路和理念 35
3.2 HDFS體係結構 36
3.3 HDFS文件存儲機製 36
3.4 HDFS Shell介紹 39
3.4.1 命令格式 39
3.4.2 HDFS用戶命令 40
3.4.3 HDFS管理員命令 40
3.5 Hadoop項目創建 47
3.6 RPC通信原理 53
3.6.1 什麼是Hadoop的RPC 53
3.6.2 RPC采用的模式 53
3.7 分布式文件係統操作類 59
本章小結 69
習題 69
第4章 計算係統MapReduce 70
4.1 MapReduce概念 70
4.1.1 MapReduce簡介 70
4.1.2 MapReduce 數據類型與格式 71
4.1.3 數據類型Writable接口 71
4.1.4 Hadoop序列化機製 72
4.2 MapReduce架構 72
4.2.1 數據分片 72
4.2.2 MapReduce執行過程 73
4.2.3 Mapper執行過程 73
4.2.4 Reducer執行過程 74
4.2.5 Shuffle過程 75
4.3 第一個MapReduce案例 75
4.4 MapReduce接口類 79
4.4.1 MapReduce輸入的處理類 79
4.4.2 MapReduce輸齣的處理類 80
本章小結 87
習題 87
第5章 計算模型Yarn 88
5.1 Yarn概述 88
5.1.1 Yarn簡介 88
5.1.2 Yarn的組成 89
5.2 Yarn的執行過程 89
5.3 新舊MapReduce的對比 90
本章小結 101
習題 101
第6章 數據雲盤 102
6.1 項目概述 102
6.2 功能需求 102
6.3 軟件開發需求 102
6.4 效果展示 103
6.5 係統開發 104
本章小結 125
習題 125
提高篇
第7章 協調係統Zookeeper 126
7.1 Zookeeper概述 126
7.1.1 Zookeeper簡介 126
7.1.2 Zookeeper數據模型 127
7.1.3 Zookeeper特徵 127
7.1.4 Zookeeper工作原理 128
7.2 Zookeeper術語 129
7.2.1 節點 129
7.2.2 角色 129
7.2.3 順序號 129
7.2.4 觀察 129
7.2.5 Leader選舉 129
7.3 事件 130
7.4 Zookeeper Shell操作 130
7.4.1 Zookeeper服務命令 130
7.4.2 Zookeeper客戶端命令 134
7.5 Zookeeper API操作 137
本章小結 156
習題 156
第8章 Hadoop數據庫Hbase 157
8.1 Hbase概述 157
8.1.1 Hbase簡介 157
8.1.2 Hbase優勢和特點 158
8.1.3 Hbase專業術語 158
8.2 Hbase架構 158
8.2.1 角色 159
8.2.2 Hbase物理存儲和邏輯視圖 160
8.3 Hbase Shell操作 163
8.4 Hbase API操作 168
8.5 Hbase 過濾器 182
8.5.1 過濾器的含義 182
8.5.2 過濾器的比較操作符 182
8.5.3 過濾器的比較器 183
本章小結 193
習題 193
第9章 Hadoop數據倉庫Hive 194
9.1 Hive概述 194
9.1.1 Hive簡介 194
9.1.2 Hive數據類型 194
9.1.3 Hive Metastore 195
9.1.4 Hive存儲和壓縮 195
9.1.5 Hive與傳統數據庫對比 195
9.2 Hive的係統架構 196
9.3 Hive的數據模型 200
9.3.1 內部錶 200
9.3.2 外部錶 200
9.3.3 分區錶 201
9.3.4 桶錶 201
9.4 Hive Shell操作 201
9.5 Hive API操作 208
9.6 Hive內置函數和UDF 215
9.6.1 內置函數 215
9.6.2 UDF函數 215
本章小結 222
習題 222
第10章 Hadoop數據采集Flume 223
10.1 Flume概述 223
10.1.1 Flume簡介 223
10.1.2 Flume核心概念 223
10.1.3 Flume 係統要求 224
10.2 Flume架構 224
10.3 Flume常見操作命令 225
10.4 Flume環境搭建 226
10.4.1 設置一個Agent 226
10.4.2 啓動Agent 226
本章小結 231
習題 231
第11章 OTA離綫數據分析平颱 232
11.1 項目概述 232
11.2 功能需求 233
11.3 軟件開發關鍵技術 233
11.4 效果展示 233
11.5 平颱搭建與測試 233
11.5.1 配置ssh免密碼登錄 233
11.5.2 配置JDK 234
11.5.3 配置Hadoop 236
11.5.4 配置Hive 242
11.6 數據收集 247
11.6.1 解壓Flume 247
11.6.2 修改配置文件 248
11.6.3 啓動Flume 248
11.6.4 校驗數據 248
11.7 數據分析 249
11.7.1 數據清洗 249
11.7.2 ETL編程 256
11.7.3 業務分析 261
11.7.4 配置Sqoop 264
11.7.5 從HDFS導齣數據至MySQL 267
11.8 數據展示 268
11.8.1 搭建Web開發環境 268
11.8.2 添加代碼 272
11.8.3 項目結構 282
11.8.4 啓動Tomcat 283
11.8.5 訪問Web頁麵 283
本章小結 283
習題 284
Hadoop大數據開發案例教程與項目實戰(在綫實驗+在綫自測) epub pdf mobi txt 電子書 下載 2024
Hadoop大數據開發案例教程與項目實戰(在綫實驗+在綫自測) 下載 epub mobi pdf txt 電子書