Spark GraphX实战 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

[美] Michael，S.，Malak（迈克尔，S.，马拉克） ... 著，时金魁 译

图书标签:

• GraphX
• Spark
• 图计算
• 数据分析
• 大数据
• Scala
• 算法
• 机器学习
• 社交网络
• 图数据库

出版社： 电子工业出版社

ISBN：9787121310430

版次：1

商品编码：12155312

品牌：Broadview

包装：平装

开本：16开

出版时间：2017-03-01

用纸：胶版纸

页数：300

字数：355000

正文语种：中文

产品特色

编辑推荐

适读人群 ：本书面向对图计算感兴趣的读者，旨在帮助读者掌握Spark GraphX的相关知识及其应用。

√ 描绘了图计算应用场景，用实例教你如何交互式使用GraphX

√ 清晰介绍如何从常规数据构建大图及用图算法和图架构解决问题

√ 了解用于增强应用的图技术及如何将机器学习算法应用于图数据

√ GraphX API|为大图开发图算法|用于图的机器学习算法|图的可视化

内容简介

　　本书是一本Spark GraphX入门书籍。前5章为基础内容，即使读者对Spark、GraphX、Scala不熟悉，也能快速上手；后5章为图计算进阶，主要是图算法和机器学习算法的相关内容。专门讲图计算的书很少，本书在第2、3、4章介绍了图的基础知识、GraphX基础知识、GraphX内置的图算法。第6章到第10章，主要介绍了GraphX之外的图算法、机器学习、图工具、GraphX监控和优化、GraphX的能力增强等实用技能。第9章和第10章主要介绍性能调优和监控，主要面向生产环境，有不少可以借鉴的技巧。

　　本书面向对图计算感兴趣的读者，旨在帮助读者掌握Spark GraphX的相关知识及其应用。

作者简介

　　书作译者文字水平较高，行文流畅，且工作在编程第一线，拥有扎实的理论基础和实践经验，相信会为读者奉上一本质量上乘的图书。

　　Michael Malak一直从事软件开发工作，自 2013年年初以来他一直用 Spark为财富 200强的公司做开发工作，经常进行演示和分享，特别是在科罗拉多州他住的丹佛 /博尔德地区。他的个人技术博客的地址是 http://technicaltidbit.com。

　　Robin East在一些大型企业曾担任过 15年以上的顾问，在金融、政府、医疗保健和公共事业领域提供大数据和智能解决方案。他是 Worldpay的数据科学家，帮助公司实现把数据用于核心业务上。可以在这里看到他在 Spark、GraphX和机器学习方面的作品： https://mlspeed.wordpress.com。

目录

目录

序言 ．．．．．．．．．．．．．．．XI

致谢 ．．．．．．．．．．．．．XIII

关于本书 ．．．．． XIV

关于封面插图．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． XVIII

第1部分　Spark和图
１　两项重要的技术：Spark和图 ．．．．．．．． 3

1．1　Spark：超越Hadoop MapReduce ．．． 4

1．1．1　模糊的大数据定义 ．．．．．．．．．．．．． 6

1．1．2　Hadoop：Spark之前的世界 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 6

1．1．3　Spark：内存中的 MapReduce处理 ．．．．．．．．．．．．．．．．．．．．．．． 7

1．2　图：挖掘关系中的含义 ．．．．．．．．．．．．．．．．． 9

1．2．1　图的应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 11

1．2．2　图数据的类型 ．．．．．．．．．．．．．．．．．．． 12

1．2．3　普通的关系型数据库在图方面的不足 ．．．．．．．．．．．．．．．． 14

1．3　把快如闪电的图处理放到一起：Spark GraphX ．．．．．．．．．．．．． 14

1．3．1　图的属性：增加丰富性 ．．． 15

1．3．2　图的分区：当图变为大数据集时 ．．．．．．．．．．．．．．．．．．．．．．．． 17

1．3．3　GraphX允许选择：图并行还是数据并行 ．．．．．．．．．． 19

1．3．4　GraphX支持的各种数据处理方式 ．．．．．．．．．．．．．．．．．．．．．． 19

1．3．5　GraphX与其他图系统 ．．．．． 21

1．3．6　图存储：分布式文件存储与图数据库 ．．．．．．．．．．．．．．．． 23

1．4　小结 ．．．．．．．．．． 23

2　GraphX快速入门 ．．．．．．．．．．．．．．．．．．．．．．．．．． 24

2．1　准备开始并准备数据 ．．．．．．．．．．．．．．．．．．． 24

2．2　用Spark Shell做GraphX交互式查询 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 26

2．3　PageRank算法示例 ．．．．．．．．．．．．．．．．．．．．．．． 29

2．4　小结 ．．．．．．．．．． 31

3　基础知识．． 32

3．1　Scala―Spark的原生编程语言 ． 33

3．1．1　Scala的理念：简洁和表现力 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 33

3．1．2　函数式编程 ．．．．．．．．．．．．．．．．．．．．．．． 34

3．1．3　类型推断 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 38

3．1．4　类的声明 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 39

3．1．5　map和 reduce ．．．．．．．．．．．．．．．．．．． 41

3．1．6　一切皆是“函数” ．．．．．．．．．．．．． 42

3．1．7　与 Java的互操作性 ．．．．．．．．．． 44

3．2　Spark ．．．．．．．．． 44

3．2．1　分布式内存数据： RDD ．． 44

3．2．2　延迟求值 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 47

3．2．3　集群要求和术语解释 ．．．．．．． 49

3．2．4　序列化 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 50

3．2．5　常用的 RDD操作 ．．．．．．．．．．．． 50

3．2．6　Spark和 SBT初步 ．．．．．．．．．．． 54

3．3　图术语解释 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 55

3．3．1　基础 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 55

3．3．2　RDF图和属性图 ．．．．．．．．．．．．．． 58

3．3．3　邻接矩阵 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 59

3．3．4　图查询系统 ．．．．．．．．．．．．．．．．．．．．．．． 59

3．4　小结 ．．．．．．．．．． 60

第2部分　连接顶点
４　GraphX 基础 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 65

4．1　顶点对象与边对象 ．．．．．．．．．．．．．．．．．．．．．．． 65

4．2　mapping操作 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 71

4．2．1　简单的图转换 ．．．．．．．．．．．．．．．．．．． 71

4．2．2　Map/Reduce ．．．．．．．．．．．．．．．．．．．．．． 73

4．2．3　迭代的 Map/Reduce ．．．．．．．．． 77

4．3　序列化/反序列化 ．．．．．．．．．．．．．．．．．．．．．．．．．． 79

4．3．1　读 /写二进制格式的数据 79

4．3．2　JSON格式 ．．．．．．．．．．．．．．．．．．．．．．．． 81

4．3．3　Gephi可视化软件的 GEXF格式 ．．．．．．．．．．．．．．．．．．．．．．．．． 85

4．4　图生成 ．．．．．． 86

4．4．1　确定的图 ．．．．．．．．．．．．．．．．．．．．．．．．．．． 86

4．4．2　随机图 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 88

4．5　Pregel API ． 90

4．6　小结 ．．．．．．．．．． 96

5　内置图算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 97

5．1　找出重要的图节点：网页排名 ．．． 98

5．1．1　PageRank算法解释 ．．．．．．．．．． 98

5．1．2　在 GraphX中使用 PageRank ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 99

5．1．3　个性化的 PageRank ．．．．．．．． 102

5．2　衡量连通性：三角形数 ．．．．．．．．．．．．． 103

5．2．1　三角形关系的用法 ．．．．．．．．． 103

5．2．2　Slashdot朋友和反对者的用户关系示例 ．．．．．．．．．．． 104

5．3　查找最少的跳跃：最短路径 ．．．．． 106

5．4　找到孤岛人群：连通组件 ．．．．．．．．． 107

5．4．1　预测社交圈子 ．．．．．．．．．．．．．．．．． 108

5．5　受欢迎的回馈：增强连通组件 ． 114

5．6　社区发现算法：标签传播 ．．．．．．．．． 115

5．7　小结 ．．．．．．．． 117

6　其他有用的图算法 ．．．．．．．．．．．．．．．．．．．．．．．118

6．1　你自己的GPS：有权值的最短路径 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 119

6．2　旅行推销员问题：贪心算法 ．．．．． 124

6．3　路径规划工具：最小生成树 ．．．．． 127

6．3．1　基于 Word2Vec的推导分类法和最小生成树 ．．． 131

6．4　小结 ．．．．．．．． 135

7　机器学习 136

7．1　监督、无监督、半监督学习 ．．．．． 137

7．2　影片推荐： SVDPlusPlus．．．．．．．．．．． 139

7．2．1　公式解释 ．．．．．．．．．．．．．．．．．．．．．．．．． 146

7．3　在MLlib中使用GraphX ．．．．．．．．．．．．．． 146

7．3．1　主题聚类：隐含狄利克雷分布 ．．．．．．．．．．．．．．．．．．．．．．．．．． 147

7．3．2　垃圾信息检测： LogisticRegressionWithSGD ．．． 156

7．3．3　使用幂迭代聚类进行图像分割（计算机视觉） 160

7．4　穷人（简化版）的训练数据：基于图的半监督学习 ．． 165

7．4．1　K近邻图构建 ．．．．．．．．．．．．．．．．． 168

7．4．2　半监督学习标签传播算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 175

7．5　小结 ．．．．．．．． 180

第3部分　更多内容
8　缺失的算法 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 183

8．1　缺失的基本图操作 ．．．．．．．．．．．．．．．．．．．．． 184

8．1．1　通用意义上的子图 ．．．．．．．．． 184

8．1．2　图合并 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 185

8．2　读取RDF图文件 ．．．．．．．．．．．．．．．．．．．．．．．．．． 189

8．2．1　顶点匹配以及图构建 ．．．．． 189

8．2．2　使用 IndexedRDD和 RDD HashMap来提升性能．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 191

8．3　穷人（简化版）的图同构：找到Wikipedia缺失的信息 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 197

8．4　全局聚类系数：连通性比较 ．．．．． 202

8．5　小结 ．．．．．．．． 205

9　性能和监控 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 207

9．1　监控Spark应用 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 208

9．1．1　Spark如何运行应用 ．．．．．． 208

9．1．2　用 Spark监控来了解你的应用的运行时信息 ．． 211

9．1．3　history server ．．．．．．．．．．．．．．．．．．． 221

9．2　Spark配置 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 223

9．2．1　充分利用全部 CPU资源 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 226

9．3　Spark性能调优 ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 227

9．3．1　用缓存和持久化来加速 Spark ．．．．．．．．．．．．．．．．．．．．．．．．．．． 227

9．3．2　checkpointing ．．．．．．．．．．．．．．．．．． 230

9．3．3　通过序列化降低内存压力 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 232

9．4　图分区 ．．．． 233

9．5　小结 ．．．．．．．． 235

10　更多语言以及工具 ．．．．．．．．．．．．．．．．．．．． 237

10．1　在GraphX中使用除Scala外的其他语言 ．．．．．．．．．．．．．．．．．．．．．．． 238

10．1．1　在 GraphX中使用 Java 7 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 238

10．1．2　在 GraphX中使用 Java 8 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 245

10．1．3　未来 GraphX是否会支持 Python或者 R ．．．．．． 245

10．2　其他可视化工具：Apache Zeppelin 和 d3．js ．．．．．．．．．．．．．．． 245

10．3　类似一个数据库：Spark Job Server ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 248

10．3．1　示例：查询 Slashdot好友的分离程度 ．．．．．．．．．． 250

10．3．2　更多使用 Spark Job Server的例子 ．．．．．．．．．．．．．．．．． 253

10．4　通过GraphFrames在Spark的图上使用SQL ．．．．．．．．．．．．．．．．．． 254

10．4．1　GraphFrames和 GraphX的互操作性 ．．．．．．．．．．．． 255

10．4．2　使用 SQL进行便捷、高性能的操作．．．．．．．．．．．．． 257

10．4．3　使用 Cypher语言的子集来进行顶点搜索 ．．．． 258

10．4．4　稍微复杂一些的 YAGO图同构搜索 ．．．．．．．．．．．．． 260

10．5　小结 ．．．．．． 264

附录A　安装Spark ．．．．．．．．．．．．．．．．．．．．．．．．．．． 266

附录B　Gephi可视化软件 ．．．．．．．．．．．．．．．． 271

附录C　更多资源 ．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 275

附录D　本书中的Scala小贴士 ．．．．．．．．． 278

前言/序言

　　序言
　　图（Graph）是什么？图是由边和顶点组成的，不是由坐标轴和刻度构成的。在 Spark中是如何使用图的？这就是本书将要回答的问题。
　　常常说，“图可以做任何事情”，或者“有很多不同的事情可以用图来实现”。当然了，这两种说法等于什么也没说。所以在本书中我们展示了一些具体的、实际的图应用，以及探讨如何用 Spark GraphX实现这些图应用。
　　本书中有许多专业术语：大数据、 Hadoop、Spark、图、机器学习、 Scala和函数式编程，这些内容本书都会一一讲解。本书会涉及技术的高级部分，但不会涉及编程能力的每个方面，如 Java编程。
　　下图是 Google在趋势上的统计，展示了这些专业术语在 2016年之前的受欢迎程度。
　　Big Data
　　Hadoop
　　Machine learning
　　Apache Spark Edges and vertices
　　2005 2007 2009 2011 2013 2015
　　注意，通常用 Spark和图作为规范的通用术语，而不是 Apache Spark和 Edges and vertices，趋势上后者已明显被取代。机器学习和图，在计算机科学中有悠久的历史，现在作为主流的大数据技术，在商业领域又引起了新的潮流。如果你在学校学习过这些技术的理论知识，那么现在准备实践一下这些技术吧。
　　许多我们正在或曾经工作过的公司，已经把 Spark用在生产环境中了，尽管不一定用了 GraphX。当尝试用 GraphX做一些图解决方案的原型时，会很方便。如果你已经有了一个 Spark集群或者决定用云平台上的 Spark集群（例如 Databricks或 Amazon），那么无须重新搭建一个新的特定于图计算的集群，并且你可以在 GraphX API中使用已有的 Spark技能。现在越来越多的图应用为大家所熟知，从根据 Twitter数据发掘出恐怖分子网络到根据信用卡交易数据发现欺诈行为， GraphX已成为一个快速尝试这些图算法场景的易于使用的平台。
　　本书有两个明确目标：一是全面覆盖 Spark GraphX的方方面面；二是以读者在前面提到的大数据和图计算方面没有任何专业知识为假定前提。写这本书最大的挑战是要有许多技术储备，特别是 Spark、Scala和图；了解大量的 GraphX API以及图的不同用法也是不小的挑战。面对这种情形，本书就需要与其他技术书籍略有不同：首先要花点时间入门，前 5章主要讲解的就是基础内容；本书还有大量有趣的实例，可以跟着一步步练习。本书中涉及的其他技术，读者需要另做学习，本书将努力做到让读者并不需要有过多背景知识和经验，就可以浅显易懂地了解图所能解决的问题。
　　致谢
　　感谢 Manning出版社许多工作人员对本书出版所做的努力，特别需要感谢三个人，他们的诸多指导使本书可以较好地完成。 Marina Michaels，我们的开发编辑，从一开始就指出有些章节有很大的技术问题，这些问题大都是 Spark和图计算的新问题。Michael Roberts，我们的技术开发编辑，在本书的制作过程中，与 Marina一样，他给出了大量的建议。 Antonio Magnaghi，我们的技术校对，不但对本书的示例代码进行了严谨的核对，还编辑校对了本书的文本内容。
　　同时也感谢本书草稿时期给出诸多有价值建议的读者，他们是 Andy Petrella， Brent Foust，Charles Feduke，Gaurav Bhardwaj，Jason Kolter，Justin Fister，Michael Bright，Paul-Michael Sorhaindo，Rodrigo Abreu，Romi Kuntsman，Sumit Pal， Vincent Liard。
　　作者 Michael Malak感谢妻子和孩子在这几个月写作期间给予的耐心支持。
　　作者 Robin East感谢妻子和两个儿子，他们容忍和支持了作者长时间的写作以及在楼上偶尔消失。
　　关于本书
　　通过学习本书，希望能降低难懂的图学习门槛，了解如何在市场份额最大的分布式计算框架 Apache Spark中开发图应用。
　　本书的读者对象
　　我们假定本书的读者并不熟悉 Spark、Scala和图相关的知识，本书会快速学习前面提到的这些知识，会特别侧重于 Scala。在第 3章有 Scala的简要介绍，全书中只要出现新的 Scala知识点都会有 Scala小贴士做详细介绍（完整的列表见附录 D）。实际上，本书通过第 3章、Scala小贴士和附录对 Scala做了较全面的介绍。
　　另外，虽然在大学的图论课程中数学证明很常见，但本书完全不做数学证明。本书的目标是图算法和图应用，有时会应需介绍图相关的术语。
　　本书使用的是 Spark/GraphX 1.6版本。
　　我们假定读者在 Java语言编程方面有一些经验，而在图方面要求不多，但通过书中插图能自然地知道这些图应用。
　　本书的内容组织
　　本书分为 3个部分。第 1部分有 3章，主要介绍使用 Spark GraphX的准备知识。第 2部分有 4章，主要介绍如何使用 GraphX。第 3部分有 3章，主要介绍 GraphX的进阶知识。也可以将本书分为两部分，前 5章为准备知识和 GraphX的基本 API，后 5章为 GraphX应用。
　　下面是各章的内容提要。
　　. 第 1章介绍了什么是大数据、 Spark和图， Spark GraphX如何处理数据流。第 1章是一本迷你书，篇幅不长但内容涉及面较广。
　　. 第 2章简单示范了如何使用 GraphX，无须具有 GraphX经验。
　　. 第 3章介绍了 Spark、Scala和图的基础知识。
　　. 第 4章介绍了 Spark GraphX的基础操作，以及如何使用 GraphX的两个主要算法： Map/Reduce和 Pregel。
　　. 第 5章演示了如何使用 GraphX的诸多内置算法。
　　. 第 6章介绍了 GraphX API之外的内容，即 20世纪中期经典的图算法，并用 GraphX实现了这些算法。
　　. 第 7章重点讲机器学习。机器学习的内容本身就够讲一本书的，这里没有讲解太多机器学习的基础知识和经验，而是直接介绍监督学习、无监督学习和半监督学习的高级实例。
　　. 第 8章展示了 GraphX如何完成一些自定义操作，有可能会构建一个图处理库：读 RDF文件、图的合并、图查找和计算全局聚类系数。
　　. 第 9章介绍了如何监控性能以及查看正在执行的 GraphX应用程序，如何利用缓存、checkpointing和序列化调优做性能调优。
　　. 第 10章介绍了在 GraphX中如何使用 Scala之外的语言（强烈建议不要这么做），以及如何使用一些工具来补充 GraphX的不足。展示了用 GraphX在 Apache Zeppelin的交互式命令行 notebook上对图进行可视化。第三方的工具 Spark JobServer可以让 GraphX从单纯的批处理系统转变成一个在线图数据库。最后，介绍了 Github上的一个项目—GraphFrames（GraphX的开发者开发的），它用 Spark SQL DataFrames而非 RDD提供了一种方便和高性能的图查询方式。
　　另外，本书包含 4个附录。附录 A介绍了 Spark的安装方法，附录 B简要介绍了 Gephi可视化软件，附录 C包含关于 GraphX的在线资料以及如何跟上社区最新进展，附录 D中列出了本书中的 Scala小贴士。如果你在 Spark、Scala或图方面是新手，通过前 5章的阅读，能力可以得到提升。然后，就可以选择性地阅读后面 5章的内容了。如果你对 Spark、Scala和图的知识已经比较精通，但对 GraphX还不熟悉，那么可以跳过前 3章甚至前 5章的内容直接阅读后面的内容。
　　关于本书中的代码
　　本书中的源代码可以在博文视点官方网站上下载，地址为 https:// www. broadview.com.cn。这本书中的大部分代码是可以在交互式的 Spark Shell中执行的。从技术上来讲， Scala扩展是一个误称，因为这些文件不能用 scalac编译器进行编译。要想让这些实例代码方便地编译和执行，可以用 Maven的 pom.xml或 SBT的 .sbt文件完成。本书中的源代码实例，有带编号的列表，也有普通的文本，这两类源代码都用了等宽字体以便与普通的正文区分开来。
　　一般情况下，源码都会被格式化，我们添加了换行符，也修改了缩进以便适应本书的页面大小，甚至在代码清单中添加了续行符（ .）。另外，如果正文中对代码有解释，源码中的注释会被删掉。代码注释会附带许多列表，以突出重要的概念。
　　本书的示例代码也可以从如上的出版社网站上下载。
　　关于作者
　　Michael Malak一直从事软件开发工作，自 2013年年初以来他一直用 Spark为财富 200强的公司做开发工作，经常进行演示和分享，特别是在科罗拉多州他住的丹佛 /博尔德地区。他的个人技术博客的地址是 http://technicaltidbit.com。
　　Robin East在一些大型企业曾担任过 15年以上的顾问，在金融、政府、医疗保健和公共事业领域提供大数据和智能解决方案。他是 Worldpay的数据科学家，帮助公司实现把数据用于核心业务上。可以在这里看到他在 Spark、GraphX和机器学习方面的作品： https://mlspeed.wordpress.com。
　　配套服务
　　轻松注册成为博文视点社区用户（www.broadview.com.cn），即可享受以下服务：下载资源：本书所提供的示例代码及资源文件均可在“下载资源”处下载。提交勘误：您对书中内容的修改意见可在“提交勘误”处提交，若被采

《大数据图计算与分析：原理、技术与应用》 一、 内容概述 本书深度剖析了大数据背景下的图计算与分析技术，旨在为读者提供一个全面、系统且实用的学习框架。内容涵盖了图数据模型、图算法原理、分布式图计算框架的选择与实践，以及图计算在实际业务场景中的应用落地。本书不仅关注理论的严谨性，更注重技术的落地性，通过丰富的案例和代码示例，引导读者掌握图计算的核心技能。 第一部分：大数据图计算基础 第一章：图的本质与数据表示 1.1 图的起源与演进 从数学上的图论概念起源，到网络科学的兴起，再到互联网、社交网络、知识图谱等现实世界中图结构的普遍存在，回顾图概念在不同领域的发展历程。 探讨图数据在信息技术领域扮演的关键角色，以及其在描述关系、连接实体方面的独特优势。 1.2 图的基本概念与术语 详细介绍节点（顶点）、边（关系）、度、路径、连通分量、子图、同构等图论中的基本概念。 区分有向图与无向图、加权图与非加权图、简单图与多重图等不同类型的图。 介绍图表示的常用术语，如邻接矩阵、邻接表、逆邻接表等，并分析它们的优劣及适用场景。 1.3 图数据的存储与组织 探讨图数据在不同存储系统中的表现形式，包括关系型数据库中的图表示（如属性图的嵌套模型）、NoSQL数据库（键值存储、文档数据库、列族数据库）的图存储策略。 深入介绍专门的图数据库（如Neo4j、JanusGraph、Nebula Graph）的存储模型、数据模型（如属性图模型Property Graph Model）及其设计理念。 分析不同存储方式在读写性能、扩展性、查询复杂度等方面的权衡。 1.4 图数据分析的挑战与机遇 阐述大数据环境下图数据分析所面临的挑战，如数据规模巨大、结构复杂、关系稠密、计算密集型任务等。 分析图计算在解决传统数据分析方法难以处理的问题中的机遇，如社区发现、路径查找、中心性分析、链接预测等。 展望图计算在未来大数据分析中的重要地位和发展趋势。 第二章：核心图算法原理与应用 2.1 节点度中心性与影响力分析 详细介绍度中心性（Degree Centrality）、接近中心性（Closeness Centrality）、介数中心性（Betweenness Centrality）等概念。 解释这些指标如何量化节点在图中的重要性，并阐述其在社交网络分析、信息传播、交通网络优化等领域的应用。 举例说明如何计算这些中心性指标，并分析其计算复杂度。 2.2 PageRank与链接分析 深入剖析PageRank算法的原理，包括其核心思想、迭代计算过程、阻尼因子（Damping Factor）的作用。 讨论PageRank在网页排名、推荐系统、学术论文引用分析等方面的成功应用。 分析PageRank算法的变种及其在不同场景下的优化。 2.3 社区发现算法 介绍社区（Community）在图结构中的定义，以及社区发现的重要意义。 深入讲解基于模块度（Modularity）的优化算法（如Louvain算法、Fast Newman算法），以及基于随机游走（Random Walk）的算法（如Label Propagation）。 探讨社群发现算法在社交网络分析、生物信息学、营销细分等领域的应用。 2.4 路径查找算法 回顾经典的单源最短路径算法，如Dijkstra算法，并分析其在有权图中的应用。 介绍多源最短路径算法，如Floyd-Warshall算法，并讨论其在计算所有节点对之间最短路径时的性能。 探讨在社交网络中查找“六度分隔”等路径问题的实际意义。 2.5 链接预测与图嵌入 解释链接预测（Link Prediction）的目标，即预测未来可能出现的连接。 介绍基于相似度的链接预测方法，如Jaccard系数、Adamic-Adar指数等。 引入图嵌入（Graph Embedding）的概念，解释如何将图结构信息映射到低维向量空间。 探讨图嵌入技术在推荐系统、节点分类、关系抽取等方面的应用。 第二部分：分布式图计算框架与实践 第三章：分布式图计算模型与原理 3.1 顶点中心模型（Pregel Model） 详细介绍Pregel模型的核心思想：将图计算视为一系列“超步”（Supersteps）的迭代过程。 解释顶点在超步中扮演的角色：接收消息（Messages）、发送消息、更新自身状态（Value）以及是否继续参与下一轮迭代（Halt）。 分析Pregel模型如何实现分布式计算，以及其在处理大规模图数据时的优势。 3.2 BSP（Bulk Synchronous Parallel）模型 介绍BSP模型作为一种更通用的并行计算模型，其同步阶段（Superstep）和通信阶段的划分。 分析Pregel模型如何建立在BSP模型之上，以及BSP模型在其他并行计算任务中的应用。 讨论BSP模型在处理不同类型计算任务时的灵活性。 3.3 分布式图计算的挑战 数据划分与负载均衡： 如何将大型图数据合理地分布到多个计算节点上，并避免某些节点计算压力过大。 通信开销： 在分布式环境中，节点间通信的延迟和带宽是性能瓶颈，讨论如何优化通信模式。 故障容错： 在大规模分布式系统中，节点故障是常态，如何保证计算的健壮性。 内存管理： 大规模图数据往往无法完全加载到单个节点的内存中，如何进行有效的内存管理和磁盘I/O优化。 第四章：主流分布式图计算框架详解 4.1 Apache Giraph 介绍Giraph作为Apache Hadoop生态系统中最早的Pregel实现之一。 阐述Giraph的核心架构、API设计（Vertex、Message、Superstep）。 演示如何使用Giraph实现PageRank、BFS等经典图算法。 讨论Giraph在Hadoop集群上的部署与配置，以及其优缺点。 4.2 Apache GraphX（本章重点，但简介不详述具体内容，而是介绍其定位） （注意：本简介不深入介绍GraphX的具体API和源码，而是侧重其在整个图计算领域的定位和价值） GraphX是Apache Spark生态系统中的一个图计算框架，它集成了图处理和图分析功能。GraphX将图视为一个由顶点（Vertices）和边（Edges）组成的RDD（Resilient Distributed Dataset），并提供了丰富的图操作API。其核心优势在于能够与Spark的DataFrame和Spark SQL无缝集成，实现图数据与其他结构化数据的统一处理。GraphX支持高效的图构建、图转换、图算法执行，以及提供用于图分析的API。它旨在简化大规模图数据的处理和分析，支持多种图计算算法，如PageRank、连通组件、最短路径等。 4.3 更多分布式图计算框架（简述） GraphLab/Turi Create： 介绍其以数据并行和任务并行相结合的图计算模型，以及在机器学习领域的应用。 PowerGraph： 讨论其数据驱动的图计算模型，以及在超大规模图上的性能表现。 GNNs（图神经网络）框架： 简述DGL、PyTorch Geometric等框架，以及它们在深度学习驱动的图分析中的兴起。 第五章：图计算流程与性能优化 5.1 图计算任务的规划与设计 如何根据业务需求选择合适的图数据模型和图算法。 如何进行图数据的预处理和清洗，以提高算法效率。 评估不同图计算框架的适用性。 5.2 分布式图计算的调优技巧 内存与磁盘I/O优化： 调整Spark的shuffle配置、使用本地存储、优化数据序列化格式。 通信效率提升： 减少消息传递的次数和大小，合理使用广播变量。 数据倾斜处理： 识别和解决数据倾斜问题，如对数据进行预聚合或二次分区。 并行度与资源配置： 动态调整Spark作业的并行度，合理分配CPU和内存资源。 5.3 容错与监控 理解分布式图计算框架的容错机制（如Spark的RDD lineage）。 介绍如何通过Spark UI、日志分析等手段监控作业运行状态。 制定应对节点故障的策略。 第三部分：图计算的实际应用 第六章：社交网络分析与应用 6.1 好友推荐与关系发现 利用共同好友、兴趣相似度等信息进行好友推荐。 通过社区发现算法识别用户群体，分析群体间的关系。 6.2 舆情分析与热点追踪 构建微博、论坛等用户关系图，分析信息传播路径。 利用PageRank等算法识别意见领袖（KOL），追踪热点话题的传播范围和影响力。 6.3 欺诈检测与安全防护 识别虚假账户、恶意刷单等欺诈行为，通过图结构分析异常模式。 在金融、电商等领域应用图计算进行风险控制。 第七章：知识图谱构建与应用 7.1 知识图谱概述与构成 介绍知识图谱（Knowledge Graph）的概念、三元组（Subject-Predicate-Object）表示。 讨论知识图谱在现实世界信息整合中的重要性。 7.2 知识图谱的构建技术 从非结构化文本中抽取实体、关系，构建知识图谱。 介绍知识融合、冲突消解等技术。 图计算在知识图谱构建中的作用：如实体对齐、关系抽取等。 7.3 知识图谱的应用场景 智能问答系统、搜索推荐、语义搜索。 金融风控、医疗诊断、智能制造等行业的知识图谱应用。 第八章：其他领域的图计算应用 8.1 推荐系统 构建用户-物品图、物品-物品图，利用图算法实现协同过滤、基于内容的推荐。 介绍图嵌入在推荐系统中的应用。 8.2 交通与物流 构建道路网络图，进行最短路径规划、交通流量预测。 优化物流配送路线，降低运输成本。 8.3 生物信息学 分析蛋白质-蛋白质相互作用网络、基因调控网络。 利用图算法进行疾病研究、药物发现。 8.4 推荐系统 构建用户-物品图、物品-物品图，利用图算法实现协同过滤、基于内容的推荐。 介绍图嵌入在推荐系统中的应用。 8.5 交通与物流 构建道路网络图，进行最短路径规划、交通流量预测。 优化物流配送路线，降低运输成本。 8.6 生物信息学 分析蛋白质-蛋白质相互作用网络、基因调控网络。 利用图算法进行疾病研究、药物发现。 四、 学习目标与读者定位 本书适合大数据工程师、数据科学家、算法工程师、机器学习研究者，以及对图计算和图数据分析感兴趣的技术人员。通过阅读本书，读者将能够： 深刻理解图数据的结构特性及其在现实世界中的普遍性。 掌握主流图算法的原理，并能够分析其适用场景。 熟悉分布式图计算框架的设计理念和工作原理。 掌握使用主流图计算框架进行实际图数据分析的基本方法。 能够针对具体业务问题，设计和实现图计算解决方案。 了解图计算在各行各业的广泛应用，并能够触类旁通。 本书强调理论与实践的结合，通过丰富的代码示例和案例分析，帮助读者将所学知识转化为解决实际问题的能力。 五、 学习方法建议 理论先行，实践跟进： 先理解算法和框架的原理，再通过动手实践加深理解。 由易到难，循序渐进： 从简单的图算法入手，逐步深入到复杂的分布式计算和应用场景。 结合案例，举一反三： 充分利用书中的案例，尝试将其迁移到其他类似场景。 查阅文档，深入探索： 鼓励读者结合官方文档，进一步探索框架的细节和高级功能。 参与社区，交流互助： 加入相关的技术社区，与其他学习者和开发者交流心得，解决遇到的问题。

评分☆☆☆☆☆

作为一名有着多年编程经验的工程师，我对技术书籍的要求很高，不仅要求内容严谨，逻辑清晰，更希望能够学到真正有价值的实践经验。最近我关注到一本名为《Spark GraphX实战》的书，单看书名就让我眼前一亮。我一直对图计算在现代互联网应用中的重要性深感认同，例如社交网络的连接分析、知识图谱的构建、甚至是金融领域的欺诈检测，都离不开强大的图计算能力。 Spark作为当前最流行的大数据处理框架，其GraphX组件无疑是图计算领域的佼佼者。我期望这本书能够深入浅出地介绍GraphX的架构设计，讲解其背后的原理，比如Pregel模型、图的分布式存储和计算方式等等。更重要的是，我非常期待书中能够提供丰富多样的实战案例，涵盖从基础的图算法实现，到更复杂的应用场景，比如利用GraphX进行PageRank计算、社区发现、最短路径查找等。 我希望这本书能够帮助我理解如何将实际业务场景中的数据转化为图模型，并利用GraphX高效地进行分析和挖掘。同时，我也希望能够从中学习到一些性能调优的技巧，让我的图计算任务运行得更快、更稳定。如果这本书能够做到这一点，那将是我在大数据领域的一笔宝贵财富。

评分☆☆☆☆☆

我是一名对数据科学和人工智能充满热情的学生，最近在学习的过程中，接触到了图计算这个概念。我了解到，图数据结构在描述实体之间的关系方面有着天然的优势，而Spark GraphX作为Spark生态系统中专门用于图计算的组件，自然引起了我的高度关注。我一直在寻找一本能够系统地介绍GraphX的教材，希望能够从基础概念入手，逐步深入到实际应用层面。 《Spark GraphX实战》这本书的名字，让我看到了学习GraphX的希望。我设想这本书会从图的基本概念和表示方法开始讲起，然后详细介绍GraphX的API设计，包括VertexRDD、EdgeRDD以及Graph类型，并解释它们是如何在分布式环境下工作的。我特别期待书中能够提供一些经典的图算法的实现示例，例如PageRank、Connected Components、Triangle Counting等，并通过这些示例来展示GraphX的强大功能和灵活性。 此外，我也希望这本书能够引导我理解如何将实际问题抽象成图模型，并利用GraphX来解决这些问题。比如，在社交网络分析中如何找出影响力最大的用户，在推荐系统中如何构建用户-物品图进行个性化推荐等等。如果这本书能够提供这样的实践指导，将对我理解和掌握图计算技术有极大的帮助，为我未来的学习和研究打下坚实的基础。

评分☆☆☆☆☆

对于一个长期从事数据分析和机器学习领域工作的我来说，如何有效地处理和分析节点与节点之间的复杂关系，一直是技术上的一大挑战。近年来，图计算的兴起为解决这类问题提供了新的思路和强大的工具。在众多图计算框架中，Spark GraphX以其分布式计算能力和丰富的API，成为了我重点关注的对象。 我一直渴望找到一本能够提供系统化、深入浅出的GraphX实战指南的书籍。我希望这本书能够带领我从GraphX的基础概念入手，理解其核心组件，例如VertexRDD、EdgeRDD以及Graph的表示方式。我更看重的是，这本书能否提供一系列贴合实际业务场景的案例，让我能够理解如何将现实世界中的数据映射到图模型中，并通过GraphX来解决具体的业务问题。 我非常期待书中能够详细讲解如何实现一些经典的图算法，例如PageRank、社区发现、最短路径等，并深入分析这些算法的工作原理以及在不同场景下的应用。同时，我希望能够从中学习到一些关于GraphX性能优化的策略，例如如何进行数据partitioning、如何选择合适的图算法以及如何监控和调整作业执行过程。如果这本书能够满足这些期望，它将成为我在大数据图计算领域的重要参考。

评分☆☆☆☆☆

最近我一直在探索大数据处理的各个方面，而图计算无疑是其中一个令人兴奋且充满潜力的领域。在接触到Spark生态系统的时候，GraphX这个名字立刻引起了我的兴趣。我了解到，GraphX是Spark提供的用于处理和分析图结构数据的统一API，它能够支持各种图算法的实现，并且在大规模数据集上表现出卓越的性能。 我一直在寻找一本能够真正将GraphX的理论与实践相结合的书籍。我希望这本书能够不仅仅停留在理论概念的层面，而是能够通过详实的代码示例和项目案例，一步步带领读者掌握GraphX的核心技术。例如，我希望能够学习到如何有效地构建和表示图数据，如何使用GraphX提供的API来实现各种图算法，如PageRank、社区发现、最短路径等，并且理解这些算法在实际应用中的价值。 更重要的是，我希望能从书中获得关于如何优化GraphX性能的深入见解。在大规模图计算中，性能是至关重要的考量因素。因此，我期待书中能够讲解一些关于数据 partitioning、computation reordering、以及memory management等方面的优化技巧，让我能够写出更高效、更具扩展性的图处理程序。这本书的出现，让我看到了解决这些问题的希望。

评分☆☆☆☆☆

这本书的封面设计非常有吸引力，深邃的蓝色背景搭配火焰般的橙色“Spark GraphX实战”字样，立刻就点燃了我对图形处理和大数据分析的热情。我是一名初涉大数据领域的开发者，对Spark生态系统的一些核心组件，特别是GraphX，一直充满好奇。我了解到GraphX是Spark中用于大规模图计算的API，它能够高效地处理和分析复杂的图结构数据，这对于我目前正在研究的社交网络分析、推荐系统构建等项目来说，简直是雪中送炭。 我一直在寻找一本能够系统性地讲解GraphX理论基础，并且提供大量实战案例的书籍，能够让我从零开始，一步步掌握图的表示、算法实现以及性能优化等关键技术。这本书的名字正好契合了我的需求，让我觉得它能够填补我在这一知识领域的空白。我相信通过阅读这本书，我不仅能理解GraphX的核心概念，还能学会如何将这些概念应用到实际问题中，解决各种复杂的图数据分析难题。

评分☆☆☆☆☆

不错的书

评分☆☆☆☆☆

东西不错。下回还来买

评分☆☆☆☆☆

凑到买的，纯粹是因为信得过Manning的品牌，希望翻译的没问题

评分☆☆☆☆☆

入门必用，很多实战示例可以学习

评分☆☆☆☆☆

内容浅显易懂，值得收藏，哈哈期待一下学成之后的成果

评分☆☆☆☆☆

刚好十个字你不要数了

评分☆☆☆☆☆

送货很快，好评

评分☆☆☆☆☆

入门必用，很多实战示例可以学习

评分☆☆☆☆☆

先买了，放在家里凉快凉快