【Spark】电子书 - Spark大数据处理：技术、应用与性能优化(全)

书籍封面

书籍目录

前言

第1章 Spark简介

1.1 Spark是什么

1.2 Spark生态系统BDAS

1.3 Spark架构

1.4 Spark分布式架构与单机多核架构的异同

b'xfexffx001x00.x006x00 g,zxe0x0f~xd3'

第2章 Spark集群的安装与部署

2.1 Spark的安装与部署

2.2 Spark集群初试

b'xfexffx002x00.x003x00 g,zxe0x0f~xd3'

第3章 Spark计算模型

3.1 Spark程序模型

3.2 弹性分布式数据集

3.2.1 RDD简介

3.2.2 RDD与分布式共享内存的异同

3.2.3 Spark的数据存储

3.3 Spark算子分类及功能

3.3.1 Value型Transformation算子

3.3.2 Key-Value型Transformation算子

3.3.3 Actions算子

b'xfexffx003x00.x004x00 g,zxe0x0f~xd3'

b'xfexff{,x004zxe0x00 x00Sx00px00ax00rx00k]xe5Og:R6x8bxe6x89xe3'

4.1.1 Spark执行机制总览

4.2 Spark调度与任务分配模块

4.2.2 Spark应用程序内Job的调度⤊㸾੥湤潢樊਱〰㐠〠潢樊㰼ਯ䑥獴⁛㌴㈠〠删⽘奚‰‷㤲畬汝ਯ乥硴‱〰㔠〠刊⽐慲敮琠㄰〱‰⁒ਯ偲敶‱〰㌠〠刊⽔楴汥
4.2.3 Stage和TaskSetManager调度方式⤊㸾੥湤潢樊਱〰㔠〠潢樊㰼ਯ䑥獴⁛㌴㘠〠删⽘奚‰‷㤲畬汝ਯ偡牥湴‱〰ㄠ〠刊⽐牥瘠㄰〴‰⁒ਯ呩瑬攠⣾＀㐀⸀㈀⸀㐀 吀愀猀殌͞꘩ਾ㸊敮摯扪ਊ㄰〶‰扪਼㰊⽃潵湴‭㌊⽄敳琠嬳㔳‰⁒ 塙娠〠㜹㈠湵汬崊⽆楲獴‱〰㜠〠刊⽌慳琠㄰〹‰⁒ਯ乥硴‱〱〠〠刊⽐慲敮琠㤹㘠〠刊⽐牥瘠㄰〱‰⁒ਯ呩瑬攠⣾＀㐀⸀㌀ 匀瀀愀爀欀 䤀⼀佧㩒㘩ਾ㸊敮摯扪ਊ㄰〷‰扪਼㰊⽄敳琠嬳㔷‰⁒ 塙娠〠㜹㈠湵汬崊⽎數琠㄰〸‰⁒ਯ偡牥湴‱〰㘠〠刊⽔楴汥
4.3.1 序列化⤊㸾੥湤潢樊਱〰㠠〠潢樊㰼ਯ䑥獴⁛㌶ㄠ〠删⽘奚‰‷㤲畬汝ਯ乥硴‱〰㤠〠刊⽐慲敮琠㄰〶‰⁒ਯ偲敶‱〰㜠〠刊⽔楴汥
4.3.2 压缩

4.2.3 Stage和TaskSetManager调度方式

4.2.4 Task调度

4.3 Spark I/O机制

4.3.1 序列化

b'xfexffx004x00.x003x00.x002x00 Sx8bx7f'

4.3.3 Spark块管理

4.4 Spark通信模块

4.4.1 通信框架AKKA

4.4.2 Client、Master和Worker间的通信

4.5 容错机制

4.5.1 Lineage机制

4.5.2 Checkpoint机制

4.6 Shuffle机制

b'xfexffx004x00.x007x00 g,zxe0x0f~xd3'

第5章 Spark开发环境配置及流程

5.2 远程调试Spark程序

5.3 Spark编译

5.4 配置Spark源码阅读环境

b'xfexffx005x00.x005x00 g,zxe0x0f~xd3'

第6章 Spark编程实战

6.1 WordCount

6.2 Top K

6.3 中位数

6.4 倒排索引

6.5 CountOnce

6.6 倾斜连接

6.7 股票趋势预测

b'xfexffx006x00.x008x00 g,zxe0x0f~xd3'

7.1 Benchmark简介

7.1.1 Intel Hibench与Berkeley BigDataBench

7.1.2 Hadoop GridMix

7.1.3 Bigbench、BigDataBenchmark与TPC-DS

7.1.4 其他Benchmark

7.2 Benchmark的组成

7.2.1 数据集

7.2.3 度量指标

b'xfexffx007x00.x003x00.x003x00 Ox7fu(x00Bx00ix00gx00Dx00ax00tx00ax00Bx00ex00nx00cx00h)n>>nendobjnn1051 0 objn<>nendobjnn1052 0 objn<>nendobjnn1053 0 objn<>nendobjnn1054 0 objn<>nendobjnn1055 0 objn<>nendobjnn1056 0 objn<>nendobjnn1057 0 objn<>nendobjnn1058 0 objn<>nendobjnn1059 0 objn<>nendobjnn1060 0 objn<>nendobjnn1061 0 objn<>nendobjnn1062 0 objn<>nendobjnn1063 0 objn<>nendobjnn1064 0 objn<>nendobjnn1065 0 objn<>nendobjnn1066 0 objn<>nendobjnn1067 0 objn<>nendobjnn1068 0 objn<>nendobjnn1069 0 objn<>nendobjnn1070 0 objn<>nendobjnn1071 0 objn<>nendobjnn1072 0 objn<>nendobjnn1073 0 objn<>nendobjnn1074 0 objn<>nendobjnn1075 0 objn<>nendobjnn1076 0 objn<>nendobjnn1077 0 objn<>nendobjnn1078 0 objn<>nendobjnn1079 0 objn<>nendobjnn1080 0 objn<>nendobjnn1081 0 objn<>nendobjnn1082 0 objn<>nendobjnn1083 0 objn<>nendobjnn1084 0 objn<>nendobjnn1085 0 objn<>nendobjnn1086 0 objn<>nendobjnn1087 0 objn<>nstreamnxx9cxb4xbct|x14Uxb6?~xefxadxadxf7xaexdexf7tw:x9dxceJx93t:x8bx80xb4@x02" x86xc5x80,!x04DdGDDDDDvx91Ex96xc8`DDx86x81Nxc2&*xeaxb8xa2xc6ex10}xfefxdcxc6x85xd1x998>G}x02xe9xcaxffxdcxaaxeex10|xcex9bxf9xfdxdexe7xdfx95xeaxaexbaxb5xdd{xd6xef9xf7Tx10Fx08ixd1=x88Axbdxafx1fx15-x9dxf7xd1xb3x1fBxcb3xb0x8ex9dzxfbmx81~xb5xeex1ax84xb0x15!xddx1dxd3xe7xddTx8fxf4]x13xbaxf6vxfdx03xbfJxaazx9exc6.dx17xa2t]xfbxd0x19xf4x1cxfa=:x89x8exa2x83xf0x8dxe0x17xa1'xd1xf6x1exdb@yxb2x18x8exeeEx87ax7fx0bxda/x1fxdbx02xebaxf4xb8r7<txcfxc4{xf0<x16_xf3x8bxfexdcx03k;,3xd00x1cxfcx95xfex1ex80e/Zx02[xebxd1ntx17,obx17x9ax0cxcb&xf4x1cx99x87x962*xxd6xc9xf4xd97v='

b'xfexffx007x00.x004x00 g,zxe0x0f~xd3'

第8章 BDAS简介

8.1 SQL on Spark

b'xfexffx008x00.x001x00.x001x00 Ox7fu(x00Sx00px00ax00rx00kx00 x00Sx00Qx00Lvx84Sx9fVxe0)n>>nendobjnn1055 0 objn<>nendobjnn1056 0 objn<>nendobjnn1057 0 objn<>nendobjnn1058 0 objn<>nendobjnn1059 0 objn<>nendobjnn1060 0 objn<>nendobjnn1061 0 objn<>nendobjnn1062 0 objn<>nendobjnn1063 0 objn<>nendobjnn1064 0 objn<>nendobjnn1065 0 objn<>nendobjnn1066 0 objn<>nendobjnn1067 0 objn<>nendobjnn1068 0 objn<>nendobjnn1069 0 objn<>nendobjnn1070 0 objn<>nendobjnn1071 0 objn<>nendobjnn1072 0 objn<>nendobjnn1073 0 objn<>nendobjnn1074 0 objn<>nendobjnn1075 0 objn<>nendobjnn1076 0 objn<>nendobjnn1077 0 objn<>nendobjnn1078 0 objn<>nendobjnn1079 0 objn<>nendobjnn1080 0 objn<>nendobjnn1081 0 objn<>nendobjnn1082 0 objn<>nendobjnn1083 0 objn<>nendobjnn1084 0 objn<>nendobjnn1085 0 objn<>nendobjnn1086 0 objn<>nendobjnn1087 0 objn<>nstreamnxx9cxb4xbct|x14Uxb6?~xefxadxadxf7xaexdexf7tw:x9dxceJx93t:x8bx80xb4@x02" x86xc5x80,!x04DdGDDDDDvx91Ex96xc8`DDx86x81Nxc2&*xeaxb8xa2xc6ex10}xfefxdcxc6x85xd1x998>G}x02xe9xcaxffxdcxaaxeex10|xcex9bxf9xfdxdexe7xdfx95xeaxaexbaxb5xdd{xd6xef9xf7Tx10Fx08ixd1=x88Axbdxafx1fx15-x9dxf7xd1xb3x1fBxcb3xb0x8ex9dzxfbmx81~xb5xeex1ax84xb0x15!xddx1dxd3xe7xdd<xfbxb7esxf6!xa4_x8fx900xf3xe6YKxa6xdfxf9xe9x7fxeeBxc8xfa3Rxed:8cxdax94xc6Wx0cxfex00Rx1dx81sPxf9x0ch0o|xeb,xecxfftxf6sfxccxbexedx8exaexb6x13/!Ux12!xc6x923kxeexd4)rxbbx87xffx01i_xccx81xfdxbcxd9Sxeex98wxeeAxf5}xc8xf0xfe08?0oxeexc2xdbxbaxcaxd1txd8x9f%xef/x986xefxebxcfwMx86}x~xce1x84x99x07xf0x83x88Cx88xdbxc5xc5xe0x8cx87x95_xa2Axd3xc9x1d*x8ehyx96xd0x0fxdbx05x9fxafax85sxfaxc3x8ax86_?xe2zx94@x81xaex14wVxaaxc5x06xd5x06RXxdfx1f+gxa4?xdc'

8.1.2 Spark SQL架构分析

8.1.3 Shark简介

8.1.4 Hive on Spark

b'xfexffx008x00.x001x00.x005x00 g*geUgx1b'

8.2 Spark Streaming

8.2.1 Spark Streaming简介

8.2.2 Spark Streaming架构

8.2.3 Spark Streaming原理剖析

8.2.4 Spark Streaming调优

8.2.5 Spark Streaming实例

8.3 GraphX

8.3.1 GraphX简介

b'xfexffx008x00.x003x00.x002x00 x00Gx00rx00ax00px00hx00Xvx84Ox7fu()n>>nendobjnn1068 0 objn<>nendobjnn1069 0 objn<>nendobjnn1070 0 objn<>nendobjnn1071 0 objn<>nendobjnn1072 0 objn<>nendobjnn1073 0 objn<>nendobjnn1074 0 objn<>nendobjnn1075 0 objn<>nendobjnn1076 0 objn<>nendobjnn1077 0 objn<>nendobjnn1078 0 objn<>nendobjnn1079 0 objn<>nendobjnn1080 0 objn<>nendobjnn1081 0 objn<>nendobjnn1082 0 objn<>nendobjnn1083 0 objn<>nendobjnn1084 0 objn<>nendobjnn1085 0 objn<>nendobjnn1086 0 objn<>nendobjnn1087 0 objn<>nstreamnxx9cxb4xbct|x14Uxb6?~xefxadxadxf7xaexdexf7tw:x9dxceJx93t:x8bx80xb4@x02" x86xc5x80,!x04DdGDDDDDvx91Ex96xc8`DDx86x81Nxc2&*xeaxb8xa2xc6ex10}xfefxdcxc6x85xd1x998>G}x02xe9xcaxffxdcxaaxeex10|xcex9bxf9xfdxdexe7xdfx95xeaxaexbaxb5xdd{xd6xef9xf7Tx10Fx08ixd1=x88Axbdxafx1fx15-x9dxf7xd1xb3x1fBxcb3xb0x8ex9dzxfbmx81~xb5xeex1ax84xb0x15!xddx1dxd3xe7xdd<xfbxb7esxf6!xa4_x8fx900xf3xe6YKxa6xdfxf9xe9x7fxeeBxc8xfa3Rxed:8cxdax94xc6Wx0cxfex00Rx1dx81sPxf9x0ch0o|xeb,xecxfftxf6sfxccxbexedx8exaexb6x13/!Ux12!xc6x923kxeexd4'

8.3.3 GraphX架构

8.3.4 运行实例

8.4 MLlib

8.4.1 MLlib简介

8.4.2 MLlib的数据存储

8.4.3 数据转换为向量（向量空间模型VSM）

8.4.4 MLlib中的聚类和分类

b"xfexffx008x00.x004x00.x005x00 {x97lxd5^x94u([x9eOx8b)n>>nendobjnn1076 0 objn<>nendobjnn1077 0 objn<>nendobjnn1078 0 objn<>nendobjnn1079 0 objn<>nendobjnn1080 0 objn<>nendobjnn1081 0 objn<>nendobjnn1082 0 objn<>nendobjnn1083 0 objn<>nendobjnn1084 0 objn<<n/Dest [950 0 R /XYZ 0 792 null]n/Next 1085 0 Rn/Parent 1080 0 Rn/Prev 1083 0 Rn/Title (xfexffx009x00.x002x00.x004x00 ^x8fRx17Sx16Nx0eSx8bx7f)"

b'xfexffx008x00.x004x00.x006x00 R'

b'xfexffx008x00.x005x00 g,zxe0x0f~xd3'

第9章 Spark性能调优

9.1 配置参数

9.2 调优技巧

9.2.1 调度与分区优化

9.2.2 内存存储优化

9.2.3 网络传输优化

b'xfexffx009x00.x002x00.x004x00 ^x8fRx17Sx16Nx0eSx8bx7f'

9.2.5 其他优化方法

b'xfexffx009x00.x003x00 g,zxe0x0f~xd3'

下载地址