Hadoop+Spark大數據技術(微課版)

Hadoop+Spark大數據技術(微課版)

作者: 劉彬斌主編 李柏章 周磊 李永富
出版社: 清華大學
出版在: 2018-11-01
ISBN-13: 9787302514275
ISBN-10: 7302514275
裝訂格式: 平裝





內容描述


全書內容分為大數據系統基礎、Hadoop技術、Spark技術和項目實戰4部分。其中,Linux是學習大數據技術的基礎,先從Linux入手,打下堅實的基礎,之後才能更好地學習Hadoop和Spark。 4部分內容分別介紹如下。
  大數據系統基礎篇通過大數據概述、Linux系統安裝、Linux系統基礎命令、Shell編程和MySQL數據操作,為以後編程奠定堅實的基礎。
Hadoop技術篇以Hadoop生態圈為中心,詳細介紹Hadoop高可用集群搭建、HDFS技術、MapReduce技術、Hive技術,為讀者學習大數據開發技術提供便利,並以實用的方式簡單介紹HBase、Sqoop、Flume工具的使用,使讀者在精通一門技術的前提下,能擴展了解相關知識,真正成為一專多能的專業型人才。
Spark技術篇從Spark概述、Scala語言、環境搭建、RDD核心技術、Spark SQL和機器學習等多方面講解Spark大數據的開發,從基礎的Scala語言開始學習,並以Hadoop環境為基礎搭建Spark大數據集群,從最基礎、最常用、最容易理解的思路出發,幫助讀者逐步掌握Spark大數據技術。
  項目實戰篇從真實項目“電力能源大數據分析”中抽取一部分業務作為實戰解讀,通過簡潔的流程講解,使讀者了解大數據項目開發的整個過程


目錄大綱


第1篇大數據系統基礎第1章大數據概述 3 1.1 數據的產生與發展 3 1.2 大數據的基礎知識 4 1.3 大數據架構 5 第2章系統的安裝與使用 7 2.1 系統安裝 7 2.1.1 安裝CentOS 6.x 7 2.1.2 安裝步驟 7 2.2 基本命令 18 2.2.1 cd命令 18 2.2.2 打包和解壓指令 19 2.2.3 其他常用命令 21 2.3 權限與目錄 26 2.3.1 權限 26 2.3.2 目錄27 2.4 文件操作 28 2.4.1 文件與目錄管理 28 2.4.2 用戶和用戶組管理 39 2.5 習題與思考 46 第3章任務命令 47 3.1 腳本配置 47 3.1.1 Shell腳本 47 3.1.2 Shell變量 47 3.1 .3 Shell傳遞參數 48 3.1.4 Shell數組 50 3.1.5 Shell運算符 51 3.1.6 Shell echo命令 55 3.1.7 Shell printf命令 57 3.1.8 Shell test命令 58 3.1.9 Shell流程控制 60 3.2 網絡配置67 3.3 習題與思考 70 第4章數據庫操作 71 4.1 數據庫簡介 71 4.1.1 MySQL數據庫簡介 71 4.1.2 安裝MySQL 72 4.2 數據庫基本操作 72 4.2.1 MySQL的DDL操




相關書籍

Dart 語言實戰 — 基於 Angular 框架的 Web 開發

作者 劉仕文

2018-11-01

Bootstrapping Microservices with Docker, Kubernetes, and Terraform: A Project-Based Guide

作者 Davis Ashley

2018-11-01

Mastering Hadoop 3: Big Data processing at scale to unlock unique business insights

作者 Chanchal Singh;Manish Kumar;Dr. Timothy Wong

2018-11-01