云計算與大數(shù)據(jù)處理技術(shù)

培訓目標

1，深入理解通過云計算實現(xiàn)海量數(shù)據(jù)處理的思想、方法與實踐。

2，理解安全性和可用性設計的問題、方法與實踐。

3，掌握把傳統(tǒng)數(shù)據(jù)中心改造成云計算中心的技術(shù)與方法。

4，掌握虛擬化技術(shù)的核心技術(shù)方法以及應用特征。

培訓受眾:

1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。

2，牽涉到海量數(shù)據(jù)處理的機構(gòu)數(shù)據(jù)中心運行、規(guī)劃、設計負責人。

3，云服務運營服務提供商規(guī)劃負責人。

4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項目負責人。

課程收益:

1，深入理解通過云計算實現(xiàn)海量數(shù)據(jù)處理的思想、方法與實踐。

2，理解安全性和可用性設計的問題、方法與實踐。

3，掌握把傳統(tǒng)數(shù)據(jù)中心改造成云計算中心的技術(shù)與方法。

4，掌握虛擬化技術(shù)的核心技術(shù)方法以及應用特征。

課程大綱:

第一講 云計算的概念與現(xiàn)狀

1）云計算的概念

2）云計算發(fā)展現(xiàn)狀

3）云計算實現(xiàn)機制

4）云計算的發(fā)展環(huán)境

5）云計算的優(yōu)勢

第二講 從Google云計算體系，理解海量數(shù)據(jù)處理的方法

1）如何構(gòu)建海量存儲文件系統(tǒng)？

GFS系統(tǒng)架構(gòu)

GFS容錯機制

GFS系統(tǒng)管理技術(shù)

MapReduce產(chǎn)生背景

MapReduce編程模型

MapReduce實現(xiàn)機制

MapReduce案例分析

2）如何提供鎖服務解決分布式數(shù)據(jù)一致性問題？

Chubby的設計思路

Chubby中的Paxos算法

Chubby文件系統(tǒng)

3）如何建立規(guī)模龐大的高性能表結(jié)構(gòu)？

BigTable設計目標

BigTable系統(tǒng)架構(gòu)

BigTable服務器

BigTable性能優(yōu)化

4）如何建立高可用性和高可擴展性的數(shù)據(jù)系統(tǒng)？

Megastore設計目標

Megastore數(shù)據(jù)模型

Megastore事務及并發(fā)控制

Megastore基本架構(gòu)

Dapper監(jiān)控系統(tǒng)

Dapper關(guān)鍵性技術(shù)

Dapper工具

第三講 從Hadoop云計算項目，進一步研究云數(shù)據(jù)處理方法

1）HDFS：高可靠性處理機制及應用

Hadoop項目簡介

HDFS體系結(jié)構(gòu)

HDFS關(guān)鍵運行機制

Hadoop vs Google

Hadoop API

Hadoop環(huán)境搭建

2）Hadoop：龐大、極其稀疏的可擴展性數(shù)據(jù)模型

Hadoop簡介

Hadoop的運行機制

Hadoop與 HDFS

Hadoop的對外接口

ZooKeeper的數(shù)據(jù)模型

ZooKeeper的讀寫機制

ZooKeeper的使用方法

第四講 從Windows Azure，理解平臺即服務的本質(zhì)

1）微軟云計算平臺

2）微軟云操作系統(tǒng)Windows Azure

3）微軟云關(guān)系數(shù)據(jù)庫SQL Azure

4）Azure AppFabric

5）Azure Marketplace

第五講 從Amazon云計算，討論如何提供云服務

1）Dynamo基礎存儲架構(gòu)

2）彈性計算云EC2

3）簡單存儲服務S3

4）簡單隊列服務SQS

5）簡單數(shù)據(jù)庫服務Simple DB

6）關(guān)系數(shù)據(jù)庫服務RDS

7）內(nèi)容推送服務CloudFront

第六講 實施云計算的關(guān)鍵點：安全策略

1）云計算安全是一個必須前期重視的策略

2）云計算的特征與安全挑戰(zhàn)

3）云計算的安全體系與關(guān)鍵技術(shù)

4）基礎架構(gòu)云安全框架

5）云計算安全平臺

第七講 當前數(shù)據(jù)中心如何向云計算環(huán)境轉(zhuǎn)變

1）VMware云產(chǎn)品

2）云管理平臺 vCenter

3）vCloud Service Director

4）VMware的網(wǎng)絡和存儲虛擬化

5）主流商業(yè)云計算解決方案比較

6）主流開源云計算系統(tǒng)比較

7）國內(nèi)代表性云計算平臺比較

第八講 基礎設施即服務（IaaS）關(guān)鍵實現(xiàn)技術(shù)

1）IaaS技術(shù)體系概述

2）服務器虛擬化技術(shù)

CPU虛擬化

內(nèi)存虛擬化

I/O虛擬化

3）存儲虛擬化技術(shù)

存儲系統(tǒng)概述

存儲設備層的存儲虛擬化

塊聚合層的存儲虛擬化

文件/記錄層的存儲虛擬化

4）主機網(wǎng)絡虛擬化

第九講 軟件即服務（SaaS）關(guān)鍵實現(xiàn)技術(shù)

1）SaaS技術(shù)概述

2）呈現(xiàn)層技術(shù)綜述

3）調(diào)度層技術(shù)

基于DNS的調(diào)度

基于虛擬IP的調(diào)度

基于鏈路聚合的調(diào)度

基于應用的調(diào)度

調(diào)度策略

4）業(yè)務層

5）數(shù)據(jù)層

6）用戶管理和配置管理

7）用戶體驗的設計

8）課程總結(jié)