Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。
用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力進行高速運算和存儲。
[1] Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(streaming access)文件系統中的數據。
本課程培養學生基本的大數據理論和實踐知識,能夠通過大數據基礎理論和實踐課完成對大數據體系的學習,達到大數據工程師的目的。
要求根據項目的需求,重點掌握以下的技能:
1、掌握大數據理論基礎
2、掌握各個框架之間的關系及用途。
3、掌握Hadoop和其他框架之間調用。
4、會用Hive進行數據倉庫的操作
5、會用Hbase進行Nosql數據庫的操作