HADOOP简介

HADOOP简介

1 HADOOP简介

官方网站: http://hadoop.apache.org/

​ (Hadoop Distribute File System )分布式文件系统,解决了海量数据无法单台机器存储的问题,将海量的数据存储在不同的机器中 ,有HDFS文件系统统一管理和维护, 提供统一的访问目录和API !

​ Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是设计用来依靠硬件来提供高可用性，而是旨在检测和处理应用程序层的故障，因此可以在计算机集群的顶部提供高可用性的服务，而每台计算机都容易出现故障。

它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 MapReduce。

2 整体架构总览

存储层：HDFS 分布式文件系统，负责海量数据存储。

资源调度层：YARN，独立的集群资源管理器，统一管控 CPU、内存等资源，调度任务。分布式资源调度平台和任务监控平台

计算层：MapReduce v2 (MRAppMaster)，基于 YARN 运行的分布式离线计算框架。Hadoop的分布式运算编程框架

底层：Commons: HADOOP底层技术支持

官网地址：http://hadoop.apache.org/releases.html

下载地址：https://archive.apache.org/dist/hadoop/common/