大数据Hadoop入门需要填的坑

Hadoop 是 Apache 的分布式系统框架用户无需了解底层细节即可开发分布式程序具备高可靠、高扩展、高效、高容错四大特性。其核心包括 YARN、HDFS 和 MapReduce。HDFS源于 GFS是 Hadoop 的存储基石高度容错采用“一次写入多次读取”机制将数据分块分布存储适合大数据集应用。MapReduce源于 Google 论文将计算抽象为 Map 和 Reduce 两个阶段以 Key/Value 处理数据支持大规模并行计算。HBase源于 Bigtable是建立在 HDFS 上的面向列的非关系型数据库适合非结构化数据存储。ZooKeeperChubby 开源实现提供分布式协调服务管理集群节点状态。Hive 是基于 Hadoop 的数据仓库将 SQL 转为 MapReduce 执行大幅降低开发门槛。Flume 是高可靠、分布式的日志采集与传输系统支持定制收发。YARN 是下一代资源管理器支持多种计算框架扩展性更强。Spark 是内存计算引擎速度快支持交互式查询和流处理。Kafka 是分布式消息系统按 Topic 管理消息依赖 Zookeeper 保障可用性。常用 Hadoop 发行版包括 Apache 原生、CDH 和 HDP国内用户多选 CDH。