在hadoop项目结构中,hdfs指的是什么
hadoop是做什么的?1、既可以是Hadoop集群的一部分，也可以是一个独立的分布式文件系统，是开源免费的大数据处理文件存储系统。2、Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。3、提供海量数据存储和计算的。需要java语言基础。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。hdfs是什么意思?1、Hadoop分布式文件系统是指被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。2、hadoop是什么意思？Hadoop是具体的开源框架，是工具，用来做海量数据的存储和计算的。3、HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。hdfs的定义1、通过hdfsdfs-ls命令可以查看分布式文件系统中的文件，就像本地的ls命令一样。HDFS在客户端上提供了查询、新增和删除的指令，可以实现将分布在多台机器上的文件系统进行统一的管理。2、HDFS被设计用于在一个大规模集群上跨机器可靠地存储巨大的文件。它以一序列的块的方式存储文件。每个文件都可以配置块尺寸和复制因子。一个文件除了最后一个块外，其他的块一样大。3、HDFS是ApacheHadoopCore项目的一部分。Hadoop分布式文件系统架构1NameNode（名称节点）HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。4、HDFS定义HDFS(hadoopDistributedFileSystem)，它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来来实现其功能，集群中的服务器有各自的角色。5、fs.default.name属性用于定义HDFS的名称节点和其默认的文件系统，其值是一个URI，即NameNode的RPC服务器监听的地址(可以是主机名)和端口(默认为8020)。其默认值为file：///，即本地文件系统。6、在特定的日期范围内改造存储的数据、以及网友排名等。所有这些任务都可以通过Hadoop中的多种工具和技术如MapReduce、Hive、Pig、Giraph和Mahout等来解决。这些工具在自定义例程的帮助下可以灵活地扩展它们的能力。Hadoop是什么?能不能给点具体的解释?怎么用?1、Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。2、Hadoop是一个用于运行应用程序在大型集群的廉价硬件设备上的框架。Hadoop为应用程序透明的提供了一组稳定/可靠的接口和数据运动。3、Hadoop这个名字不是一个缩写，而是一个虚构的名字。该项目的创建者，DougCutting解释Hadoop的得名：“这个名字是我孩子给一个棕黄色的大象玩具命名的。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。4、既可以是Hadoop集群的一部分，也可以是一个独立的分布式文件系统，是开源免费的大数据处理文件存储系统。Hadoop系列之HDFS架构HadoopDistributedFileSystem(HDFS)是高容错、高吞吐量、用于处理海量数据的分布式文件系统。HDFS一般由成百上千的机器组成，每个机器存储整个数据集的一部分数据，机器故障的快速发现与恢复是HDFS的核心目标。HDFS典型的块大小是128MB.。因此，HDFS文件被分割为128MB的块，可能的话每个块都位于不同的DataNode上。当客户端以复制因子3写入HDFS文件时，NameNode以复制目标选择算法replicationtargetchoosingalgorithm检索DataNodes列表。HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。在配置好Hadoop集群之后，可以通过浏览器访问http：//[NameNodeIP]：9870，查询HDFS文件系统。通过该Web界面，可以查看当前文件系统中各个节点的分布信息。Hadoop有哪几个组成部分?-ITJOBHadoopCommon：Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。HDFS：分布式文件系统，提供高吞吐量的应用程序数据访问，对外部客户机而言，HDFS就像一个传统的分级文件系统。目前支持hadoopx(MRv1)、Hadoopx(MRv2)、Hadoopx(Yarn)三个版本的Hadoop集群的日志数据源收集，在日志管理运维方面还是处于一个国际领先的地位，目前国内有部分的数据驱动型公司也正在采用Splunk的日志管理运维服务。(2)Hadoop的核心是MapReduce(映射和化简编程模型)引擎，Map意为将单个任务分解为多个，而Reduce则意为将分解后的多任务结果汇总，该引擎由JobTrackers(工作追踪，对应命名节点)和TaskTrackers(任务追踪，对应数据节点)组成。在hadoop1中核心组成部分是HDFS、MapReduce，到了Hadoop2，核心变为HDFS、Yarn，而且新的HDFS中可以有多个NameNode，每个都有相同的职能。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。MapReduce主要也是一个主节点JOPtracker和testtracker组成，主要是负责hadoop中的数据处理过程中的计算问题。
Hadoop（一) HDFS概念及原理总结
HDFS的文件读取原理，主要包括以下几个步骤：
1、首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。
2、DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面。
3、前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream就会找出离客户端最近的datanode并连接datanode。
4、数据从datanode源源不断的流向客户端。
5、如果第一个block块的数据读完了，就会关闭指向第一个block块的datanode连接，接着读取下一个block块。这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流。
6、如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。
HDFS的文件写入原理，主要包括以下几个步骤：
1、客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。
2、DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常。
3、前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列 data queue。
4、DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，比如重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。
5、DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的所有DataNode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。
6、客户端完成写数据后，调用close方法关闭写入流。
7、DataStreamer 把剩余的包都刷到 pipeline 里，然后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成。
hdfs详解之块、小文件和副本数
1、block：block是物理切块，在文件上传到HDFS文件系统后，对大文件将以每128MB的大小切分若干，存放在不同的DataNode上。例如一个文件130M，那么他会存被切分成2个块，一个块128M，另一个块2M. 1、HDFS 适应场景: 大文件存储，小文件是致命的 2、如果小文件很多的，则有可能将NN(4G=42亿字节)撑爆。例如:1个小文件(阈值<=30M),那么NN节点维护的字节大约250字节。一亿个小文件则是250b * 1亿=250亿.将会把NN节点撑爆。如果一亿个小文件合并成100万个大文件:250b * 1百万=2亿字节。 3、在生产上一般会: 1）调整小文件阈值 2）合并小文件: a.数据未落地到hdfs之前合并 b.数据已经落到hdfs，调用spark service服务 。每天调度去合并 （-15天 业务周期） 3）小文件的危害: a.撑爆NN。 b.影响hive、spark的计算。占用集群计算资源 1、如果是伪分布式，那么副本数只能为一。 2、生成上副本数一般也是官方默认参数: 3份 如果一个文件130M，副本数为3。那么第一个block128M，有三份。另外一个block2M，也有三份。 题目: blockSize128M,副本数3份，那么一个文件260M，请问多少块，多少实际存储？ 260%128=2....4M 3个块 3个副本=9块 260M 3=780M
hdfs的特点有哪些
hdfs的特点
一、hdfs的优点
1.支持海量数据的存储：一般来说，HDFS存储的文件可以支持TB和PB级别的数据。
2.检测和快速应对硬件故障：在集群环境中，硬件故障是常见性问题。因为有上千台服务器连在一起，故障率很高，因此故障检测和自动恢复hdfs文件系统的一个设计目标。假设某一个datanode挂掉之后，因为数据是有备份的，还可以从其他节点里找到。namenode通过心跳机制来检测datanode是否还存活。
3.流式数据访问：（HDFS不能做到低延迟的数据访问，但是HDFS的吞吐量大）=》Hadoop适用于处理离线数据，不适合处理实时数据。HDFS的数据处理规模比较大，应用一次需要大量的数据，同时这些应用一般都是批量处理，而不是用户交互式处理。应用程序能以流的形式访问数据库。主要的是数据的吞吐量，而不是访问速度。访问速度最终是要受制于网络和磁盘的速度，机器节点再多，也不能突破物理的局限。
4.简化的一致性模型：对于外部使用用户，不需要了解hadoop底层细节，比如文件的切块，文件的存储，节点的管理。一个文件存储在HDFS上后，适合一次写入，多次读取的场景。因为存储在HDFS上的文件都是超大文件，当上传完这个文件到hadoop集群后，会进行文件切块，分发，复制等操作。如果文件被修改，会导致重新触发这个过程，而这个过程耗时是最长的。所以在hadoop里，2.0版本允许数据的追加，单不允许数据的修改。
5.高容错性：数据自动保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，将数据分发和备份到相应的节点上。
6.商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（在各种零售店都能买到的普通硬件）的集群上的，因此至少对于庞大的集群来说，节点故障的几率还是非常高的。HDFS遇到上述故障时，被设计成能够继续运行且不让用户察觉到明显的中断。
二、HDFS缺点（局限性）
1、不能做到低延迟数据访问：由于hadoop针对高数据吞吐量做了优化，牺牲了获取数据的延迟，所以对于低延迟数据访问，不适合hadoop。对于低延迟的访问需求，HBase是更好的选择。
2、不适合大量的小文件存储 ：由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。根据经验，每个文件、目录和数据块的存储信息大约占150字节。因此，如果有一百万个小文件，每个小文件都会占一个数据块，那至少需要300MB内存。如果是上亿级别的，就会超出当前硬件的能力。
3、修改文件：对于上传到HDFS上的文件，不支持修改文件。Hadoop2.0虽然支持了文件的追加功能，但是还是不建议对HDFS上的文件进行修改。因为效率低下。HDFS适合一次写入，然后多次读取的场景。
4、不支持用户的并行写：同一时间内，只能有一个用户执行写操作。
hdfs的定义
1、通过hdfsdfs-ls命令可以查看分布式文件系统中的文件，就像本地的ls命令一样。HDFS在客户端上提供了查询、新增和删除的指令，可以实现将分布在多台机器上的文件系统进行统一的管理。2、HDFS被设计用于在一个大规模集群上跨机器可靠地存储巨大的文件。它以一序列的块的方式存储文件。每个文件都可以配置块尺寸和复制因子。一个文件除了最后一个块外，其他的块一样大。3、HDFS是ApacheHadoopCore项目的一部分。Hadoop分布式文件系统架构1NameNode（名称节点）HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。4、HDFS定义HDFS(hadoopDistributedFileSystem)，它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来来实现其功能，集群中的服务器有各自的角色。5、fs.default.name属性用于定义HDFS的名称节点和其默认的文件系统，其值是一个URI，即NameNode的RPC服务器监听的地址(可以是主机名)和端口(默认为8020)。其默认值为file：///，即本地文件系统。6、在特定的日期范围内改造存储的数据、以及网友排名等。所有这些任务都可以通过Hadoop中的多种工具和技术如MapReduce、Hive、Pig、Giraph和Mahout等来解决。这些工具在自定义例程的帮助下可以灵活地扩展它们的能力。
