大数据平台具有哪些特点?
1. 高效分布式有必要是高效的分布式体系。物联网发生的数据量巨大，仅我国而言，就有5亿多台智能电表，每台电表每隔15分钟采集一次数据，一天全国智能电表就会发生500多亿条记载。这么大的数据量，任何一台服务器都无能力处理，因而处理体系有必要是分布式的，水平扩展的。2. 实时处理有必要是实时处理的体系。互联网大数据处理，大家所了解的场景是用户画像、推荐体系、舆情分析等等，这些场景并不需求什么实时性，批处理即可。可是关于物联网场景，需求根据采集的数据做实时预警、决议计划，延时要控制在秒级以内。3. 高牢靠性需求运营商等级的高牢靠服务。物联网体系对接的往往是生产、经营体系，假如数据处理体系宕机，直接导致停产，发生经济有丢失、导致对终端顾客的服务无法正常供给。比方智能电表，假如体系出问题，直接导致的是千家万户无法正常用电。4. 高效缓存需求高效的缓存功用。绝大部分场景，都需求能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。体系需求供给一高效机制，让用户能够获取全部、或契合过滤条件的部分设备的最新状态。5. 实时流式核算需求实时流式核算。各种实时预警或猜测现已不是简单的根据某一个阈值进行，而是需求经过将一个或多个设备发生的数据流进行实时聚合核算，不只是根据一个时间点、而是根据一个时间窗口进行核算。不仅如此，核算的需求也适当杂乱，因场景而异，应容许用户自定义函数进行核算。6. 数据订阅需求支持数据订阅。与通用大数据渠道比较共同，同一组数据往往有很多使用都需求，因而体系应该供给订阅功用，只要有新的数据更新，就应该实时提醒使用。并且这个订阅也应该是个性化的，容许使用设置过滤条件，比方只订阅某个物理量五分钟的平均值。
大数据平台最核心的软件是
大数据平台最核心的软件是：一、Phoenix这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。二、Stinger原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。三、PrestoFacebook开源的数据查询引擎Presto，可对250PB以上的数据进行快速地交互式分析。该项目始于2012年秋季开始开发，目前该项目已经在超过1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性能比诸如Hive和Map*Reduce要好上10倍有多。四、SharkShark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。五、Pig简介：Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。
