海量数据存储
存储技术经历了单个磁盘、磁带、RAID到网络存储系统的发展历程。网络存储技术就是将网络技术和I/O技术集成起来，利用网络的寻址能力、即插即用的连接性、灵活性，存储的高性能和高效率，提供基于网络的数据存储和共享服务。在超大数据量的存储管理、扩展性方面具有明显的优势。典型的网络存储技术有网络附加存储NAS（Network Attached Storage）和存储区域网SAN（Storage Area Networks）两种。1）NAS技术是网络技术在存储领域的延伸和发展。它直接将存储设备挂在网上，有良好的共享性、开放性。缺点是与LAN共同用物理网络，易形成拥塞，而影响性能。特别是在数据备份时，性能较低，影响在企业存储应用中的地位。2）SAN技术是以数据存储为中心，使用光纤通道连接高速网络存储的体系结构。即将数据存储作为网络上的一个区域独立出来。在高度的设备和数据共享基础上，减轻网络和服务器的负担。因光纤通道的存储网和LAN分开，使性能得到很大的提高，而且还提供了很高的可靠性和强大的连续业务处理能力。在SAN中系统的扩展、数据迁移、数据本地备份、远程数据容灾数据备份和数据管理等都比较方便，整个SAN成为一个统一管理的存储池（Storage Pool）。SAN存储设备之间通过专用通道进行通信，不占用服务器的资源。因此非常适合超大量数据的存储，成为网络存储的主流。3）存储虚拟化技术是将系统中各种异构的存储设备映射为一个单一的存储资源，对用户完全透明，达到互操作性的目的和利用已有的硬件资源，把SAN内部的各种异构的存储资源统一成一个单一视图的存储池，可根据用户的需要方便地切割、分配。从而保持已有的投资，减少总体成本，提高存储效率。存储虚拟化包括3个层次结构：基于服务器的虚拟化存储、基于存储设备的虚拟化存储和基于网络的虚拟化存储。1）基于服务器的虚拟化存储由逻辑管理软件在主机/服务器上完成。经过虚拟化的存储空间可跨越多个异构的磁盘阵列，具有高度的稳定性和开放性，实现容易、简便。但对异构环境和分散管理不太适应。2）基于存储设备的虚拟化存储，因一些高端磁盘阵列本身具有智能化管理，可以实现同一阵列，供不同主机分享。其结构性能可达到最优。但实现起来价格昂贵，可操作性差。3）基于网络的虚拟化存储，通过使用专用的存储管理服务器和相应的虚拟化软件，实现多个主机/服务器对多个异构存储设备之间进行访问，达到不同主机和存储之间真正的互连和共享，成为虚拟存储的主要形式。根据不同结构可分为基于专用服务器和基于存储路由器两种方式。①基于专用服务器的虚拟化，是用一台服务器专用于提供系统的虚拟化功能。根据网络拓扑结构和专用服务器的具体功能，其虚拟化结构有对称和非对称两种方式。在对称结构中数据的传输与元数据访问使用同一通路。实现简单，对服务器和存储设备的影响小，对异构环境的适应性强。缺点是专用服务器可能成为系统性能的瓶颈，影响SAN的扩展。在非对称结构中，数据的传输与元数据访问使用不同通路。应用服务器的I/O命令先通过命令通路传送到专用服务器，获取元数据和传输数据视图后，再通过数据通路得到所需的数据。与对称结构相比，提高了存储系统的性能，增加了扩展能力。②基于存储路由器的SAN虚拟化，存储路由器是一种智能化设备，既具有路由器的功能，又针对I/O进行专门优化。它部署在存储路由器上，多个存储路由器保存着整个存储系统中的元数据多个副本，并通过一定的更新策略保持一致性。这种结构中，因存储路由器具有强大的协议功能，所以具有更多的优势。能充分利用存储资源，保护投资。能实现软硬件隔离，并辅有大量的自动化工具，提高了虚拟服务器的安全性，降低对技术人员的需求和成本。
海量空间数据管理技术
地理信息系统是采集、管理、分析和显示空间对象数据的计算机系统，它以空间数据为研究对象，因此，空间数据库技术是地理信息系统技术的重要技术之一(黄钊、韦燕飞，2003)。空间数据，特别是栅格数据，一般都具有较大的存储量。因此，研究海量空间数据管理技术，也就成为空间数据库技术的重要内容，也是其难题之一。海量空间数据管理技术，对数字流域、资源规划、电子政务、军事管理等信息化建设都有重要的意义，是其中不可缺少的支撑技术。随着对地观测技术的飞速发展，快速获取高分辨率遥感影像已不再困难。高分辨率意味着大数据量，对于同一地区不同分辨率的遥感影像，分辨率越高，数据量越大，两者之间并不是简单的线性增加，而是呈指数倍增长(方涛等，1997)。塔里木河流域生态环境动态监测系统所采用的基础数据源就是多种分辨率的遥感影像，包括TM/ETM+、SPOT－5、QUICKBIRD等，原始的基础数据经过融合、镶嵌等处理过程，形成的成果也是影像数据。这些成果资料可以直观地反映出塔里木河流域生态环境的变化情况，也是其他专业应用子系统进行分析的基础。因此，所产生的遥感影像成果应存入综合数据库中，并实现数据的快速查询、调用。此外，塔里木河流域所采集的数字高程模型(DEM)、数字正射影像图(DOM)、数字栅格图(DRG)等基础数据也有着较大的存储量，这些数据都可以归类为栅格结构的数据。因此，海量空间数据管理技术，最重要的就是对遥感影像等栅格结构数据的存储管理。海量空间数据管理作为地理信息系统技术中的一项内容，说明其不仅需要从数据库技术的角度考虑问题，更多的需要是从地理信息技术角度考虑数据的存储管理。目前，多数GIS软件都可以将遥感影像、矢量数据、DEM、DRG等数据进行套合显示。但随着数据量的增大，很多GIS软件都难以组织、调度、存储与管理这样的海量数据，更没有考虑多数据源、多比例尺、多时相影像数据的统一管理和集成的问题。而塔里木河流域生态环境动态监测系统的建设，又迫切需要高效、快捷地存储与管理这样的影像数据。为满足系统建设的需要，除了采用先进的GIS基础软件平台作为管理平台外，还需要采取一种新的技术方式来管理、分发这些海量数据，以适应各部门的快速浏览和管理需要。通过“影像金字塔”技术可以大大减少磁盘I/O数量，提高系统查询响应速度，实现对影像数据的高效存储管理。塔里木河流域综合数据库系统对遥感影像、数字高程模型(DEM)、数字正射影像图(DOM)、数字栅格图(DRG)等栅格数据，均建立了独立的存储表空间。为了获得高效率的存取速度，在数据的组织上使用了金字塔数据结构和网格分块数据结构(朱雷等，2006);对影像数据进行了压缩，以缩短数据抽取时间。以高分辨率为底层，通过逐级抽取数据，建立不同分辨率的影像数据金字塔结构，逐级形成较低分辨率的遥感影像数据，在数据查询检索时，调用合适级别的遥感影像数据，以提高浏览和显示速度。这种方法通常会增加20%左右的存储空间，但却可以提高影像数据的显示速度。
海量空间数据存储
(一)空间数据存储技术随着地理信息系统的发展，空间数据库技术也得到了很大的发展，并出现了很多新的空间数据库技术(黄钊等，2003)，其中应用最广的就是用关系数据库管理系统(RDBMS)来管理空间数据。用关系数据库管理系统来管理空间数据，主要解决存储在关系数据库中的空间数据与应用程序之间的数据接口问题，即空间数据库引擎(SpatialDatabase Engine)(熊丽华等，2004)。更确切地说，空间数据库技术是解决空间数据对象中几何属性在关系数据库中的存取问题，其主要任务是:(1)用关系数据库存储管理空间数据;(2)从数据库中读取空间数据，并转换为GIS应用程序能够接收和使用的格式;(3)将GIS应用程序中的空间数据导入数据库，交给关系数据库管理。空间数据库中数据存储主要有三种模式:拓扑关系数据存储模式、Oracle Spatial模式和ArcSDE模式。拓扑关系数据存储模式将空间数据存在文件中，而将属性数据存在数据库系统中，二者以一个关键字相连。这样分离存储的方式由于存在数据的管理和维护困难、数据访问速度慢、多用户数据并发共享冲突等问题而不适用于大型空间数据库的建设。而OracleSpatial实际上只是在原来的数据库模型上进行了空间数据模型的扩展，实现的是“点、线、面”等简单要素的存储和检索，所以它并不能存储数据之间复杂的拓扑关系，也不能建立一个空间几何网络。ArcSDE解决了这些问题，并利用空间索引机制来提高查询速度，利用长事务和版本机制来实现多用户同时操纵同一类型数据，利用特殊的表结构来实现空间数据和属性数据的无缝集成等(熊丽华等，2004)。ArcSDE是ESRI公司开发的一个中间件产品，所谓中间件是一个软件，它允许应用元素通过网络连接进行互操作，屏蔽其下的通讯协议、系统结构、操作系统、数据库和其他应用服务。中间件位于客户机/服务器的操作系统之上，管理计算资源和网络通讯，并营造出一个相对稳定的高层应用环境，使开发人员可以集中精力于系统的上层开发，而不用过多考虑系统分布式环境下的移植性和通讯能力。因此，中间件能无缝地连入应用开发环境中，应用程序可以很容易地定位和共享中间件提供的应用逻辑和数据，易于系统集成。在分布式的网络环境下，客户端的应用程序如果要访问网络上某个服务器的信息，而服务器可能运行在不同于客户端的操作系统和数据库系统中。此时，客户机的应用程序中负责寻找数据的部分只需要访问一个数据访问中间件，由该中间件完成网络中数据或服务的查找，然后将查找的信息返回给客户端(万定生等，2003)。因此，本系统实现空间数据库存储的基本思想就是利用ArcSDE实现各类空间数据的存储。目前，空间数据存储技术已比较成熟，出现了许多类似ArcSDE功能的中间件产品，这些软件基本上都能实现空间数据的数据库存储与管理，但对于海量空间数据的存储，各种软件性能差别较大。随着数据量的增长，计算机在分析处理上会产生很多问题，比如数据不可能一次完全被读入计算机的内存中进行处理。单纯依赖于硬件技术，并不能满足持续增长的数据的处理要求。因此需要在软件上找到处理海量数据的策略，并最终通过软硬件的结合完成对海量数据的处理。在海量数据存储问题上，许多专家从不同侧面进行过研究，Lindstrom在地形简化中使用了外存模型(Out-of-core)技术;钟正采用了基于数据分块、动态调用的策略;汪国平等人在研究使用高速网络进行三维海量地形数据的实时交互浏览中，采用了分块、多分辨率模板建立模型等方法。这些技术、方法已经在各自系统上进行了研究和实现。本系统采用的ArcSDE软件基本上也是采用分块模型的方法，具体存储和操作不需要用户过多了解，已经由ArcSDE软件实现。因此，对海量数据的存储管理，更需要从数据的组织方式等方面进行设计。塔里木河流域生态环境动态监测系统采集了大量的遥感影像、正射影像等栅格结构的数据，这些数据具有很大的数据量，为适应流域空间基础设施的管理需要，采取一种新的方式来管理、分发这些海量数据以适应各部门的快速浏览和管理需要。(二)影像金字塔结构影像数据库的组织是影像数据库效率的关键，为了获得高效率的存取速度，在数据的组织上使用了金字塔数据结构和网格分块数据结构。该技术主导思想如下:(1)将数据库中使用到的纹理处理成为大小一致的纹理块;(2)为每块纹理生成5个细节等级的纹理，分别为0、1、2、3、4，其中1级纹理通过0级纹理1/4压缩得到，2级纹理通过1级纹理1/4压缩得到，…，以此类推;(3)在显示每个块数据之前，根据显示比例的大小，并以此决定该使用那一级的纹理;(4)在内存中建立纹理缓冲池，使用LRU算法进行纹理块的调度，确保使用频率高的纹理调度次数尽可能少。(三)影像数据压缩影像数据压缩有无损压缩和有损压缩两个方法，具体采取哪种压缩方法需根据具体情况确定。对于像元值很重要的数据，如分类数据、分析数据等采用无损压缩(即LZ77算法)，否则采用有损压缩(即JPEG算法)。通过对影像数据的压缩，一方面可以节约存储空间，另一方面可以加快影像的读取和显示速度。影像数据的压缩一般与构建金字塔同时进行，在构建影像金字塔过程中自动完成数据的压缩。
海量数据存储与管理
正如上述，在国土资源遥感综合调查信息中，既包含有多源、多时相、多尺度、多分辨率、多类型的遥感图像数据和基础地理数据，也包括在项目开展过程中衍生的许多观测和分析资料，数据量十分庞大。因此，根据数据共享的要求，在数据生产、管理、应用服务以及更新和维护过程中，如何组织和管理好这些海量数据，如何快速、全面有效地访问和获得所需数据，成为面临的突出问题。在这里，采用何种方式利用现有的大型商业化关系数据库系统高效地存储与管理这些数据，成为能否发挥系统最大性能的关键所在。传统的GIS系统对空间数据（与空间位置、空间关系有关的数据）的存储与管理大多采用这些商业软件特定的文件方式，如：ArcInfo的Coverage、MapInfo的Tab、MAPGIS的WL等。如果数据量越多，这些文件就会越大，数据的处理就会越复杂，其存储、检索、管理也就越困难，而且其最大的缺点还在于不能进行多用户并发操作。由此可见，用以往传统的存储机制去管理像遥感综合调查这样的海量数据，显然难以满足要求。而近年来发展起来的空间数据库引擎技术则是解决海量数据存储管理的途径之一。本系统建设过程中，采用了空间数据库引擎ArcSDE＋大型关系数据库Oracle组合技术，较理想地实现了遥感综合调查海量数据的存储、检索、查询、处理。众所周知，Oracle提供了大型数据库环境，能够很好地处理海量数据，而ArcSDE可将具有地理特征的空间数据和非空间数据统一加载到Oracle中去，因此，通过ArcSDE空间数据库引擎，可将Oracle海量数据管理功能加载到GIS系统中，并可利用Oracle的强大管理机制进行高效率的事务处理、记录锁定、并发控制等服务操作。
存储器主要用来
存储器是用以保存和记录原始数据、运算步骤及中间结果等多种信息的装置。存储器又分内存储器和外存储器。内存储器可以直接和运算器联系。外存储器的容量比内存储器大，它与运算器不直接发生联系，但可以和内存储器交换代码。简介。内存储器在程序执行期间被计算机频繁地使用，并且在一个指令周期期间是可直接访问的。外存储器要求计算机从一个外贮藏装置例如磁带或磁盘中读取信息。这与学生在课堂上做笔记相类似。如果学生没有看笔记就知道内容，信息就被存储在“内存储器”中。如果学生必须查阅笔记，那么信息就在“外存储器”中。内存储器有很多类型。随机存取存储器( RAM)在计算期间被用作高速暂存记忆区。数据可以在RAM中存储、读取和用新的数据代替。当计算机在运行时RAM是可得到的。它包含了放置在计算机此刻所处理的问题处的信息。大多数RAM是“不稳定的”，这意味着当关闭计算机时信息将会丢失。只读存储器(ROM)是稳定的。
存储器主要用来
品牌型号：华为MateBook D15 系统：Windows 11 存储器主要用来存储程序和各种数据信息的记忆部件。存储器可分为主存储器(简称主存或内存)和辅助存储器(简称辅存或外存)两大类。和CPU直接交换信息的是主存。 储器是许多存储单元的集合，按单元号顺序排列。每个单元由若干二进制位构成，以表示存储单元中存放的数值，这种结构和数组的结构非常相似，故在VHDL语言中，通常由数组描述存储器。 计算机的存储器可分成内存储器和外存储器。内存储器在程序执行期间被计算机频繁地使用，并且在一个指令周期期间是可直接访问的。外存储器要求计算机从一个外贮藏装置例如磁带或磁盘中读取信息。这与学生在课堂上做笔记相类似。如果学生没有看笔记就知道内容，信息就被存储在“内存储器”中。如果学生必须查阅笔记，那么信息就在“外存储器”中。
