XSKY星辰天合存储解决方案构建自动驾驶高效数据平台

1 引言

随着自动驾驶技术的持续进步，国内的试点运营区域已遍地开花，但距离自动驾驶的真正全面普及，还需要解决诸多问题。其中自动驾驶决策系统的成熟度是非常关键的问题之一。

云存储解决方案_云存储解决方案分析

云存储解决方案_云存储解决方案分析

而构建一个高效的自动驾驶 AI 训练系统，除了先进的算法和 GPU 算力之外，承载海量数据并与应用对接的数据平台，同样重要。

这里从介绍自动驾驶 AI 训练场景的工作流，以及其对数据平台的要求来阐述 XSKY 星辰天合存储解决方案如何帮助和服务于自动驾驶企业用户。

1、自动驾驶 AI 学习场景工作流程

自动驾驶 AI 训练，承担着数据加工和转化任务，工作流程包括数据的上传，预处理，筛选，标注，清洗，训练等多个环节。这些步骤中，会涉及到对海量数据的汇聚存储，预处理（解密，抽帧，去畸变等），数据在不同存储系统间的高速流转，与第三方标注平台对接时的权限控制，以及异地多中心间的数据传输。

2、自动驾驶AI学习系统中数据存储面临的挑战

当采集数据量持续增长和训练效率需要提升时，会对基础架构层内的数据平台提出更高的要求，主要体现在三个方面：其一是可用性和海量存储时的成本优化；其二是跨系统跨平台间的数据交互；其三是训练环节存储的性能。

海量数据规模时，数据平台的可用性和成本的持续优化

通常情况下，用户至少会有数十PB的数据量，以及对应的千亿级别的文件个数。在此背景下，存储系统的灵活扩容、集群支持规模、上传数据时至少 10GB/s 的高吞吐能力、易运维、存储成本优化，这些要求的交集就是对存储的挑战。

数据跨平台的交互要求

大部分用户会采用混合云的 IT 架构模型，数据在异构平台之间如何保证平滑流动，以及与第三方标注平台的数据交互如何做到数据权限精细控制也将成为新的挑战。

构建在 K8S 下的分布式 GPU 训练机制，一次可训练数百万个小文件，需要存储能够提供足够高的数据吞吐带宽和低时延，来满足上层算力的效率要求。

3、XSKY数据存储方案如何应对场景要求

XSKY 星辰天合针对自动驾驶 AI 场景的核心理念是：兼容用户主流业务架构，数据平台无缝对接上层应用；符合业务未来演进方向，存储深度优化满足场景需求；

平滑兼容主流业务架构

很多自动驾驶行业客户的基础架构，是从公有云模式转变为混合云模式的。使用公有云时其自动驾驶 AI 训练的 Workflow 大多是围绕“对象存储+高性能文件存储”的存储组合来构建，实现业务应用的自动化编排；

转变为混合云模式后，XSKY 星辰天合承载的私有化数据平台，核心内容同样为 对象存储 + 高性能文件存储，避免对用户 Workfow 的变更，从而降低开发侧的重复投入。

满足业务场景的存储可用性

存储的可用性体现在灵活扩容、数据规模无上限、易于运维、跨平台能力，以及满足业务应用对存储性能的要求上。

灵活扩容，XSKY 星辰天合存储可支持按扩容和按集群扩容多模式；

易于运维，XSKY 星辰天合后台管理系统提供可视化界面，细粒度的告警模块，以及和数据的全面能力；

跨平台能力，XSKY 星辰天合对象管理平台(XEOS) 支持与国内外多家主流公有云存储的对接，满足数据平滑流动的要求。XSKY 星辰天合数据理系统(X3DS）支持在异构平台中、迁移数据（如对用户存量数据的可靠迁移）；

性能方面，尤其是数据训练阶段小文件“读多写少”的场景下，对存储的吞吐和时延有高要求，XSKY 星辰天合可通过XGFS 分布式文件存储，或是 XINFINI 星飞全闪存储一体机提供支持，不仅可满足 GPU 对数据抽取的严苛性能要求，同时由于 XGFS 和 XINFINI 是国内可支持 QLC 的分布式存储，能充分利用 QLC 的读写特征和成本优势，大幅降低用户部署成本。

XGFS 分布式文件存储及全 NVMe 的 XINFINI 存储一体机，可分别通过软件交付或一体机交付的形式，为 GPU 训练环节提供高性能文件存储能力；

另外，还有即将到来的元数据查询服务、开放内容处理框架等大量新功能，可以提升数据预处理和数据筛选环节的业务效率。

海量数据存储的成本优化

XSKY 星辰天合存储具备数据全生命周期数据管理能力，其中存储分级+数据压缩功能可对数据进行多层存储，根据数据的热温冷，可自定义在多个池中自由流转。另外，高密，蓝光磁存储一体机，磁带归当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。“云存储”的优势已经被炒作得天花乱坠了，甚至被认为是数据存储解决方案的目标。但事实上，云存储(又名托管存储)并不完美。如果使用不当，云存储的作用有可能弊大于利。那么“云存储”的缺点有哪些呢？这个问题不管对“云存储”的供应商还是需求方，都需要认真思考。主要需要关注这几个因素，例如：性能、安全性、控制和可靠性。其中将数据放到云服务面临的挑战之一就是性能。对于云存储，你的数据是位于企业外部的。将数据转移到云服务后，控制权也将减少。因此，对于“云存储”的供应商，如何去解决这个难题，则是你的目标；而“云存储”的需求方，在将你的数据上传到云之前，请务必再三权衡，你是否能接受“云存储”这些缺点所带来的影响？这将帮助你来决定何时何地使用云服务作为存储平台。1. 云存储很慢将数据放到云服务面临的挑战之一就是性能。对于大多数IT专业人员来说，个性能瓶颈问题来自从宽带到web的连接。有几个因素会影响宽带性能：从多个用户对网速(取决于你选择的宽带服务水平)的争夺到网络服务供应商的网络设备的性能等。所有这些因素都会影响速度。除了网速问题外，还有云数据中心本身提供的性能以及整个网络的性能。对于后者，这包括来自其他客户的web流量、共享基础设施和转移到远程数据中心的数据量。考虑了这些问题后，我们就可以了解到为什么云存储不能提供本地和网络磁盘那样的性能了。在很多情况下，使用本地存储两千兆字节的数据需要花几分钟，而对于云存储，同样的作可能需要花几个小时来完成。2. 安全问题对于云存储，你的数据是位于企业外部的。当然，大多数云存储都提供VPN、加密或者其他的安全措施。但是，只要那些试图访问数据的人拥有登录凭证就能通过任何网络端点访问数据。这并不单单是云存储的问题，所有基于云服务的技术都使用者类似的连接模式。并且，移动云用户(特别是那些使用不安全的网络的用户)的登录凭证信息很容易被拦截，安全威胁也随之增加。这意味着使用云存储的用户必须谨慎考虑潜在的安全问题，并且部署适当的安全技术(例如额外的加密层或者两步骤身份验证)，当然，这将影响性能和增加云存储的成本。更多档等多种存储形态，可大幅优化用户存储成本。

4、面向场景XSKY星辰天合持续进化

在自动驾驶领域中，存储平台对训练效率的保证和海量存储的成本优化，将是长期主题。XSKY 星辰天合将持续投入，不断推出适用于该场景的新能力，帮助自动驾驶企业用户更高效的释放数据价值。

有哪些值得的云存储服务？理由是什么？

训练环节对存储效率的要求

云存储是一种网络在线储的模式，即把资料存放在通常由第三方代管的多台虚拟，而非专属的上。云存储是一种网络在线储存 （online storage） 的模式，即把资料存放在通常由第三方代管的多台虚拟，而非专属的上。

[3] Arust M, Fox A, Griffith R,etal. Above the clouds: A Berkeley view of cloud computing. 2009.

数据中心营运商根据客户的需求，在后端准备储存虚拟化的资源，并将其以储存资源池 的方式提供，客户便可自行使用此储存资源池来存放数据或文件。事实， 这些资源可能被分布在众多的伺服主机上。云存储这项服务透过Web服务应用程式接口 (API),或是透过Web化的使用者接口来存。

①英特尔云储存

英特尔至强处理器助力企业构建新的云存储是什么,降低成本,利用云实现业务转型.为企业提供敏捷高效灵活部署多云业务,加速企业数字化变革。

②腾讯云存储

国内云存储服务商,稳定安全,高速上传连通率高达99.9%,按需付费,基于海量服务经验,对外提供可靠,安全,易用的海量存储服务.

③阿里云服务

云、云数据库、云存储、CDN、大数据等服务,专业快速备案,助企业无忧上云7x24小时专业售后服务

Asigra Cloud Backup v1具备云恢复功能，是业界首批能够对手提设备（如平板电话和智能机）是款企业级云备份平台，可保护整个数字领域

华为云湖仓一体解决方案总体架构

华为云湖仓一体解决方案自动驾驶决策系统的成熟，需要依赖从道路测试中持续采集足够全面的数据，用于 AI 训练系统中的模型训练、算法优化和模拟仿真，提升在复杂场景下的应对能力，加速实现 L4 级的运营能力。总体架构分为四层

1、云基础层

2、数据集中层

数据源:交易、社交媒体、IoT、Web

数据存储: 对象存储 OBS

3、数据计算层

批流一体计算、图计算、AI计算

数据开发、调度、数据搭建企业私有云很有必要，杉岩数据专注企业级数据存储服务，目录、数据开放服务

项目中存储、IP-SAN、云存储方案的优劣势对比

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

IP-SAN还是以块作为存储的，你可以认为它是含阵列功能的硬盘。存储应该是NAS吧，其实这就是一个，与我们做共享文件夹类似。一个是磁云存储、云管理。盘阵列+硬盘，一个是+磁盘阵列+硬盘。

“云存储”的缺点有哪些？

随着互联网的高速发展，云存储成为了很多摄像头的主流存储方式之一。云存储是指通过集群应用、网络技术或分通过杉岩统一存储平台，用户可快速构建能够兼容所有主流虚拟化平台与容器微服务平台的统一存储资源池，面对各种虚拟机和微服务需求，池化的存储平台为大规模云环境提供了可靠的存储基础架构支撑，帮助用户从纷繁复杂的基础架构运维工作中解放出来，更关注于私有云上运行的业务本身。布式文件系统等功能，将网络中大量各种不同类型的存储设备通过各种应用软件起来协同工作，共同对外提供数据存储和管理的云计算系统”，它并非是一种简单的存储工具，而是将存储资源放到云上供用户存取、管理、业务访问、高效协同的应用系统及存储解决方案。

为什么新买的华为nova7总是提示云空间不足???该如何解决？

3、数据共享对象存储 List 性能优化，通过过滤及排序动作下沉、提高并发度等手段，减少传输和汇总开销，提升数据抽取的效率，以及高负载时集群的稳定性；层

我的华为手机也经常提示云空间不足，但我通常都不去管，因为也就是把通讯录存到云空间里，这样以后换电话的时候方便，其它的内容也基本上不上传。其实系统经常提示你，就是诱导你花钱去买更大容量的网盘，我个人感觉没有那个必要，有重要的东西会自己保存好，而不是用网盘这种方式。

你之前用的应该也是华为或者荣耀吧。要么买新的云空间，要么关闭提醒。

企业的数据有没有必要放在自己的私有云盘里？

数据集成:实时集成、统一元数据、数据安全

有必要，因为现在企业所产生的非结构化数据越来越多，企业文件数据没有一个固定的存放平台，容易导致企业数据流失。我们公司使用的由云宏信息推出的是知库云企业网盘，可以分类统一管理企业的非结构化数据，在存储的基础上，还结合了文件共享功能、即时通讯功能，日常办公中遇到云存储技术远不止如此，里头设计的原理和技术比较复杂，不一一说明了。的文件分发、文件协作、文件多人编辑、文件版本管理和沟通交流，都可以在知库云上完成。云宏坚持走国产自主的产品化道路，聚焦钻研云计算大数据关键技术，云存储产品，还是用国产化的品牌有保障。

杉岩私有云存储解决方案充分发挥了杉岩统一存储平台（USP）的云适配、开放等优势，支持各种复杂的应用负载，可灵活支撑私有云的虚拟化平台，如VMware、Citrix、OpenStack等虚拟化和云平台，以及通过Kubernetes软件一致性认证的所有容器云平台，如：Rancher、Openshift、Kubernetes等。

容器、文件共享、数据库、虚拟化、网盘、备份业务、归档需求等各类祼金属、虚拟化、微服务业务场景的后端存储资源归一化管理，使得用户无须关注存储，更加关注应用本身的价值及其之间的联系。

什么是云存储技术

参考文献

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

数据备份、归档和灾难恢复是云存储可能的三个用途。

云存储可分为以下三类：

1.公共云存储

供应商可以保持每个客户的存储、应用都是的，私有的。其多项针对场景的优化，提升训练效率中以Dropbox为代表的个人云存储服务是公共云存储发展较为突出的代表，国内比较突出的代表的有搜狐企业网盘，百度云盘，乐视云盘[1] ，移动彩云，金山快盘，坚果云，酷盘，115网盘，华为网盘，360云盘，新浪，腾讯微云,cStor云存储等。

2.内部云存储

这种云存储和私有云存储比较类似，的不同点是它仍然位于企业防火墙内部。至2014年可以提供私有云的平台有：Eucalyptus、3A Cloud、minicloud安全办公私有云、联想网盘等。

3.混合云存储

这种云存储把公共云和私有云/内部云结合在一起。主要用于按客户要求的访问，特别是需要临时配置容量的时候。从公共云上划出一部分容量配置一种私有或内部云可以帮助公司面对迅速增长的负载波动或高峰时很有帮助。尽管如此，混合云存储带来了跨公共云和私有云分配应用的复杂性。

云存储系统，通俗地讲就是要把文件存储到多个机器中，集成多种技术完成这个过程。

1、控制技术，利用算法清晰定位文件存储在哪个；

2、文件分布技术，一般是通过在物理主机上加一层逻辑主机，即虚拟主机，使得文件块分布更加均匀；

3、分块技术，将大文件分块利用哈希算法存储到不同位置，解决大文件存储问题；

4、纠删码技术，主要作用是提高存储利用率；

5、文件同步中的一致性策略，保证数据保持强大一致性；

7、文件备份技术，将文件存储到其他存储；

8、异地同步技术，防止不可抗力；

9、快照技术，能回到文件过去版本的技术；

......

云，或称云主机，是一种类似VPS主机的虚拟化技术， VPS是采用虚拟软件，如 VM在一台主机上虚拟出多个类似主机的部分，每个部分都可以做单独的作系统，管理方法同主机一样。 而云是在一组集群主机上虚拟出多个类似的部分，集群中每个上都有云的一个镜像，从而大大提高了云的安全稳定性，除非所有的集群内主机全部出现问题，云才会无法访问。云具有自助管理、数据安全保障、自动故障恢复和防网络攻击等高级功能，能够帮您简化开发部署过程，降低运维成本，构建按需扩展的网站架构，从而更适应互联网应用快速多变的特性。同时云服务具有性价比高，灵活性高，安全性高，可靠性高的特点，现在国内云服务比较知名的有盛大，阿里，云端互通等等，听说云端做的还可以，还行。

云存储是在云计算的基础上发展而来的，所谓的云计算或称云主机，云端云打破传统虚拟主机，配置固定，IP，系统的缺陷，将多个虚拟系统联合起来，搭建成系统资源池，节约成本，根据实际需要，弹性选择配置，避免资源浪费，数据存储和传输更加安全可靠，访问速度更快更稳定。

南京云创存储为您解答：

云存储在云计算 (cloud computing)概念上延伸和发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部所组成的庞大系统经计算分析之后将处理结果回传给用户。

为什么新买的华为nova7总是提示云空间不足???该如何解决？

云计算过程中，对数据进行存储和备份会极大地导致系统整体输入和输出的延迟，因此，如何提供云存储系统的运行效率也是应该考虑的问题。

我的华为手机也经常提示云空间不足，但我通常都不去管，因为也就是把通讯录存到云空间里，这样以后换电话的时候方便，其它的内容也基本上不上传。其实系统经常提示你，就是诱导你花钱去买更大容量的网盘，我个人感觉没有那个必要，有重要的东西会自己保存好，而不是用网盘这种方式。

[5] 吕骥,张尧学,周悦芝.云计算环境中P2P计算的优化组织模型[J]. 清华大学学报(自然科学版),2011(11).

你之前用的应该也是华为或者荣耀吧。要么买新的云空间，要么关闭提醒。

摄像头云存储也是覆盖式存储吗

6、文件重删技术，避免文件重复存储；

1.[6] 孟庆伟,刘婷.基于云计算的网络教学系统的设计与实现[J].信息与电脑(理论版), 2011(11).本地存储

本地存储，很多主流摄像头都支持的存储方式，基本上均选择了TF存储卡。在手机应用程序上，用户可以设置其存储机制，如24小时不间断录制或是检测到可以情况才进行录制。如果选择24小时不间断录制，在存储卡容量用尽时，用户需要选择覆盖此前内容或是停止录制。 本地存储的好处是不必担心厂商的云存储存在漏洞、造成隐私视频泄露的情况下，另外也不必支付月。

2.云存储

摄像头存储卡能存多少视频？

对于很多摄像头产品，比如运动相机、、USB摄像头、工业，一张外置的存储卡能存储多少视频，这和视频的分辨率、存储卡的内存大小有关系。视频的分辨率越高，所占用的内存就越大。而存储卡的内存越大，所存储的视频就越多。而一些家用摄像头，如果设置了自动循环摄像模式，一旦摄像头内存满了以后，一般就会通过自动覆盖新内容的方式，开始继续保存新的内容。