EDS存储摘两金，创新架构突破小文件性能瓶颈

最近，由Baiyi Media（DOIT）主办的“2022数据与存储峰会”在北京成功召开，本次会议以“数据觉醒新时代”为主题，旨在探索数据存储新时代的新方向，表彰优秀企业，具有其卓越性能的云企业级存储EDS，连续荣获“2022分布式存储金奖”和“2022文件存储金奖”两项大奖。为什么云EDS在峰会上连续两次获奖？在Definitive Storage Solutions总监Wang Zhicheng的主题演讲“存储如何应对GPU计算能力爆炸式增长的小文件性能挑战”中，您可能会发现答案。

GPU计算能力爆炸式增长带来的存储挑战是什么？王志成指出，以GPU为核心的智能计算能力占比将从2016年的3%上升到2020年的41%，GPU计算能力的高速发展催生了大量数据密集型工业应用，这些应用数据存储面临三大挑战。许多业务生产流程都会生成大量KB级别的小文件，如芯片设计前端设计方案和真实3D建模方案，但传统NAS存储和新兴分布式存储都受到元数据处理体系结构、网络延迟等限制。很难有效地解决小文件处理性能问题。以基因测序为例，数据量激增，“无法存储”成为主要挑战，在当前环境和人口老龄化的影响下，基因测序服务公司每年新增的数据量高达10PB。传统存储无法跟上现有业务的数据增长速度，想要扩展，但需要面临硬件与厂商耦合、成本高、扩展周期长等一系列问题。行业的业务需求呈现出多样化的演进趋势，数据存储的大带宽支持能力、大规模的小文件访问延迟和对复杂场景的适应性，对存储提出了极高的要求，要求更高效的数据访问能力。“在当今的环境中，我们需要更高性能和可扩展的企业存储系统来提高业务数据的生产力。“王志成这样说。云分布式存储EDS，高性能突破瓶颈王志成援引Gartner报告“软件定义是存储的唯一变革性技术”的观点，向我们展示了未来存储的发展方式。与传统存储相比，以软件的形式定义存储，在软件定义的基础上，可以提供更好的场景适应性、更高的性价比和更灵活的扩展能力。Cloud EDS通过PhxDFS（一个完全自我研究的高性能文件系统）和五项核心技术，提高了存储的综合能力。为了解决性能不足的问题，EDS将完整的目录分片分发到每个存储节点，充分利用所有节点的CPU计算能力，突破元数据性能瓶颈。与Ceph架构的分布式存储相比，元数据处理能力提高了3倍以上。元数据高效压缩算法，数据在“可保存”的大量小文件场景中，元数据的规模可能达到TB级，是EDS自研元数据压缩算法，用于将更多元数据缓存在有限的存储空间中，该技术最大可支持71个压缩比。在百亿小文件场景中，实现元数据和热数据100%命中内存缓存，可以“存储”数据，“快速查找”数据。数据三级缓存机制，加快数据访问速度EDS在追求高性能的同时，也注重数据读取效率。在独特的客户端模式下，EDS将客户端内存、存储节点内存和大容量NVMe固态磁盘构建成三级缓存，实现数据和元数据的近距离访问，实现命中和返回，并将热数据的访问延迟降低到US级。数据访问将比以往任何时候都更快、更有效率。高性能RDMA网络，降低网络时延，EDS支持在存储业务网络和存储专用网络中用RoCE v2协议替换TCP/IP协议，网络时延可降低90%以上，业务连接仅为9-16us，可大大缩短业务数据的连接时间。数据智能聚合添加写入，提高效率EDS将文件IO提供高性能层（NVMe或SATA SSD）聚合后在容量层（机床）追加写入，有效解决小文件写入放大造成的容量浪费，利用机床自身顺序写入性能的优势，进一步降低EC写入损耗的影响。在提高写入性能的同时，有效提高60%以上的反向刷速度，进一步减少数据存储、调用时间，提高业务效率。云企业存储EDS可帮助您保护您的数据。我们积极参与持续的技术创新，参与了超过20，000个客户和300多个PB级项目的交付。展望未来，EDS将继续完善其产品，与客户合作，共同打造高性能存储时代的数据愿景。