NCS 10000 非一般的分布式存储系统 “全场景覆盖”探秘
摘要: 随着互联网、大数据、高性能计算等领域的快速发展,前端应用对数据存储和处理的依赖度越来越高,而且数据越来越大、数据越来越多。
随着互联网、大数据、高性能计算等领域的快速发展,前端应用对数据存储和处理的依赖度越来越高,而且数据越来越大、数据越来越多。这需要存储系统既要支持TB级大文件进行高性能计算,还要能保障百亿级海量小文件的快速创建、快速索引、快速读写。如何实现存储系统支持“大文件+小文件”的全场景覆盖,成为众多存储企业面临的难题。
同有科技(300302)推出的NCS 10000分布式存储系统,从软硬件入手,通过客户端资源优化、网络核心模块、数据切片及存储介质等方面的技术创新,单点读、写性能最高可达6GB/s,支持TB级大文件使用场景。
同时,在设计之初,就考虑到大文件小文件全场景覆盖的使用场景,NCS 10000分布式存储单一文件系统可有效支持百亿级海量小文件场景。通过以上多项技术创新,使得同有科技NCS 10000分布式存储系统“大文件小文件全场景覆盖”能力,达到了传统分布式文件系统的数倍。
NCS 10000分布式存储系统的全场景覆盖能力,是如何做到的呢?
通过客户端资源优化、网络核心模块、数据切片及存储介质等方面的技术创新,让存储集群的单点读写性能最高可达6GB/s,是传统分布式存储系统性能的数倍,从而高效支撑TB级大文件场景。
通过纠删码、多副本、负载均衡、快照与克隆、远程数据复制等数据校验及安全机制,确保TB级大文件存储及访问时安全无忧、冗余可用。
采用元数据优化、软件算法、小文件聚合等多种技术,实现海量小文件快速创建、索引、读写,比传统分布式文件系统海量小文件场景性能提升数倍,有效支撑百亿级海量小文件场景。
除了全场景覆盖,NCS 10000分布式存储系统还具有极致性能、超高并发、全应用兼容、数据全生命周期管理等优势,支持文件、块、对象、大数据存储协议,适用于高性能计算、海量数据(603138)存储、大规模视频监控、大数据分析等应用领域。
文件,存储,支持