浪潮云海大数据一体机
11月27日,浪潮集团在京以“激活•大数据 浪潮云海大数据一体机”为主题,发布基于全新技术架构的大数据处理平台--云海大数据一体机,同期面向产业界正式发布大数据整体战略。
浪潮云海大数据一体机发布
浪潮推出的云海大数据一体机是面向大数据存储、处理、展现全环节、软硬一体化的方案型产品,目的是解决原有架构的扩展瓶颈和新技术条件下的客户应用门槛,进一步推进了大数据技术在我国各行业的应用。
浪潮云海大数据一体机集成了计算单元、存储单元、通讯单元、管理单元等核心模块,能够覆盖数据的存储、处理、展现等所有技术环节。浪潮采用硬件加速技术,设计了专门的FPGA模块固化特定算法,并集成多级缓存,数据排序性能提高了50%以上。另外,系统任务调度策略是影响系统响应及时性的重要技术,浪潮开发了动态调整任务执行模块,有效减少了慢任务数量,任务执行时间平均缩短16%。
同时,副本数量和存储效率是难以调和的矛盾,浪潮引入Reed-Solomon算法,优化分布式散列数据布局,满足文件高并发和高带宽双重需求同时平衡数据冗余度,所设计的两副本加编码的方式相对三副本最大可实现30%空间节省。
目前,浪潮云海大数据一体机面向视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用,可提供三个系列的个性化产品,同时为客户提供基于飞腾处理器、浪潮K-UNIX系统等国产技术的全国产方案。
产品特点和客户价值
新型技术体系架构:采用全分布式大数据处理架构,平台能够随着客户数据的增长和业务的扩张而不断增长,并且能够保持极高的线性度,解决了传统架构的扩展瓶颈,系统在扩展至120000核心时依旧保持0.8左右的扩展效率;
软硬一体化的系统:集成计算单元、存储单元、通讯单元、管理单元、等核心模块,是对数据存储、处理、展现的全环节的解决方案,由浪潮统一开发,能够统一交付,集中管理,用户可以轻松完成;
全局优化的系统:浪潮进行全局优化性能等技术指标大幅提升,在性能、可用性方面有了重大提升。
16%:通过优化系统任务调度策略,动态调整任务执行资源,减少慢任务数量,任务执行时间平均缩短16%以上;
30%:引入Reed-Solomon算法,优化分布式散列数据布局,满足文件高并发和高带宽双重需求同时平衡数据冗余度,浪潮采用两副本加编码的方式相对三副本最大可实现30%空间节省;
50%:采用多级高速缓存,固化特定算法到FPGA,实现硬件加速。经测试,1TB数据排序测试整体访问性能提高50%;
系列化、产品化:针对视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用这三类应用场景。云海大数据一体机根据用户应用特点提供个性化解决方案;
国产化:浪潮可提供基于飞腾处理器、浪潮K-UNIX系统等产品的全国产化方案;在敏感行业、关键数据,保障数据核心处理平台的自主可控;
专业化服务:从业务分析、应用移植、应用开发到运维服务的全环节服务保障。解决用户在实施分布式数据理架构面临的软硬件部署、二次开发等实际问题,帮助客户实现由传统数据仓库向新型大数据平台的平滑迁移。