跳到主要内容

5 篇博文 含有标签「文件管理」

查看所有标签

大客户海量存储和高并发文件管理实践

· 阅读需 5 分钟
何丰良
技术支持人员

随着悦库向大客户服务发展,在多年技术积累和产品良好口碑基础上,我们陆续为多家大客户实现了组织内的文件管理解决方案,这些大客户包括国家电网、军方、省级电信、文物保护机构等。

通过对比大客户和中小客户的需求差异,我们发现大客户会首先关注悦库企业网盘的海量存储、数据安全、高并发、高负载等系统能力,而中小客户更关注悦库能满足自身需求的具体业务功能。

国家电网

在国家电网客户应用场景中,现场工作人员用无人机对电网设施进行运维巡检,拍摄大量高清照片,上传到悦库网盘中存储和管理:

162610EB-0

在今年早些时候,国家电网将自己的原有的OA系统和悦库进行对接共享文件数据,实现了更高效便捷的的文件访问能力:image-20231213140249967

在这个案例中,国家电网更侧重文件数据的海量存储,目前数据容量已经超过200TB,图片文件数量接近1000万个,我们的研发工程师为其做了大量技术支持和性能优化工作。

军方组织

目前悦库已经为多个军方客户提供文件管理能力,由于军方拥有严格的保密制度,我们无法了解客户的具体应用场景。最近其中一个大型军方客户将悦库企业网盘迁移到国产Linux系统平台中,该系统硬件强大,拥有128核ARM CPU+128GB内存。

U10553

成功迁移后,上千人同时使用,并发量很大,遇到连接卡顿问题,由于我们无法直接查看军方服务器,只能与技术接口人沟通问题现象,经过一周多时间断断续续的艰难排查,终于确认是Apache服务在Linux下的高并发问题。

在这个军方用户案例中,我们花费了大量精力用脚本模拟和重现了高并发场景中的问题,并在自己内部I5-9600K CPU +16G内存, Linux系统环境中,实现了1200个并发访问的测试验证。最终我们成功为客户解决问题。

一些总结

在大客户组织中,对系统主要需求特点是:访问人数多、存储数据量大。

访问人数多,则要求系统拥有高并发、高负载、高可用能力,支撑业务正常运行。

数据量大,则数据整体损失成本非常高,因此很看重数据安全性,对数据安全方案很重视。

悦库企业网盘提供了大量特性来支持这些场景:

大客户系统需求单机版方案集群版方案
海量存储支持最多200TB存储分布式PB级存储
数据安全跨机冷备集群热备
高并发访问单机1000用户并发访问多机集群,万级并发访问
高负载受限于单机性能多机集群,可横向扩展
高可用性多机集群,故障节点自动漂移