跳到主要内容

6 篇博文 含有标签「文件管理」

查看所有标签

跨地域文件管理集群

· 阅读需 8 分钟
何丰良
技术支持人员

跨地域集团公司在实施统一文件管理时,往往受限于物理距离导致的跨国或跨区传输延迟,严重影响异地协同效率。同时,由于组织架构极其复杂,管理层很难在总部集中管控与子公司业务隔离之间找到平衡,极易引发内部权限失控及核心机密泄露风险。此外,由于各分支机构命名标准不一且检索技术滞后,海量高价值文档被封存在各地的服务器中形成信息孤岛,导致集团难以将碎片化的数据转化为统一的知识资产。

现状

目前文件服务系统通常部署在总部机房,其他子公司通过内部VPN连接访问,由于在跨地域访问时必须使用外网连接,而总部机房一般都存在外网带宽瓶颈,我们知道文件传输尤其是大文件传输是非常耗费网络带宽的,这样总部就无法很好地满足多个子单位人员同时连接到总部文件管理系统进行大量的文件上传/下载操作,如下图:

image-20260115095858578

为了解决传输性能差问题,我们一开始制定了一套 "主-边存储" 方案,即 "主存储-边缘存储" 方案,主存储部署在总部,边缘存储部署到子单位中。这样外部子单位上传文件时先缓存到单位内的边缘存储服务器,然后空闲时间再同步到总部服务器。从总部下载文件时也会先缓存到子单位内部边缘存储服务器上,后续单位内下载重复数据就可以直接访问内部边缘存储服务器了,如下图:

image-20260115095725732

这种方案看起来能一定程度上缓解总部存储服务器压力,但如果各个子单位每日数据增量很大的情况下,可能会出现数据永远无法同步到总部服务器的情况。

我们举个例子:假如从外网中上传到总部的带宽为10MB/S,每日空闲时间为下午7点到第二天的8点共13个小时,那么总部每天最多可以接收大约468GB的数据,这是理想情况,实际外网传输速率往往非常不稳定,尤其距离太远甚至跨国访问的情况下,速度折损很大。而实际情况可能是各个子单位中每日产生的新数据可能远大于总部空闲时间能接收的数据量。同样的,子单位中首次下载新数据则完全受限于总部的带宽。在这种架构下,传输性能问题根本无法完美解决且最终会导致整个文件管理系统使用体验不够流畅。

跨地域集群

跨地域文件管理集群,将安全管理和文件管理解耦。由总部统一授权安全管理操作,涉及组织、角色、权限和文件的操作管控,各单位根据总部的安全管理策略执行文件管理操作。

在各单位中分别部署本地文件服务节点,以缓解总部节点压力。并且单位中的本地服务节点在与总部节点网络断开时依然可以在单位内部进行正常的文件管理业务。

image-20260120101910588

集权管理

对于集团化组织,虽然各个子单位可能分散到不同的地域,却同属于一个集团,存在基于集团规则进行统一安全管理的需求,因此能够对组织、角色、权限等高权重的安全业务统一管控有利于对整个集团文件资源的合理掌控和管理。

整个文件服务集群中有多个服务节点组成,节点类型分为总部节点和单位节点,每个节点都有全部的业务功能和独立存储能力,总部节点只有一个,由集团总部部署,负责集权管理,单位节点可以由每个单位分别部署,与总部节点保持连接状态,并且各个单位节点之间网络是可以互通的,这样可以满足单位之间的文件共享访问。

总部节点拥有组织、角色、权限等安全管理数据,单位节点在与总部保持连接的同时从总部节点同步这些数据,当单位节点需要修改安全管理时也必须与总部保持连接,一旦单位节点离线,则不能再修改安全管理数据,但由于本地已同步这些数据,因此依然可以正常读取,而不影响其他文件业务的正常访问。

总部节点应该拥有所有单位节点的日志信息,单位节点定期将节点日志上传到总部节点,这样便于总部管理员检索日志。

就近存储、就近服务

整个文件服务集群中有多个跨地域的服务节点组成,每个节点都有全部的业务功能和独立存储能力,总部节点只有一个,由集团总部部署,负责集权管理。

单位节点可以由每个单位分别部署,服务和数据就近提供,单位节点与总部节点保持连接状态,各个单位节点之间网络互通,可以满足单位之间的文件共享访问。

本地的单位节点由对象存储服务、数据库服务、网盘服务、在线预览服务、病毒扫描服务等多个服务组成,如下图:

在文件空间中,文件数据由结构化数据(文件元信息)和对象数据(文件块数据)组成,其中结构化信息存放到单位节点的数据库服务中,对象数据存放到单位节点的对象存储服务中。当A单位中的人员访问自己单位中的文件空间时,系统会从本地单位的数据库服务中调取数据,下载文件时会从本地对象存储服务中调取数据,当预览Office文件时也会使用本地的在线预览服务,因此访问速度会很快。

跨地域协作

由于集团化组织中的各个单位分散于多个地域,不可避免的需要单位之间的协作,比如A单位人员可能需要访问B单位的文件,而B单位中的人员也可能需要从A单位中检索需要的文件,这会涉及跨地域跨单位之间的文件上传、下载、检索等功能。因此我们在整个系统中既要满足单位内部文件管理的需要,也同时要无缝的实现跨地域单位的文件协作,使用者应该对单位间的文件访问与单位内访问没有明显的操作差别,只是跨地域访问时由于外网带宽的限制性能会有差异。

加入节点

单位节点建立后,需要携带节点服务的连接信息向总部申请加入组织,由总部建立单位节点和单位组织的绑定关系,这样后续其他单位同步组织后也可以获取这个单位节点的信息,并可以连接到这个单位的节点服务。

跨地域单位文件协作

当A单位的人员需要访问B单位空间中的文件时,需要先获取文件空间的信息,并连接到文件空间所属单位对应的数据库节点上,执行查询操作获取文件元信息。这个过程都是由本地单位节点中的网盘服务完成的。原则上,对于文件访问的处理,无论文件实际是存放在本地还是其他单位上,都是由本地单位的网盘服务执行业务操作,只是获取文件数据时才需要连接到远程单位节点的服务进行读取。

跨地域单位文件检索

文件检索分为全局检索和局部检索,由于文件检索可能是跨地域跨单位的,在全局搜索情况下,不可能逐个单位中搜索文件,需要在总部节点中检索。对于某个空间的局部检索,则可以在空间所属单位节点中检索,这样更快速。

其他操作

日志也分为单位内日志和集团日志,单位内产生的操作日志先写到本地节点,后续再同步到总部节点中,查询时如果与总部失去连接则从本地日志中查找,否则优先从总部节点中查找,这可能需要日志在数据库中的结构信息要在单位和总部节点服务中保持一致,这样更方便同步和查找切换。

其他节点服务,如病毒扫描服务和在线预览服务,则单位节点都是只使用本地服务,即使跨单位在线预览文件,也是优先使用本地的预览服务打开远程文件。

AI融合

企业文件管理系统中,每个人都有独立的文件访问账号,如何建立数据隔离安全机制,让AI为我们带来便捷的同时不至于越权访问到其他人的文件内容?

人工智能 - AI x 企业文件管理

最后

通过实现跨地域文件服务集群,各个子单位中拥有自己的文件服务节点,可以独立存储文件并提供内网服务,即使与总部断开连接也不影响单位内的文件正常访问,既能满足单位文件的高效文件管理和访问,也能满足集团组织对各个子单位人员和文件资源的统一管理。