上海霄云信息科技有限公司王飞平获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海霄云信息科技有限公司申请的专利用于分布式存储系统IO实时聚合的方法及设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116204125B 。
龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310171876.1,技术领域涉及:G06F3/06;该发明授权用于分布式存储系统IO实时聚合的方法及设备是由王飞平;石连星;赵磊;李智设计研发完成,并于2023-02-27向国家知识产权局提交的专利申请。
本用于分布式存储系统IO实时聚合的方法及设备在说明书摘要公布了:本发明提供了一种用于分布式存储系统IO实时聚合的方法及设备,包括:聚合对象拥有{写入名+分配大小+引用计数}等属性,且最终聚合对象文件大小不超过设定大小。IO写入前先查询元数据管理节点,对于新文件写入,发送生成聚合对象请求到聚合对象生成器节点获取聚合对象名及写入偏移量;对于已存在文件的覆盖写IO,写入请求不超过原大小部分,使用原聚合对象写入;对于超过部分发送剩余大小请求到聚合对象生成器节点以获取新聚合对象。本发明提供的IO实时聚合方法能在分布式存储系统中不用分布式锁高效工作,并极大降低最终写入硬盘的文件总数,实践中超100亿文件写入性能不衰减。
本发明授权用于分布式存储系统IO实时聚合的方法及设备在权利要求书中公布了:1.一种用于分布式存储系统IO实时聚合的方法,其特征在于,包括: 步骤S1,获取申请写入文件的完整写入IO请求,所述完整写入IO请求包括:文件路径、偏移量、申请写入文件大小,其中,所述偏移量为0; 步骤S2,基于所述完整写入IO请求,在元数据管理节点查询申请写入文件是否存在; 步骤S3,若文件不存在,则获取申请写入文件对应的新聚合对象的写入名及写入偏移量; 步骤S4,若文件存在,获取申请写入文件的剩余大小部分对应的新聚合对象的写入名及写入偏移量,其中,申请写入文件的剩余大小部分=申请写入文件大小-原文件的大小; 步骤S5,通过位置生成器基于步骤S3获取到的新聚合对象的写入名,产生实际写入本地文件系统路径;基于实际写入本地文件系统路径、文件大小和步骤S3获取到的新聚合对象的写入偏移量,尝试将申请写入文件写入对应的存储节点的硬盘;或,通过位置生成器基于原聚合对象和步骤S4获取到的新聚合对象的写入名,分别产生对应的实际写入本地文件系统路径;基于实际写入本地文件系统路径、申请写入文件大小和步骤S4获取到的新聚合对象的写入偏移量,尝试将申请写入文件写入对应的存储节点的硬盘; 步骤S6,若申请写入文件写入成功,则将文件ID、申请写入文件大小、新聚合对象的写入名和新聚合对象的写入偏移量记录到元数据管理节点; 步骤S4,若文件存在,获取申请写入文件的剩余大小部分对应的新聚合对象的写入名及写入偏移量,包括: 步骤S41,若文件存在,则比较申请写入文件的大小和原文件的大小, 步骤S42,若申请写入文件的大小=原文件的大小,则使用原文件的聚合对象; 步骤S43,若申请写入文件的大小原文件的大小,则申请写入文件的小于等于原文件大小部分使用原文件的聚合对象;申请写入文件的剩余大小部分=申请写入文件的大小-原文件的大小;通过向所述聚合对象生成器节点发送申请生成申请写入文件的剩余大小部分对应的新聚合对象的请求,其中,所述申请生成申请写入文件的剩余大小部分对应的新聚合对象的请求,包括:申请写入文件ID,申请写入文件的剩余大小部分;并从聚合对象生成器节点获取,基于所述申请生成申请写入文件的剩余大小部分对应的新聚合对象的请求,反馈申请写入文件的剩余大小部分对应的新聚合对象的写入名及写入偏移量; 步骤S43,从聚合对象生成器节点获取,基于所述申请生成申请写入文件的剩余大小部分对应的新聚合对象的请求,反馈的申请写入文件的剩余大小部分对应的新聚合对象的写入名及写入偏移量,包括: 步骤S431,聚合对象生成器节点从内存文件系统中加载聚合对象集合Ø,其中,聚合对象集合Ø中的每个聚合对象的属性包括:写入名、已分配大小和引用计数; 步骤S432,聚合对象生成器节点读取配置文件信息,所述配置文件信息包括:预设的聚合对象大小的上限值、聚合对象集合的预设规模N、本地后端IP地址及所述本地后端IP地址对应的网卡MAC地址和主机名hostname; 步骤S433,若聚合对象集合Ø中的聚合对象总数M小于预设规模N,则在所述聚合对象集合Ø继续创建N-M个聚合对象,并为每个新创建的聚合对象配置写入名、已分配大小和引用计数,其中,每个新创建的聚合对象的写入名=“HASHMAC+HostName”+“128位整数随机值”,已分配大小的初始值设置为零,引用计数的初始值设置为零; 步骤S434,从聚合对象集合Ø中选择已分配大小最小的聚合对象, 步骤S435,若选择的聚合对象的已分配大小+申请写入文件的剩余大小=设定聚合对象大小值,则选定该聚合对象; 步骤S436,更新选定的聚合对象已分配大小及引用计数,其中,已分配大小=选定的聚合对象原来的已分配大小+申请写入文件的剩余大小,引用计数=选定的聚合对象原来的引用计数+1; 步骤S437,将选定的聚合对象原来的已分配大小作为选定的聚合对象的写入偏移量,聚合对象生成器节点向生成申请写入文件对应的新聚合对象的请求,反馈申请写入文件对应的选定的聚合对象的写入偏移量和写入名; 步骤S438,若选择的聚合对象的已分配大小+申请写入文件的剩余大小设定聚合对象大小值,从聚合对象集合Ø中移除选择的聚合对象,并将移除的聚合对象的写入名、已分配大小和引用计数,记录至元数据管理节点后,重新转到步骤S433执行; 步骤S6,尝试将申请写入文件写入对应的存储节点的硬盘之后,还包括: 步骤S7,若申请写入文件写入失败或文件删除,则向所述聚合对象生成器节点发送减少引用计数的请求; 步骤S7,向所述聚合对象生成器节点发送减少引用计数的请求,包括: 步骤S71,根据减少聚合对象的引用计数的请求中的聚合对象的写入名名查出该聚合对象名来自的聚合对象生成器节点的IP地址,基于所述聚合对象生成器节点的IP地址,向对应的聚合对象生成器节点发送减少引用计数请求,所述减少聚合对象的引用计数的请求包括:减少聚合对象的写入名; 步骤S72,基于所述生成器节点发送减少引用计数请求,在元数据管理节点查找减少聚合对象的写入名,若元数据管理节点存在减少聚合对象的写入名,则在元数据管理节点中将减少聚合对象的引用计数减1;否则,在聚合对象集合Ø中查找减少聚合对象的写入名,若聚合对象集合Ø存在减少聚合对象的写入名,则将减少聚合对象的引用计数减1;若所述聚合对象集合Ø中不存在减少聚合对象的写入名,则返回失败; 步骤S73,若元数据管理节点或聚合对象集合Ø中的某个聚合对象的引用计数为零,则将该引用计数为零的聚合对象从元数据管理节点或聚合对象集合Ø中删除。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海霄云信息科技有限公司,其通讯地址为:200240 上海市闵行区剑川路951号零号湾1号楼南楼815A室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励