买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉众邦银行股份有限公司申请的专利一种基于kafka和log的数据抽取和同步方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115185942B 。

龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210746292.8，技术领域涉及：G06F16/22；该发明授权一种基于kafka和log的数据抽取和同步方法是由严东;程峰;李耀;彭磊;刘珏设计研发完成，并于2022-06-28向国家知识产权局提交的专利申请。

本一种基于kafka和log的数据抽取和同步方法在说明书摘要公布了：本发明涉及信息技术领域，提供了一种基于kafka和log的数据抽取和同步方法，通过使用各个系统的增量log作为数据基础，数据使用方通过订阅kafka来消费log解决上述方案存在的问题。在此方案中，提供搜索服务的使用方将日志保存到HBase中，提供缓存服务的使用方可以将缓存数据保存到Redis中，数据同步的使用方可以将数据保存到自己的数据库中，由于kafka中的日志数据是可以重复消费的，并且会缓存一段时间，各个使用方可以通过消费kafka中保存的日志来达到既能保持与数据库的一致性，也能保证数据的实时性。

本发明授权一种基于kafka和log的数据抽取和同步方法在权利要求书中公布了：1.一种基于kafka和log的数据抽取和同步方法，其特征在于：包括以下步骤： 步骤1、将日志从源系统实时抽出，并以增量或者全量的方式进行抽取，获得抽取的日志，写入kafka指定的日志抽取同步topic中； 步骤2、将日志抽取同步topic中的日志，进行解析脱敏，规定统一消息格式，放入到kafka对应的脱敏日志消息topic中； 步骤3、将kafka中的数据，通过消费端，重放入HDFS中； 步骤4、HDFS中的数据经过清洗，放入到HBase中进行保存，供其他系统来查询调用； 步骤4包括以下步骤： 步骤4.1:数据进行加工，并判断数据幂等性，包括以下步骤： 步骤4.1.1:使用业务消息主键和指定列，做为联合唯一索引，找到需更新的消息列； 步骤4.1.2:如果有存在相同的消息，继续判断消息的_ums_id_的大小，如果比存在的大，说明消息较新且有改动，可以插入，如果小，则说明消息可以抛弃，不用插入； 步骤4.1.3:根据此逻辑，保证消息的幂等性，继续插入或更新数据； 步骤4.2:选择rowkey，按照业务属性，选择多列做联合主键； 步骤4.3:选择version，version为此列数据的更新版本号，用于数据幂等与时序的判断，使用_ums_id_+偏移量，做为row的version； 步骤4.4:利用_ums_id_的唯一性和自增性，与version自身的比较关系一致，即version较大等价于_ums_id_较大，对应的版本比较新； 步骤4.5:以集合操作的方式实现数据在HBase中保存的幂等，包括以下步骤： 步骤4.5.1:根据集合中的主键到目标数据库中查询，得到一个已有数据集合； 步骤4.5.2:将原始数据集合与查询到的目标数据集合进行比较，分出两类： 1、不存在的数据，即这部分数据进行insert； 2、存在的数据，比较_ums_id_，最终只将那些_ums_id_较大row更新到目标数据库，小的直接抛弃。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉众邦银行股份有限公司，其通讯地址为：432200 湖北省武汉市黄陂区盘龙城经济开发区汉口北大道88号汉口北国际商品交易中心D2区1-2层、22-23层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。