金融界2024年6月17日消息,拉卡拉支付股份有限公司近日在天眼查知识产权信息中公布了一项重要专利,名为“数据处理方法、装置、电子设备、存储介质及程序产品”,授权公告号为CN112799820B,申请日期为2021年2月。
此项专利的核心技术在于一种创新的数据处理方法,该方法能够显著提升大数据处理作业的效率。具体来说,该技术首先识别在数据写阶段由数据产生端产生的数据分区中的数据量,并将数据量超过预设阈值的数据分区作为目标分区。随后,系统生成多个任务标识,并建立这些任务标识与目标分区中数据之间的映射关系。这些任务标识随后被分配给不同的数据处理任务,在数据读阶段,数据处理任务能够根据映射关系从目标分区中读取并处理对应的数据。
通过这种方法,拉卡拉支付成功解决了在大数据处理中常见的Shuffle阶段数据倾斜问题,即由于某个数据分区中数据量过大,导致数据处理任务效率低下的问题。通过并行启动多个数据处理任务对目标分区中的数据进行处理,该技术显著提升了大数据处理作业的整体效率。
总结来说,拉卡拉支付股份有限公司的这项新专利不仅展示了其在数据处理领域的创新能力,也为公司未来的大数据处理提供了更为高效、稳定的技术支持。