使用RSSBus Connect进行批处理
如果您希望将来自多个系统的数据集成到数据仓库或数据池中,您有多种方法可以选择。包括批处理,实时触发工作流程以及订阅。RSSBus Connect为您提供了一个带有单一用户界面的工具,支持以上所有方法。 本文将重点介绍何时以及为什么要使用批处理以及如何使用RSSBus Connect实现数据集成。 什么是批处理? 从历史上看,大多数数据处理技术(如数据仓库)都是为批处理而设计的。确实,实时和流媒体数据集成技术的应用越来越广。但正如电台在电视时代依然保留一席之地,批量处理一时间也不会消失。 批处理一次能处理大量的记录。新到达的数据元素被收集到一个组中,然后等待处理,管理人员可以完全控制何时以及如何处理。例如,他们可能会安排批处理作业以固定的时间间隔(例如,每15分钟,每小时,每晚)运行,或者按条件触发任务(例如,当批次包含超过1MB的数据时),批次包含所有新修改的记录或满足指定条件的所有记录。批处理通常在脱机情况下工作,选择晚上运行,以避免破坏生产系统上的日常活动。 优点:高性能,低成本 经过优化以执行大批量重复性任务,批处理提供了一种快速处理大量数据的方法。例如,使用批处理将20,000行插入数据库要快得多,然后将每行作为单独的事务插入。由于自动化处理消除了对专业数据录入员的需求,因此也降低了运营成本。 应用案例 [...]


