「谷云科技」RestCloug 新一代（智能）全域数据集成平台发布_环球观天下
36氪
2023-05-19 12:13:25
5 月 18 日，RestCloud 在其成立六周年的当天，发布了 " 新一代（智能）全域数据集成平台 "。
根据业内专家、学者和从业者通过实践和研究总结，数据集成大体可以分为 4 个阶段：早期阶段、数据集成软件工具、企业级数据集成平台、现代数据集成平台。
(相关资料图)
一、数据集成平台的新发展方向
随着人工智能的不断发展，数据集成平台将向数据集成智能化迈进，RestCloud 认为 " 智能 + 数据集成 " 将开启数据集成的第五阶段。尤其是以 ChatGPT 为代表的新的生产力革命的出现，为数据集成技术的发展和应用带来了新的机遇和挑战。
GPT 不仅对数据分析领域产生了重大影响，对数据集成领域同样有着重要的影响。GPT 的出现与 RestCloud 一直强调的业务用户能够自主构建数据管道的理念是一致的，GPT 使得业务用户构建数据管道成为现实。
随着 GPT 大模型的发展，数据对于企业来说将变得更加重要。数据集成平台不仅可以为 GPT 提供训练数据，还可以实现数据的自动化训练和验证。同时 GPT 的发展又会反过来促进数据集成平台易用性的降低。
而数据集成平台未来的发展方向至少体现在以下 9 个方面：
人机协作和智能辅助：数据集成平台结合 GPT 大模型技术，实现人机协作和智能辅助功能。例如，通过自动化的数据映射和转换，智能推荐数据集成方案，提供智能化的数据集成建议和优化策略，从而提升用户的工作效率和数据集成的质量。智能化数据集成：利用人工智能技术，使数据集成过程更加智能、自动化，降低用户的工作负担，提高效率和准确性。
自助式数据管道构建：赋予业务用户能力，让他们能够自主构建、管理和维护数据管道，实现更灵活、快速的数据集成。
大模型集成：集成更多先进的大模型技术，如 ChatGPT，以增强数据集成平台的智能化和自动化能力，提供更强大的数据处理和分析功能。
数据质量管理：数据集成平台依赖 GPT 的能力将更有利于提供更高的数据质量管理能力，包括数据清洗、数据验证和纠错等方面。通过提供数据质量监控和管理功能，智能帮助用户发现和解决数据质量问题，确保数据的准确性和可信度。
数据安全和隐私保护：随着数据集成的不断增加，保护数据安全和隐私成为至关重要的方向。数据集成平台通过使用 GPT 技术来加强数据的安全性，采取有效的隐私保护措施，确保数据在集成过程中得到充分的保护和合规处理。
多源数据及应用集成：随着混合云的发展，企业的数据来源将更加多样化，多源数据集成成为一个重要的发展方向。数据集成平台需要具备能够连接、整合和处理多种数据源以及应用的能力，包括结构化数据、非结构化数据、实时数据等，从而实现全域数据集成。实用性和商业价值：注重研发实用性和商业价值的产品和解决方案，满足用户需求，解决实际业务问题，帮助企业实现数据集成的目标。
可扩展性和灵活性：随着数据规模和业务需求的增长，数据集成平台需要具备良好的可扩展性和灵活性。它应该能够适应不断变化的数据环境和业务需求，支持快速集成新的数据源和应用，同时具备良好的可定制性和扩展性，以满足不同企业的特定需求。
RestCloud 的愿景是全方位降低用户使用门槛，让业务人员能够像专业的数据工程师一样玩转数据，使数据成为更进一步的生产力提供支撑。
经过一年多的持续迭代，RestCloud 的最新产品（智能）全域数据集成平台，集成了 ChatGPT 技术，为客户提供更加智能化的数据集成解决方案。未来，RestCloud 还将集成更多的大模型，不断提升平台的智能化水平。
二、新功能介绍
新一代（智能）全域数据集成平台除集成 ChatGPT 技术，在功能上做了大量的优化工作。1、重构数据处理组件，让数据处理组件操作更合理，效率更高。2、重构了整个数据集成社区，构建一个更利于大家交流和探讨的社区。3、推出数据处理组件生态，该生态不仅包括组件开发工具，RestCloud 还提供最新研发的几百个数据处理组件和流程模板，集成了大量的主流业务系统和 SaaS 应用，接下来，RestCloud 还会不断的集成更多应用和组件。
新一代（智能）全域数据集成平台主要 7 项重大升级 : 包括 3 个新增加功能和 4 项优化
新增加功能为 :
1、智能构建数据管道
自然语言交互智能构建数据管道不但是用户的梦想，也是数据集成平台研发人员的梦想，虽然拖拽式数据管道构建已经大幅降低了数据管道的构建成本，但是相对于自然语言交互即可以让 AI 智能帮助我们构建数据管道仍然存在较大的体验差距，而新一代（智能）全域数据集成平台深度容入了 ChatGTP 的人工智能技术，普通业务用户通过简单描述需求我们即可帮助用户构建出数据管道，写 SQL、优化 SQL、构建数据管道，写脚本、自动实现数据映射等能力。
通过以下这些业务场景，看下集成 ChatGTP 的数据集成平台是如何智能构建数据管道：
读取存储城市数据表、存储国家数据表，变更将两种表记录合并，输出亚洲和欧洲国家的所有城市，并将结果保存到指定的数据库。
打开流程设计器，打开 AI 对话框，通过自然语言描述任务，自动生成任务任务流程。
1. 让 ChatGPT 根据客户数据自动编写邮件并发送
2. 让 ChatGPT 自动帮我们格式化数据并形成报表发送出去
3. 让 ChatGPT 自动帮我们分析数据并进行汇总
4. 让 ChatGTP 帮我们把数据进行对比分析找出差异并自动发送给业务人员
5. 自动化生成 GPT 所需要的训练数据，自动进行微调训练
更多的应用场景我相信我们的用户将了解的比我们更多…
2、分钟级数据服务发布
在最新版本中，RestCloud 凭借在 API 领域的强大技术实力，为数据集成平台带来了优越的数据服务解决方案。
借助 RestCloud 专业的 API 低代码开发平台，仅需几分钟，即可构建强大的数据即服务平台（DaaS），为业务提供快速、高效的数据支持。
3、兼容迁移 kettle
在不断的在探索中，RestCloud 深知，目前使用 kettle 的用户都要经受数据集成平台出现故障不能告警的痛苦，但却苦于找不到一款能真正替换 kettle 的 etl 工具，而今天 RestCloud 宣布通过融合 GPT 技术，已经实现了大部分 kettle 流程的无缝迁移到 RestCloud 数据集成平台，在接下来的版本，RestCloud 就会推出 kettle 流程迁移工具。
优化功能为：
1、毫秒级实时同步
在 CDC 实时数据同步领域，RestCloud 进行了重大升级，大幅提升了性能和用户体验，同时修复了之前版本存在的问题。
1. 极高的性能：通过优化算法和技术，RestCloud 实现了毫秒级实时数据同步，使数据能够以更快的速度从源系统到达目标数据仓库。用户可以即时获取最新的数据，支持实时分析和决策。
2. 轻量化部署：相比其他实时数据集成平台，RestCloud 的 CDC 实时数据同步解决方案非常轻量化，无需依赖复杂的组件如 Kafka。这降低了系统的复杂性和运维成本，让用户能够快速搭建实时数据集成环境。
3. 灵活的数据源支持：RestCloud 的 CDC 实时数据同步能够与各种主流数据源无缝集成，包括常见数据库、MQ、API 等。
4. 可靠的数据一致性：CDC 平台 RestCloud 重新设计了数据的一致性和完整性保障方案，确保在实时同步过程中数据不会丢失或损坏。
5. 简化的操作和管理：用户能够快速配置和监控实时数据同步任务。无论是设置同步规则还是监控同步状态，都能以直观的方式完成，减少了用户的学习曲线和操作难度。
CDC 实时数据同步能力能够帮助用户轻松构建实时数据仓库，并实现高效、可靠的数据集成。
2、离线数据传输性能优化
此外，RestCloud 的数据集成平台经过大量的性能对比测试，展现出了无与伦比的速度和效率。
通过先进的自动分片和多通道并行传输算法，RestCloud 能够使数据集成变得更快、更稳定。无论是批量数据处理还是实时数据同步，都能以闪电般的速度满足用户的需求。RestCloud 数据集成平台与 DataX、Kettle 进行从 MySQL 传输到 MongoDB 的数据对比测试中，RestCloud 分别用 100 万、500 万、1300 万、2000 万数据量进行多次压测，RestCloud 数据集成平台平均比 Kettle 快 26%。
3、ETL/ELT/CDC/ 调度 /API 发布一体化架构整合在数据集成同步任务中，选择 ETL、ELT 还是数据中台一直是个令人犹豫的选型问题。如今，RestCloud 的平台为您提供了一个全新的解决方案，将 ETL、ELT、CDC、和 API 发布集成到一个统一的平台上。
无论需要进行数据抽取、转换和加载，还是希望在目标系统中进行数据处理和分析，RestCloud 的一体化架构可以根据具体需求选择 ETL 或 ELT 的方式，同时结合 CDC 实现实时数据同步，通过灵活的调度功能实现任务的自动化管理，还可以方便地发布和管理 API。
这种一体化架构不仅简化了数据集成的复杂性，还提高了工作效率和数据质量。用户不再需要在不同的工具和平台之间切换，而是可以在一个统一的环境中完成所有的数据集成任务。
4、满足金融级高可用架构优化
在架构上 RestCloud 提供了更加完善的技术方案，同时也对产品进行了相应的架构调整让产品可以支持金融级高可用方案、实现了管理、调度和执行节点的分布式部署架构，实现资源在多节点中的动态调度。
通过这种架构，系统能够在多个节点上平衡负载，提高性能和可用性。管理节点负责整个系统的监控、配置和管理，确保系统的稳定运行。
调度节点负责根据负载情况和资源需求，动态地分配任务和资源到可用的执行节点。
执行节点是实际执行计算任务的节点，它们根据调度节点的指令执行任务，并将结果返回给管理节点。
这种分布式部署架构能够有效地提高系统的并发处理能力和容错性，确保系统在高负载和故障情况下依然可靠运行。
三、共建数据集成良性发展生态
全域数据集成平台的发展离不开生态的构建和合作，RestCloud 推出了数百个数据集成组件，集成了近百家主流应用系统，为用户提供了广泛的选择和灵活性，用户只需简单下载和安装这些组件，即可轻松实现与主流业务系统和 SaaS 的数据打通，数据可在分钟级内汇入到数据仓库中。
这一开放生成的策略为用户提供了更快速、高效的数据集成体验，加速数据流动和汇聚，实现数据价值的最大化。通过构建完善的生态系统，我们致力于为用户提供更广泛、更便捷的数据集成解决方案，与合作伙伴共同推动数据集成平台的进一步发展。
在数据集成领域中，很多厂商仅仅对开源产品进行简单的封装或者制作粗糙的产品，今天，RestCloud 推出的 " 新一代（智能）全域数据集成平台 "重新定义了数据集成产品的应用标准。
这标志着 RestCloud 在数据集成领域又迈出了坚实的一步，该平台可为客户在数仓建设、数据治理等方面提供更可靠、高效的帮助，实现客户的数字化战略，从而让用户获益。
RestCloud 未来将继续开放共享其技术和产品，与合作伙伴一起帮助更多的大中型企业实现数字化战略。
