大数据迁移与同步：全域数据

  企业组织在混合多云、开源技术、软件定义、数据资产等趋势背景下，持续引进敏捷开发、持续集成、企业中台、微服务架构、各类平台即服务等实践。导致在处理历史遗留和推进新建项目的过程中，面对释放数据生产力而亟待解决的系列问题：

• 业务创造型、数据技能型的人才协作；
• 业务线谋变的窗口期、技术栈应变的复杂度；
• 服务多样、数据分散、异地异构点状建设项目的动态运营现状；
• 数据访问门槛、数据运营模式、技术开发架构等工程化配套能力缺失；
• 长期横跨在多样的数据资源生产者与多元的业务场景构建者之间的瓶颈；
• ......

   全域数据是用于大数据平台、数字化企业等建设进程中解决数据资源孤岛、数据资源运营等问题的基础软件。面向企业内各级组织和人员在日常工作中所需使用的多套业务系统产生的数据资源，提供异构数据适配、多源数据纳管、异地数据传输、按需同步调度等标准服务功能，实现企业内各业务系统之间的全量数据贯通效果。同时，也可通过自助式界面完成数据语义探索、数据质量评估、数据模型融合、数据开放共享等增强服务功能，实现企业内各业务领域之间的全域数据运营效果。

  以简洁易用的自助式用户体验界面和统一标准的自适应数据模型接口为基础，围绕数据资源取用的流转过程，聚焦数据资源的流动性、联动性、可见性、可用性、扩展性等与释放数据生产力相关的数据资源运营维度，并降低企业组织及人员在各类数据资源取用过程中面对的工程技术门槛和团队协同瓶颈，强化数据资产的管理与服务能力，从而持续提升数据质量及其对业务场景的应用价值。

  与传统信息化管理建设所采用的数据集成软件的明显区别在于减少技术工作、参与数据运营、提升数据质量、传递数据价值、增强数据文化等多个方面。比如，提供统一标准的自适应数据模型接口可便于快速扩展适配更多数据源种类，且同时可使用预置多种常用数据源适配器；提供数据语义探索……数据开放共享等在持续运营过程中实现数据的知识迭代和累积，在团队协同与开放共享的环境下，群策群力并使得整个企业组织团队和业务应用场景受益。

  以可视化、看板化、卡片化、模块化、平面化作为用户体验设计基础，将界面内容按目录、层级、分类、路径、标签等维度按结构化思路进行排版整理，以图标、图形、图表为主进行版面呈现，结合色系渲染与色彩对比达到视角引导，提供简洁的用户界面视图，使用户的认知理解更清晰直观，达到一目了然的视角效果。结合滑动、拖拽、框选、搜索、点击、选择等高效操作，并基于自动化填充、默认值建议、预定义策略等方式尽可能减少用户操作步骤，提供简化的用户操作行为，使用户的使用过程更精简快捷，达到简单易用的体验效果。

  针对同一个企业的多层组织单元，如集团公司、分子公司、职能部门、岗位人员等定义统一为构成企业组织的基本单元。全面覆盖异地的多个组织单元或异同的业务体系，通过层级联动的方式将组织数据整合为一套多层组织架构。以组织单元为基础，实现对数据源和服务器的所有权归属控制。并由各层级的组织单元自助控制数据源的适配纳管和开放共享等管理策略，以及服务器的配置规格和负载控制等管理策略。从而便于各组织单元可结合自身实际情况动态调整和维护其数据源、服务器等。可更灵活地持续建设和因地制宜将历史遗留或新增扩建的各类业务系统数据，按需分批分期进行适配、纳管、调度、运营等操作。将各组织单元的内在差异控制在本组织单元内，形成高内聚的数据服务后，共整个企业组织进行统筹管理。同时，在整个企业组织架构下可采用分层控制，降低各层组织单元之间在数据运营行为的耦合性，保障数据资源归属地组织的合规性。各组织单元通过独立部署、自助运营，以及服务级联提升系统负载能力的扩展性，从而达到构建成整个企业组织范围内数据孤岛的全量贯通和全域运营等目标。

  针对企业的数据资源存储分布在多地的场景下，无论是边缘组织的数据资源、还是中心组织的数据资源，亦或是私有云与公有云环境中的数据资源，可采用在异地部署多套调度系统软件的模式，并通过各节点控制网关服务将多套调度系统软件构建为可协同的云边服务环境，从而形成系统之间的服务联动以实现数据贯通效果。同时，各套调度系统软件的服务在每一台服务器内可采用多租户配额实现对协同模式下的多任务负载资源的动态配置和维护，保障各任务可按数据源优先级划分服务器负载资源，从而正常运行以避免任务间的相互影响。并可在中心组织的调度系统软件上完成对多个异地边缘的调度系统软件进行统管统控、以及远程控制策略分发和生效等操作。

  对于各业务系统所产生的数据资源，调度系统软件采用就近建立数据访问连接，避免组织单元因外部直接连接业务系统的数据存储服务的不可控性带来额外的安全影响。针对不同数据源连接可自助定义多个业务时段下的连接并发量和数据吞吐量等时段化限额控制策略。从而基于数据源的负载情况对访问端和目标端地址的请求进行熔断限流，避免调度系统软件服务与业务系统数据源服务之间的负载能力不对待时，影响业务系统的正常服务性能。同时，调度系统软件的多个服务之间和多个系统之间通信均是严格基于节点控制网关的单一端口绑定和唯一数字证书进行身份验证和加密通信，可避免网络传输时数据资源泄漏。调度系统软件中涉及数据资源的服务均是容器化运行，根据调度系统的任务计划动态启停和即时销毁，运行过程中数据资源不落盘，可避免内存分配和磁盘读写的数据资源泄漏。

   针对多个组织单元因历史遗留或新增建设的业务系统中使用不同技术路线或不同的数据存储模型等而产生的异构数据资源且被分散存储在不同地方的多种数据源等情况，可在基于统一标准的自适应数据模型接口为基础，按需适配各类数据类型，构建数据源适配器后，作为调度系统软件的数据源连接镜像上传到镜像仓库后，调度系统软件访问此类数据源时可使用此镜像自动启停容器，并访问数据源存储服务。同时，可诊断数据源连接状态、捕获元数据，以及进行数据语义探索或数据同步调度任务等相关操作，从而达到实现对数据资源的纳管效果。

   分别部署和运行于本部、厂侧的同步调度管控系统服务器环境中，供本部人员和厂侧人员使用各自己的账号密码登录后进入到管理视图和操作视图，自助操作来完成相关工作开展。同时，在本部和厂侧的同步调度管控系统服务器之间通过专线网络环境通信，以实现异地同步调度管控系统之间的负载联动控制、人员协同配合、数据资源贯通等。并结合在流速流量流向的可视化看板实现全局化搜索与卡片化拖拽，以间洁的操作步骤作为快速完成数据同步调度的用户体验方式。

   提供针对本部和厂侧的多套系统之间的联动调度功能，基于云边协同模式可按需定义本部和厂侧数据贯通任务的全局调度计划、传输缓存链路、数据生命周期、数据资源范围、负载资源配额等系统控制策略与同步调度方案。并按频率周期、数据格式、命名规范、存储路径、容错复用标准、数据模型关联等要求，将实时、历史、全量等数据资源同步调度到本部大数据平台；

   提供针对厂侧和本部各数据资源的类目管理、卡片管理、环境诊断、连接配置、负载约束、层级捕获、属性提取、键值分区、数据拉链、特征分析、资源别名、资源描述、资源分类、语义标签、模型关联、访问锁定、时段并发、负载优先级、一致性验证、缓存池预览等管理功能与控制策略。

   系统提供针对厂侧和本部的同步调度管控系统服务器，实现基于容器负载层将数据源与服务器绑定且不可变更，在数据同步调度任务运行结束即时销毁容器，避免因服务器操作系统层安全等异常导致数据资源泄漏。同时，在厂侧和本部的多套同步调度管控系统之间基于专线网络通信环境，各厂侧服务器基于节点控制网关服务可提供一个网络流量出入端口，结合数字证书实现数据加密和多数据传输链路聚合通信控制，保障数据资源安全。

   基于租户策略的硬件负载资源调度与管控，构建可隔离共享的弹性化容器运行时和动态化配额资源池等硬件负载环境，并满足单台服务器上多个数据资源的负载优先级策略要求。同时，针对单个数据资源可控可支撑的情况下，分配更多硬件负载资源实现更高并发量的数据同步调度任务执行，满足数据同步调度的时效性和一致性要求。