数据对接方式有哪些种类（平台数据对接的方式）

目前数据孤岛林立，对接业务软件或者是获取软件中的数据存在较大困难,尤其是CS软件的数据爬取难度更大。

通常来讲，需要将多个系统进行集成是因为各个子系统之间可以进行交互，出于系统演变及需求的影响，由于系统间的差异也会引出很多问题。在子系统开始设计开发时也没有考虑系统集成对接的问题。因此，在系统集成的时候，我们需要考虑以下问题：

• 系统间的耦合性

　　我们要求系统间的依赖达到最小，这样单个子系统发生变化了之后，对其他系统的影响可以最小，即松耦合。

• 浸入性

　　当我们进行系统对接和集成时，要求集成的系统及功能代码改动量最小。

• 技术选择

　　不同的技术选型涉及到不同的软硬件的支持，学习及开发成本也会有所不同。

• 数据格式

系统的集成即数据的交互对接，从本质上来说就是系统之间进行通讯，所以要保证相互通信的系统间通讯数据格式保持一致。我们接触过的SOAP, REST web service, CORBA等都有特定的消息定义标准。

• 数据时间线

集成还有一个需要考虑的就是当一个系统将需要传递数据发送给另外一个系统的时候，他们传送时间要尽可能少。这样可以提升系统整体运行的效率，减少延迟。

• 数据及功能的共享

　　有的应用集成还考虑到功能的集成共享。这种功能的共享带来的好处是使得一个系统提供的功能在另外一个系统看来就好像是调用本地的功能一样。一些典型的应用集成比如说RPC（远程方法调用）就符合这种特征。

• 远程通信

通常我们系统调用是采用同步的方式。可以在一些远程通信的情况下，采用异步的方式也有它的优点，比如说带来系统效率的提升。同时也使得系统设计的复杂度变大。

• 可靠性

我们不仅仅是设计系统集成方案，就是在一些简单系统应用里面也会考虑到，如果某个部分出错了或者失效了该怎么办？有什么办法可以提高可靠性？

---

ftp/文件共享服务器方式

对于大数据量的交互，采用这种文件的交互方式最适合不过了。系统A和系统B约定文件服务器地址，文件命名规则,文件内容格式等内容，通过上传文件到文件服务器进行数据交互。

最典型的应用场景是批量处理数据：例如系统A把今天12点之前把要处理的数据生成到一个文件，系统B第二天凌晨1点进行处理，处理完成之后，把处理结果生成到一个文件，系统A 12点在进行结果处理。这种状况经常发生在A是事物处理型系统，对响应要求比较高，不适合做数据分析型的工作，而系统B是后台系统，对处理能力要求比较高，适合做批量任务系统。

这种方式的优点：

1 在数据量大的情况下，可以通过文件传输，不会超时，不占用网络带宽。

2 方案简单，避免了网络传输，网络协议相关的概念。

这种方案的缺点：

1 不太适合做实时类的业务

2 必须有共同的文件服务器，文件服务器这里面存在风险。因为文件可能被篡改，删除，或者存在泄密等。

3 必须约定文件数据的格式，当改变文件格式的时候，需要各个系统都同步做修改。

常用于部分数据上报平台

数据库共享数据方式

如利用ETL工具(Kettle)、根据上下行数据量以及对接方

一般情况，来自不同公司的系统，不太会开放自己的数据库给对方连接，因为这样会有安全性的问题。为实现数据的采集和汇聚，开放数据库是最直接的一种方式。

两个系统分别有各自的数据库，同类型的数据库之间是比较方便的：

1）如果两个数据库在同一个服务器上，只要用户名设置的没有问题，就可以直接相互访问，需要在from后将其数据库名称及表的架构所有者带上即可。 select * from DATABASE1.dbo.table1 2）如果两个系统的数据库不在一个服务器上，那么建议采用链接服务器的形式来处理，或者使用openset和opendatasource的方式，这个需要对数据库的访问进行外围服务器的配置。

不同类型的数据库之间的连接就比较麻烦，需要做很多设置才能生效，这里不做详细说明。

开放数据库方式可以直接从目标数据库中获取需要的数据，准确性很高，是最直接、便捷的一种方式；同时实时性也有保证；

开放数据库方式需要协调各个软件厂商开放数据库，其难度很大；一个平台如果要同时连接很多个软件厂商的数据库，并且实时都在获取数据，这对平台本身的性能也是个巨大的挑战。

软件接口对接方式

实时性高，基于socket、rpc、消息队列

各个软件厂商提供数据接口，实现数据汇集，为客户构建出自己的业务大数据平台；

实现过程如下：

1） 协调多方软件厂商工程师，了解对方系统的业务流程以及数据库相关的表结构设计等，讨论如何实现数据的正确汇集并且在业务上可行。推敲各个细节，最后确定一个双方都认可的方案。两个系统的接口是在双方工程师的配合下完成的。有的处理可以在A系统进行，也可以在B系统进行，这种情况作决定的依据是，考虑以后可能会出现功能改动，势必会对现有系统造成影响，选择受变动影响比较小的方案。

2） 确定方案，编码

3） 编码结束，进入测试、调试阶段

4） 交付使用

接口对接方式的数据可靠性较高，一般不存在数据重复的情况，且都是客户业务大数据平台需要的有价值的数据；同时数据是通过接口实时传递过来，完全满足了大数据平台对于实时性的要求。

但是接口对接方式需花费大量人力和时间协调各个软件厂商做数据接口对接；同时其扩展性不高，比如：由于业务需要各软件系统开发出新的业务模块，其和大数据平台之间的数据接口也需要做相应的修改和变动，甚至要推翻以前的所有数据接口编码，工作量很大且耗时长。

第三方工具采集对接方式

比如：101、爬虫等工具

在不需要软件厂商配合的情况下，基于“”所见即所得“的方式采集界面上的数据。输出的结果是结构化的数据库或者excel表。如果只需要业务数据的话，或者厂商倒闭，数据库分析困难的情况下， 这个工具可以采集数据，尤其是详情页数据的采集功能比较有特色。

值得一提的是，这个产品的使用门槛很低，没有 IT背景的业务同学也能使用，大大拓展了使用的人群。

技术特点如下：

1）独立抓取，不需要软件厂家配合；

2）实时数据采集；

数据端到端的延迟在数秒之内；

3）兼容Windows平台的几乎所有软件（C/S,B/S）；

作为数据挖掘，大数据分析的基础；

4）自动建立数据间关联；

5）配置简单、实施周期短；

6）支持自动导入历史数据。

目前，由于数据采集融合技术的缺失，往往依靠各软件原厂商研发数据接口才能实现数据互通，不仅需要投入大量的时间、精力与资金，还可能因为系统开发团队解体、源代码丢失等原因出现的死局，导致了数据采集融合实现难度极大。在如此急迫的需求环境下基于底层数据交换的数据直接采集方式应运而生，从各式各样的软件系统中开采数据，源源不断获取所需的精准、实时的数据，自动建立数据关联，输出利用率极高的结构化数据，让数据有序、安全、可控的流动到所需要的企业和用户当中，让不同系统的数据源实现联动流通，为客户提供决策支持、提高运营效率、产生经济价值。

混合模式：

面对对接方过多，可以采用上行接口+下行数据库，针对不同软件商不需要一一开发接口与其对接