一、早期关系型数据库之间的数据同步
二、大数据时代下的数据同步
三、总结
一、早期关系型数据库之间的数据同步
1）、全量同步
比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是分页查询源端的表，然后通过jdbc的batch方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。
2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不同的数据库，这种方式可能会存在问题。
3）、基于触发器的增量同步
增量同步一般是做实时的同步，早期很多数据同步都是基于关系型数据库的触发器trigger来做的。
使用触发器实时同步数据的步骤：
A、基于原表创触发器，触发器包含insert，modify，delete三种类型的操作，数据库的触发器分Before和After两种情况，一种是在insert，modify，delete三种类型的操作发生之前触发（比如记录日志操作，一般是Before），一种是在insert，modify，delete三种类型的操作之后触发。
B、创建增量表，增量表中的字段和原表中的字段完全一样，但是需要多一个操作类型字段（分表代表insert，modify，delete三种类型的操作），并且需要一个唯一自增ID，代表数据原表中数据操作的顺序，这个自增id非常重要，不然数据同步就会错乱。
C、原表中出现insert，modify，delete三种类型的操作时，通过触发器自动产生增量数据，插入增量表中。
D、处理增量表中的数据，处理时，一定是按照自增id的顺序来处理，这种效率会非常低，没办法做批量操作，不然数据会错乱。有人可能会说，是不是可以把insert操作合并在一起，modify合并在一起，delete操作合并在一起，然后批量处理，我给的答案是不行，因为数据的增删改是有顺序的，合并后，就没有顺序了，同一条数据的增删改顺序一旦错了，那数据同步就肯定错了。
市面上很多数据etl数据交换产品都是基于这种思想来做的。
E、这种思想使用kettle很容易就可以实现，笔者曾经在自己的博客中写过kettle的文章，