在【程序目录】目录（\bin同级）新建mysql目录，将下载好的mysql-connector-java-5.1.34.jar放入此目录；

在【程序目录】\mysql目录新建jdbc.conf文件，此文件将配置数据库连接信息、查询数据sql、分页信息、同步频率等核心信息。

注意事项请查看注释信息。

output.elasticsearch模块的index必须是全小写；

如果lowercase_column_names配置的不是false，那么tracking_column字段配置的必须是全小写。

2032 com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?

检测配置的地址是否正确，如果是linux环境，注意路径分隔符是“/”，而不是“\”。

statement配置的sql中，如果比较字段使用的是大于“>”，可能存在数据丢失。

假设当同步完成后last_run_metadata_path存放的时间为2019-01-30 20:45:30，而这时候新入库一条数据的更新时间也为2019-01-30 20:45:30，那么这条数据将无法同步。

解决方案：将比较字段使用 大于等于“>=”。

上一个问题“数据丢失”提供的解决方案是比较字段使用“大于等于”，但这时又会产生新的问题。

假设当同步完成后last_run_metadata_path存放的时间为2019-01-30 20:45:30，而数据库中更新时间最大值也为2019-01-30 20:45:30，那么这些数据将重复更新，直到有更新时间更大的数据出现。

当上述特殊数据很多，且长期没有新的数据更新时，会导致大量的数据重复同步到ES。

何时会出现以上情况呢：①比较字段非“自增”；②比较字段是程序生成插入。

解决方案：

①比较字段自增保证不重复或重复概率极小（比如使用自增ID或者数据库的timestamp），这样就能避免大部分异常情况了；

②如果确实存在大量程序插入的数据，其更新时间相同，且可能长期无数据更新，可考虑定期更新数据库中的一条测试数据，避免最大值有大量数据。

logstash本身无法集群，我们常使用的组合ELK是通过kafka集群变相实现集群的。

可供选择的处理方式：①使用任务程序推送数据到kafaka，由kafka同步数据到ES，但任务程序本身也需要容灾，并需要考虑重复推送的问题；②将logstash加入守护程序，并辅以第三方监控其运行状态。具体如何选择，需要结合自身的应用场景了。

为什么会慢？logstash分页查询使用临时表分页，每条分页SQL都是将全集查询出来当作临时表，再在临时表上分页查询。这样导致每次分页查询都要对主表进行一次全表扫描。

SELECT * FROM (SELECT * FROM `ImageCN1` WHERE ModifyTime>= '1970-01-01 08:00:00' order by ModifyTime asc) AS `t1` LIMIT 5000 OFFSET 10000000;
数据量太大，首次同步如何安全过渡同步？
可考虑在statement对应的sql中加上分页条件，比如ID在什么范围，修改时间在什么区间，将单词同步的数据总量减少。先少量数据同步测试验证，再根据测试情况修改区间条件启动logstash完成同步。比如将SQL修改为：
SELECT * FROM `ImageCN1` WHERE ModifyTime<'2018-10-10 10:10:10' AND ModifyTime>= '1970-01-01 08:00:00' order by ModifyTime asc
这样需要每次同步后就修改sql，线上运营比较繁琐，是否可以不修改sql，同时保证同步效率呢？SQL我们可以再修改下：
SELECT * FROM `ImageCN1` WHERE ModifyTime>= '1970-01-01 08:00:00' order by ModifyTime asc limit 100000
 这样就能保证每次子查询的数据量不超过10W条，实际测试发现，数据量很大时效果很明显。