-
Notifications
You must be signed in to change notification settings - Fork 38
/
Copy pathexport.properties
100 lines (91 loc) · 5.69 KB
/
export.properties
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
####################################常规设置######################################################
#获取数据线程数据,最大不超过索引的shards数量和CPU数量,默认为1
common.thread_size=10
#################################导出数据ES集群地址###################################################
elasticsearch.hosts=192.169.2.98:9200,192.169.2.156:9200,192.169.2.188:9200
#数据索引
elasticsearch.index=pb_sa_phone
#索引type,无则可留空
elasticsearch.document_type=pb_sa_phone
#查询条件,默认:{"size":10000}
elasticsearch.query={"size":10000,"query":{"bool":{"filter":[{"term":{"status":{"value":3,"boost":2.0}}},{"range":{"phone":{"from":0,"to":null,"include_lower":false,"include_upper":true,"boost":1.0}}},{"bool":{"should":[{"range":{"smsupdtm":{"from":null,"to":"2018-12-09 23:59:59","include_lower":true,"include_upper":false,"boost":3.0}}},{"range":{"rmsupdtm":{"from":null,"to":"2018-12-09 23:59:59","include_lower":true,"include_upper":false,"boost":3.0}}}],"adjust_pure_negative":true,"boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}}}
#取哪些字段的数据,逗号隔开,如果全部取则设为空,也可以自行写在elasticsearch.query的查询条件里面
elasticsearch.includes=phone
#####如有帐号密码则填写#####
#elasticsearch.username=
#elasticsearch.password=
#####SSL,如有需要就设置,不需要忽略即可#####
#elasticsearch.ssl_type=
#elasticsearch.ssl_keystorepath=
#elasticsearch.ssl_keystorepass=
############################################导出文件的设置############################################
##是否启用,true:启用该功能,false:禁用该功能
file.enabled=true
#输出源数据形式,目前支持json、txt,sql,如果为txt字段间是用逗号隔开,默认:json
file.datalayout=txt
#是否需要换行,默认:true
file.linefeed=true
#数据输出文件路径,如果需要自定义路径地址可以使用{},目前支持:day,month,years
file.filepath=F:\\pb_sa_phone
####文件名,无则取默认ES的index名,不需要写后缀
file.filename=pb_sa_phone
#####是否需要分割文件,true:需要文件分割,false:禁用文件分割保存,默认:false##########
file.need_split_file=true
#need_split_file设为true该值后起效,以什么方式来分割,目前可选的有文件大小(disk)与数据条数(amount),默认:disk
file.split_method=amount
#当split_methods=disk的时候:每个文件多大进行分割,需要则设置该项,实际是有误差的,单位:KB,默认:10240
#当split_methods=amount的时候:,每个文件多少条数后进行分割,需要则设置该项,实际是有误差的,单位:条,默认:1000000
file.max_length_file=1000000
#####以下是dataLayout=txt的自定义设置######
#字段以什么分割,不设置则默认英文逗号隔开
#file.field_split=,
#字段输出顺序(datalayout=txt的时候设置起效,防止数据混乱),必须和索引表字段名一样,逗号隔开
#file.field_sort=phone
#输出为txt时候需要字段名字,默认:false,需要的时候以此形式输出类似:fieldName1=fieldValue1,fieldName2=fieldValue2
#file.need_field_name=false
#####以下是datalayout=sql自定义设置######
#file.sql_format=INSERT INTO test (phone,msgcode,spnumber) VALUES (#param{phone},#param{msgcode},#param{spnumber});
#自定义字段名,将库里该字段取出来后换为该字段名,原字段名:替换后的字段名,多个逗号隔开,如phone:telphone
#file.custom_field_name=
#######################################ES转移数据到DB########################################################
##是否启用,true:启用该功能,false:禁用该功能
db.enabled=false
##驱动jar包地址
db.jdbc_driver_library=lib/mysql-connector-java-5.1.47.jar
##数据库连接
db.jdbc_connection_string=jdbc:mysql://192.169.0.23:3306/dblog?useUnicode=true&characterEncoding=utf8
##驱动程序
db.jdbc_driver_class=com.mysql.jdbc.Driver
##数据库帐号
db.jdbc_user=root
##数据库密码
db.jdbc_password=123456
##插入数据模版,其中#param{ES字段}来取ES的值
db.jdbc_template=INSERT INTO test111 (name) VALUES (#param{simuid})
##单批次最大插入多少,默认10000
#db.jdbc_size=10000
##同时写DB线程数,默认1
db.jdbc_write_thread_size=1
#######################################ES转移数据到Kafka########################################################
##是否启用,true:启用该功能,false:禁用该功能
kafka.enabled=false
##另一个INDEX的集群ip,如果是相同的可留空,IP逗号隔开
kafka.hosts=192.169.0.61:9092
#数据索引
kafka.topic=pb_sa_chj_04
#从ES查询出来的数据List分批次发送到kafka,每批次发送多少条,默认1000
#kafka.send_size=1000
#每次写kafka是否启用延迟,防止过快写入造成kafka压力大,但延迟写入会造成导出数据慢,默认:0,单位：秒
#kafka.delay=0
#####默认写入jsonarray格式,以下这里可设置每条json文件的数据格式,不设置则取全部###
##每条数据新增的内容,如果和ES中查询出来的键重复了会直接覆盖,如果需要取当前时间可"#{now,yyyy-MM-dd HH:mm:ss}"这样取即可,如果只取时间戳则"#{now}",时间戳只到秒,别忘了用""包起来,为空则不设置
#kafka.add_value={"dttype":1,"updtm":"#{now,yyyy-MM-dd HH:mm:ss}"}
##替换ES中查询出来的数据的键名,旧键名:新键名,旧键名:新键名,为空则不设置
#kafka.replace_key=
##写kafka的线程,默认1
#kafka.write_thread_size=1
#######################################定时器########################################################
##请设置好以上设置,定时器将定时启动以上的导出线程池
##是否启用,true:启用该功能,false:禁用该功能
quartz.enabled=false
quartz.schedule=0 0 0 * * ?