Releases · bbossgroups/bboss-elasticsearch

    <dependency>
        <groupId>com.bbossgroups.plugins</groupId>
        <artifactId>bboss-elasticsearch-rest-jdbc</artifactId>
        <version>6.5.0</version>
    </dependency>

如果是spring boot项目还需要导入下面的maven坐标：

    <dependency>
        <groupId>com.bbossgroups.plugins</groupId>
        <artifactId>bboss-elasticsearch-spring-boot-starter</artifactId>
        <version>6.5.0</version>
    </dependency>

v6.5.0 功能改进

filelog插件添加子目录/ftp子目录/sftp子目录下日志文件采集功能
db管理dsl mysql无法创建加载dsl问题处理
log4j2版本升级2.17.1、slfj版本升级1.7.32
修复空行处理器Record问题：关闭key大写机制后，根据字段名称获取数据失效
数据库持久层忽略mysql stream机制情况下获取rowid失败异常
filelog插件增加excel csv文件采集案例
https://github.com/bbossgroups/csv-dbhandle

https://gitee.com/bboss/csv-dbhandle

优化运行容器工具，增加从环境变量、jvm属性配置检索mainclass功能，使用示例如下：

#默认使用org.frameworkset.elasticsearch.imp.DB2CSVFile作为作业主程序，

#如果设置了环境变量mainclassevn，则使用mainclassevn作为作业主程序

#环境变量名称不能和属性名称一致，否则报循环引用异常，并将原始值返回

mainclass=#[mainclassevn:org.frameworkset.elasticsearch.imp.DB2CSVFile]

升级mysql驱动版本号为8.0.28
增加通用异步批处理组件，使用案例：

https://gitee.com/bboss/eshelloword-booter/blob/master/src/test/java/org/bboss/elasticsearchtest/bulkprocessor/PersistentBulkProcessor.java

Assets 2

01 Aug 08:41

yin-bp

v6.3.1

5bd7297

v6.3.1 released

v6.3.1 功能改进
elasticsearch rest client改进：使用params中的参数变量，解析配置文件中dslName对应的dsl语句，并返回解析结果

        ClientInterface util = (ConfigRestClientUtil) ElasticSearchHelper.getConfigRestClientUtil("demo7.xml");
        Map params = new HashMap();
        params.put("aaa","_&/+\"\\.");
        System.out.println(util.evalConfigDsl("testesencode",params));

数据同步工具改进：日志采集探针，字符串maxBytes为0或者负数时忽略长度截取

日志采集探针，增加忽略条件匹配类型：文件记录包含与排除条件匹配类型 REGEX_MATCH("REGEX_MATCH"),REGEX_CONTAIN("REGEX_CONTAIN"),STRING_CONTAIN("STRING_CONTAIN"), STRING_EQUALS("STRING_EQUALS"),STRING_PREFIX("STRING_PREFIX"),STRING_END("STRING_END");
使用案例：

config.addConfig(new FileConfig(logPath,//指定目录
                            fileName+".log",//指定文件名称，可以是正则表达式
                            startLabel)//指定多行记录的开头识别标记，正则表达式
                            .setCloseEOF(false)//已经结束的文件内容采集完毕后关闭文件对应的采集通道，后续不再监听对应文件的内容变化
                            .addField("tag",fileName.toLowerCase())//添加字段tag到记录中
                            .setEnableInode(true)
                            .setIncludeLines(levelArr, LineMatchType.STRING_CONTAIN)

数据同步工具改进：默认采用异步机制保存增量同步数据状态，提升数据同步效率，可以通过以下机制关闭异步机制： importBuilder.setAsynFlushStatus(false);

客户端改进：增加dsl输出组件logDslCallback 通过组件logDslCallback，通过回调接口方法可以自定义采集dsl的执行信息：

public void logDsl(LogDsl logDsl);
参数LogDsl封装了以下信息

    /**
     * 慢dsl输出阈值
     */
    private  int slowDslThreshold;

    /**
     * elasticsearch rest http服务请求地址
     */
    private String url;
    /**
     * http request method：post,get,put,delete
     */
    private String action;
    /**
     * request handle elapsed ms
     */
    private long time;
    /**
     * elasticsearch dsl
     */
    private  String dsl;
    /**
     * request handle begin time.
     */
    private Date startTime;
    /**
     * request handle end time.
     */
    private Date endTime;

    /**
     * 0 - dsl执行成功
     * 1 - dsl执行异常
     */
    private int resultCode;