野鹿 comments

Results 10 comments of


                                            野鹿

[Feature-11488][Datax]Datax can submit to YARN

使用方法: 配置环境变量DATAX_ON_YARN_DEPEND_JAR和DATAX_HDFS_PATH就可以运行DATAX ON YARN 参数解释: DATAX_ON_YARN_DEPEND_JAR: https://github.com/duhanmin/datax-on-yarn 编译打包 DATAX_HDFS_PATH: 需要将datax安装包上传到yarn 例子: ``` #export DATAX_ON_YARN_DEPEND_JAR=${DATAX_ON_YARN_DEPEND_JAR:-/opt/soft/datax/datax-on-yarn-1.0.0.jar} #DATAX_HDFS_HOME is HDFS path #export DATAX_HDFS_PATH=${DATAX_HDFS_HOME:-/hdfs/opt/hadoop/datax.tar.gz} ```

Welcome to leave your company's info (欢迎使用DataX Web的公司在此登记)

* 组织：长桥证券 * 地点：中国杭州 * 联系方式：[email protected] * 场景：整合进自研数据中台,为ods/ads层数据提供输入和输出

Java程序调用datax启动多个同步任务报错，每个任务单独执行没问题

https://github.com/alibaba/DataX/pull/2154 我这个解决方案可以保证不报错但是JobContainer里面的任务数量监控数据是错误的

Milvus unavailability may lead to thread unavailability in the system.

Is there any way to solve it fundamentally? @saber-wang

【代码样例】Python 兼容java的hutool、bouncycastle加解密 sm2算法

@dulinanaaa @lijiachang 同尝试过, mac下python无法无法解密java

fix loadJobPlugin线程不安全

> 我们也遇到了同样的问题，非常感谢提供的解决方案，请问在生产环境使用过程中有没有出现其他问题？🙏 @JacianLiu 目前没有

The 'input' field is optional. Omitting it in the JSON will cause training errors

Fixed, please refer to: https://github.com/hiyouga/LLaMA-Factory/pull/7343

[fix bug]The 'input' field is optional

> 如果你没有`input`在 json 中提供，则需要`input`从 dataset_info 中的列中删除，例如 > > https://github.com/hiyouga/LLaMA-Factory/blob/48a6584fb131994fb21a4e812d499c00f073c577/data/dataset_info.json#L314-L321 There is no 'input' field in my dataset_info If there is no 'input' in the custom dataset, an error will be...

feat add datax s3 reader and writer.

建议使用s3a

fix: 测试数据源连接不使用缓存，解决#664

这项目没人管了