WilliamZhu
WilliamZhu
I hava try some code like this: ```python from spark_sklearn import GridSearchCV import cPickle as pickle session = SparkSession.builder.master("local[2]").appName("test").getOrCreate() # iris = datasets.load_iris() # print(iris.target) documentDF = session.createDataFrame([ ("Hi I...
**What would you like to be added**: We will contribute this new feature in three steps. 1. Similar to CacheStore, we will build a TieredStore framework. 2. Specific TieredStore logic...
Byzer 在文件系统的操作能力比较薄弱,目前仅支持部分命令,诸如 `!fs -ls ` , `!fs mv` 等常见能力。但现实中对文件系统的操作要求是很复杂的。比如这个需求:https://github.com/byzer-org/byzer-lang/issues/1810 或者这个需求:https://zhuanlan.zhihu.com/p/552065988? 当然还有更复杂的需求。 有两个层面解决: 1. 通过 ET 来根据具体需求解决。这个一般适合一些定制化或者非泛化的需求,是个不错的主意。 2. 通过扩展 `!fs` 来解决,可以提供一些特有的选项,为了和以前的做区别,要求第一个参数是 `utils`. 举例: ``` !fs utils rename "/tmp/*.csv" "/tmp/sub" "(\\.csv)$" ".txt";...
# What changes were proposed in this pull request? Test Script: ```sql load delta.`python_data.vega_datasets` as vega; save overwrite vega as csv.`/tmp/vega` where fileNum="4" and header="true"; !fs -rm /tmp/output.csv; -- !fs...
用户在load 语句中使用了 json 字符串作为 where 条件。 此时会报错:  原因在于:  在 load/train/run 语法中,目前默认都是打开该选项的,也就是会对每个 where 语句中的 kv中的v 进行 dynamicly evaluate expression, 也就是满足分支语法的条件表达式。但实际上大部分 数据源和 ET 扩展都不需要开启该功能。并且如果默认针对每个数据源开启,也会存在一些冲突。只有数据源/扩展的开发者显示的申明支持 DynamicEvaluation 我们才应该开启。
## 初衷 Byzer 社区希望人人都能够参与进来。开源应该是普惠的,这种普惠应该是在价值的发挥上,以及社区的参与上。 我们认为积极的社区参与体现在如下点: * 积极帮助社区用户解答技术问题 * 帮助项目增加测试 * 完善技术文档 * 提供有价值的 Issue * 报告或修复未知 / 已知的 Bug * 为项目撰写源码分析、实用案例相关的文章 这些都是对社区非常有价值的贡献哦。 新手任务 我们会总计一些新手任务,他们会标记为为两个基础标签: * for new contributors * Difficulty:Low,...
With the following code: ```sql run command as JDBC.`mysql_instance._` where `driver-statement-query`="show tables" and sqlMode="query"; ``` The Byzer-lang will throw exception like this if the auth mechanism is enabled: ``` class...
1. [任务(1):设置好开发环境 ](https://github.com/byzer-org/byzer-lang/issues/1403) 2. [任务(2):学习 Byzer Lang 基本语言 ](https://github.com/byzer-org/byzer-lang/issues/1404) 3. [任务(3):设置好 Byzer Python环境并验证 ](https://github.com/byzer-org/byzer-lang/issues/1405) 4. [任务(4): 编写脚本打包发布 Byzer 引擎](https://github.com/byzer-org/byzer-lang/issues/1407) 5. [任务(5): 学习和开发ET插件](https://github.com/byzer-org/byzer-lang/issues/1408) 6. [任务(6): 高阶机器学习-从训练到预测](https://github.com/byzer-org/byzer-lang/issues/1409) 7. [任务(7): 从Python库提取示例数据到Delta Lake中](https://github.com/byzer-org/byzer-lang/issues/1410)
Suppose we have code like following: ```sql include lib.`github.com/allwefantasy/lib-saas-api` where libMirror="gitee.com" and -- if you'r in china, set proxy alias="apis"; set userId="xxxxx"; set access_token="xxxxx"; include local.`apis.dataset.doc__v2__docs`; ``` The variables userId,...
