Adam Wang
Adam Wang
We need implement SSO with DSS, to facilitate users to jump from DSS to Exchangis
# 背景 我们曾经的大数据平台，是基于CDH构建的，随着大数据两大商业公司CDH和HDP宣布合并，将不再更新新的版本； 我们调研了当前大数据平台的发展状况，对于我们这样体量很大的平台来说，自主研发将极大节约使用商业版的license成本，因此我们准备走上大数据平台核心技术自主研发的道路。 当时设计的架构如下，（这是去年画的架构，现在架构已经有很多优化，后面有空了我会画一个新的）：  其中数据基础能力平台，我们选择基于围绕当时最新的社区版Apache Hadoop3.2 、Spark 3.0以及Hbase 2.2版本进行迭代优化，这样做除了很多性能提升以及新特性之外，最重要的一点是它支持滚动升级 ，代表着我们以后可以随时在用户无感知的情况下升级集群，以后跟着开源社区混了，也能更方便地把我们自己的优化与社区共享；目前已经稳定运行一年，扩容到单集群1W+理论上没有问题，这里暂不细说； 而运营与运维平台，在调研了市面上已有的开源产品后，我们决定自己从头研发，因为已有的包括Ambria等优秀的软件，在我们大规模平台的场景下支持得并不好，这里也暂不细说； 比较头痛的是数据开发与服务平台的技术选型； # 选型 首先，我是非常不赞同上来就自己重新造轮子的，我们人力资源是有限的，整体技术水平也是处于学习阶段，并且时间紧张。放眼望去，已有的数据开发与服务相关的工具还是蛮多的，比如Apache Zeppelin，Apache Livy，Hue等等我们都有用过，我们也曾经基于Apache Livy封装研发了一个作业开发打包提交的工具。但是，这些工具还是相对比较割裂的，因为对于用户来说，如果各个功能都是非常割裂的话，用户体验是比较差的，为了提升用户体验，也为了增加大数据平台的安全性，我们希望能打磨一款能“ 统一作业提交入口的，一站式的大数据开发与服务平台”，在调研了业界众多产品后，我们最终选择基于WDS开源社区的开源产品进行打造，原因如下： 1. Linkis满足了我们 统一入口 的想法，linkis本身从设计上就是为了统一入口而设计的，并且已经经过了微众银行自己内部业务的验证，统一入口能够屏蔽底层的复杂性，且保证持续智能优化的可能性；并且Linkis对资源的管控非常细粒度，这是更加安全可控的； 2. DSS满足了我们 一站式数据开发与服务 的想法，DSS本身是可扩展的，并且工作流开发与底层的具体调度是解耦，这为我们未来的想法提供了很多可能性； 3....
add DataX engine for linkis.
Add Distcp engine for linkis
For most new users, our current document is not comprehensive enough and the document format is not standard. What users need most is user manuals, such as: * Scripts: *...
如题，公司安全要求，登录页需增加验证码功能，否则暴露公网容易被爆破，将验证码功能设计为可选项，平台方可自行选择是否增加验证码
1. DSS Homepage optimization It mainly includes management items for operation and workspace creation, as well as cases and introductions. 1.DSS首页优化 主要包括云台运营入口和工作空间创建管理入口，也包括案例和入门。
2. DSS Workspace Homepage optimization After the administrator creates a space for the corresponding role (for example, developer), this page is the first page after login. Includes entries for common...
3. Common function configuration optimization of the workspace The roles provided in the workspace can be freely configured and add common function entries that can be added and deleted 3.工作空间常用功能配置...
Optimize DSS front-end joint adjustment configuration After adding this configuration, you can modify the back-end gateway addresses in different environments of the agent as needed, such as production and testing,...