bigdata-learning-notes
bigdata-learning-notes copied to clipboard
bigdata-learning-notes
大数据
Zookeeper
- Zookeeper3.4.5 分布式安装部署
- Zookeeper 常用命令行操作
- Zookeeper 实现分布式锁
Hadoop
- Hadoop3.0 完全分部署安装部署
- Hadoop 基准测试
- Hadoop 数据迁移
git
- git
- git log format
- rpm方式 安装 gitlab
- docker方式 安装 gitlab
- gitlab 关闭注册功能
Flume
- Flume 安装部署
HBase
- HBase 生产环境调优
Hive
- Hive 安装部署
- Hive beeline连接
- Hive 导出 csv 文件
- Hive drop database删除数据库
- Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
- Hive DDL 数据定义
- Hive 查询
Kudu
- kudu异常
Kafka
- kafka 安装部署
- kafka 常用命令
- kafka 杂谈
- kafka stop 脚本有时候不起作用的原因
- kafka connector rest api
debezium/confluent
- 使用 confluent 实现 SqlServer 实时同步数据到 PostGreSql
- confluent6.0.1 平台搭建
Sentry
- CDH 安装配置Sentry
- hue: There are currently no roles defined
Phoenix
- CDH 平台安装 Apache Phoenix
ClickHouse
- ClickHouse 入门概述
- ClickHouse 安装
- ClickHouse 数据类型
- ClickHouse 表引擎
- ClickHouse 表操作
WaterDrop
- WaterDrop入门
- Hive to Hdfs
Atlas
- Atlas 安装
DolphinScheduler
- DolphinScheduler 安装
- DolphinScheduler 使用
- DolphinScheduler 本地开发环境搭建
CDH
- CentOS7.3 CDH5.13.3 安装教程
- CentOS7.7 CDH6.2.1 安装教程
- CDH 安装 Hue 连接不上MySQL
- CDH 查询 Hive执行过的SQL语句
Scala
- 1. scala 变量和数据类型
- 2. scala 流程控制
- 3. scala 函数之-语法
- 3. scala 函数之-高阶函数(高阶算子)
- 4. scala 函数之-闭包和柯里化
- 5. scala 包声明和包导入
- 6. scala 类和对象
- 7. scala 给类取别名
- 8. scala 的 trait
- 9. scala 集合的 map 映射、高阶函数使用、集合的压平、 集合的过滤、集合的简化、集合的折叠、集合的扫描、集合的拉链、集合的迭代器、集合的分组
- 10.scala 模式匹配
- 11.scala 部分应用函数与偏函数
- 12.scala 隐式转换
- 13.scala 的排序
- 14.scala API
- 15.scala 数组
- 16.scala 值调用、名调用和控制抽象
Spark
- Spark 安装部署
- Spark 常用 API
- Hive on Spark 参数调优
- Spark Streaming 的 reduceByKeyAndWindow 窗口函数
- Spark 任务停止后自动重启
- Spark源码之-CDH6下Spark2.4写Hive分区表异常
- Spark 读取HDFS失败
- Spark 读取JDBC数据源优化和源码解析
- Spark 读取JDBC数据Time类型字段异常解析
Spark 内核
- Spark 内核概述(待补充)
- Spark 部署模式
- Spark 任务调度机制
- Spark Shuffle解析
- Spark 内存管理
Spark 性能优化和故障处理
- Spark 性能优化
- Spark 数据倾斜解决方案
- Spark 问题及解决
Flink
- Flink 源码编译和远程debug设置(version: 1.12.7)
- Flink on Kubernetes native session mode 源码分析(version: 1.12.7)
- Flink 安装部署
- Flink 构成和提交流程
- Flink 并行度的划分
- Flink HelloWorld
- Flink Connectors
- Flink Window&时间语义和Watermark
- Flink ProcessFunction
- Flink 多流转换
- Flink State
- Flink CEP
- Flink 实时同步Oracle数据到Hive
- FLink CDC(Standalone)
- Flink CDC 集成 Iceberg 入湖
- Chunjun on K8s 部署
- Flink 搭建本地开发环境
Canal
- 使用 canal 实时监控 mysql 并读取到 Kafka(scala 版)
Elasticsearch
- Docker 安装Elasticsearch
- Elasticsearch 常用操作
Kibana
- Docker 安装Kibana
Azkaban
- Azkaban 安装部署
- Azkaban 迁移机器找不到executor
MySQL
- MySQL 安装
- MariaDB YUM 安装
- MySQL 常用配置
- MySQL binlog
- MySQL 慢查询日志
- MySQL 约束
- MySQL基础(尚硅谷宋红康)
- MySQL高级(尚硅谷宋红康)
Iceberg
- Iceberg - 01 基本入门
- Iceberg - 02 cdc 入湖
- Iceberg - 03 spark
- Iceberg - 04 基于 Hadoop 的数据存储结构(v2)
- Iceberg - 05 合并小文件
Java
构建工具
- Maven maven-shade-plugin
- Gradle 安装整合Idea
Nginx
- nginx 基础
- nginx
- nginx常用操作
- nginx转发80端口到443
Redis
- centos7 安装redis
- redis 三主三从搭建
- Redis 安装(docker)
- redis 数据类型
- redis conf详解
- redis 持久化
- redis 事务
- redis 发布订阅
- redis 主从复制
- redis java客户端
- redis 数据备份与恢复
- redis 安全
- redis 性能测试
Doris
- Doris 编译安装(填坑)
- Doris 备份还原
Idea
- Idea 常用配置
设计模式
- 设计模式之单例模式
- 设计模式之工厂模式
- 设计模式之构建者模式
- 设计模式之代理模式
数据结构和算法
Java 基础
- Java 泛型
- Java8
- Java日志框架发展史
- spring6
JVM
黑马
- 基础篇
- 实战篇
- 高级篇
- 原理篇
- 面试篇
尚硅谷
- 内存与垃圾回收-1.类加载机制
- 内存与垃圾回收-2.运行时数据区-程序计数器
- 内存与垃圾回收-3.运行时数据区-虚拟机栈
- 内存与垃圾回收-4.运行时数据区-本地方法接口和本地方法栈
- 内存与垃圾回收-5.运行时数据区-堆
- 内存与垃圾回收-6.运行时数据区-方法区
- 内存与垃圾回收-7.对象的实例化和直接内存
- 内存与垃圾回收-8.执行引擎
- 内存与垃圾回收-9.String Table
- 内存与垃圾回收-10.垃圾回收概述和算法
- 内存与垃圾回收-11.垃圾回收相关概念
- 内存与垃圾回收-12.垃圾回收器
- 字节码与类的加载-1.Class 文件结构
- 字节码与类的加载-2.字节码指令集与解析举例
- 字节码与类的加载-3.类的加载过程(类的生命周期)详解
- 字节码与类的加载-4.再谈类的加载器
- 性能监控与调优-1.概述
- 性能监控与调优-2.JVM监控及诊断工具-命令行
- 性能监控与调优-3.JVM监控及诊断工具-GUI
- 性能监控与调优-4.JVM运行时参数
- 性能监控与调优-5.分析GC日志
- 性能监控与调优-6.补充:浅堆深堆与内存泄漏
- 性能监控与调优-7.补充:使用OQL语言查询对象信息
运维/云原生
Milvus
- 向量数据库Milvus
golang
- golang 安装
软件部署
- ubuntu部署ftp服务.md
- centos7 nfs
- centos7 sftp
- keepalived
Zabbix
- Centos7.7 安装 Zabbix
- 编译源码安装zabbix4.4
- Centos7.7 编译源码安装使用 Zabbix(zabbix-server)
- Centos7.7 编译源码安装使用 Zabbix(zabbix-agent)
- 二进制文件安装使用 Zabbix5.0
- Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-server)
- Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-agent)
- 编译源码安装zabbix4.4
- Zabbix5.0 中文乱码
- Zabbix: 添加被监控主机、创建主机、监控项、触发器、图形和模板
- Zabbix: 自定义邮件告警
Prometheus & Grafana
- Prometheus & Grafana 部署监控
Docker
- CentOS7 YUM安装 docker
- CentOS7 离线安装 docker
- CentOS7 降级 Docker
- Docker 常用命令
- Docker 镜像
- Docker 容器数据卷
- DockerFile 解析
- Docker 常用安装
- Docker 本地镜像发布到阿里云
- 可视化界面 Portainer
- 再探 Docker 数据卷
- docker 网络
- docker 的 CI/CD
- docker 常用安装m1版
- docker 设置代理
Kubernetes
- kubernetes guide
- 云原生的定义
- 三种方式部署k8s
- 扩容 K8s
- 命令自动补全
- 使用秘钥从私有仓库下载镜像
- first k8s容器化应用
- Kubernetes Token过期的问题
- Kubernetes YAML文件配置详解
- Kubernetes 常用操作命令
- Kubernetes 部署 Dashboard
- Kubernetes 工作负载 | Pod实践
- Kubernetes 工作负载 | Deployment实践
- Kubernetes 工作负载 | 服务网络和负载均衡
- Kubernetes 工作负载 | RS、RC、DaemonSet、StatefulSet、Job、CronJob实践
- Kubernetes 存储 | 卷的实践
- Kubernetes 权限
- Kubernetes helm
- Kubernetes 常用服务部署
- Kubernetes devops
- Jenkins 动态感知部署
- Kubernetes 更换证书
- Kubernetes context 上下文配置
旧版
- Kubernetes label
- Kubernetes Volume挂载相关
- Kubernetes 特殊 Volume
- Kubernetes PodPreset预设置
- Kubernetes 副本机制和水平扩展&滚动更新
- Kubernetes Controller
- Kubernetes statefulset
- Kubernetes DaemonSet
- Kubernetes job
- Kubernetes cronjob
- Kubernetes Ingress
- Kubernetes NFS-PV-PVC
- Kubernetes 部署Java
- Kubernetes 声明PodPreset异常
- Kubernetes 常见问题
- Kubernetes 链路整合(待补完)
Linux
- Linux 基础
- Shell 编程
- 开机、重启和用户登录注销
- linux 常用操作命令
- This account is currently not available(用户当前不可用)
- Linux 集群时间同步
- Linux 修改主机和IP
- Linux 更换镜像源
- Linux 安装 JDK
- Linux 集群分发脚本
- Linux 下卸载 MySQL
- kill pid 和 kill -9 pid 的区别
- frp+openvpn+docker 搭建
- curl使用指南
- 大数据常用软件部署总结
内网穿透
- 内网穿透-暴露内网端口
- 内网穿透-frp开启web服务
科学上网
- 科学上网指南
- Centos7.x科学上网
Mac
Mac
- mac iterm2 安装 lrzsz
- mac iterm2 批量删除主题
- mac 自动登录服务器
- mac oh-my-zsh