bigdata-learning-notes icon indicating copy to clipboard operation
bigdata-learning-notes copied to clipboard

bigdata-learning-notes

大数据

Zookeeper
  • Zookeeper3.4.5 分布式安装部署
  • Zookeeper 常用命令行操作
  • Zookeeper 实现分布式锁
Hadoop
  • Hadoop3.0 完全分部署安装部署
  • Hadoop 基准测试
  • Hadoop 数据迁移
git
  • git
  • git log format
  • rpm方式 安装 gitlab
  • docker方式 安装 gitlab
  • gitlab 关闭注册功能
Flume
  • Flume 安装部署
HBase
  • HBase 生产环境调优
Hive
  • Hive 安装部署
  • Hive beeline连接
  • Hive 导出 csv 文件
  • Hive drop database删除数据库
  • Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
  • Hive DDL 数据定义
  • Hive 查询
Kudu
  • kudu异常
Kafka
  • kafka 安装部署
  • kafka 常用命令
  • kafka 杂谈
  • kafka stop 脚本有时候不起作用的原因
  • kafka connector rest api
debezium/confluent
  • 使用 confluent 实现 SqlServer 实时同步数据到 PostGreSql
  • confluent6.0.1 平台搭建
Sentry
  • CDH 安装配置Sentry
  • hue: There are currently no roles defined
Phoenix
  • CDH 平台安装 Apache Phoenix
ClickHouse
  • ClickHouse 入门概述
  • ClickHouse 安装
  • ClickHouse 数据类型
  • ClickHouse 表引擎
  • ClickHouse 表操作
WaterDrop
  • WaterDrop入门
  • Hive to Hdfs
Atlas
  • Atlas 安装
DolphinScheduler
  • DolphinScheduler 安装
  • DolphinScheduler 使用
  • DolphinScheduler 本地开发环境搭建
CDH
  • CentOS7.3 CDH5.13.3 安装教程
  • CentOS7.7 CDH6.2.1 安装教程
  • CDH 安装 Hue 连接不上MySQL
  • CDH 查询 Hive执行过的SQL语句
Scala
  • 1. scala 变量和数据类型
  • 2. scala 流程控制
  • 3. scala 函数之-语法
  • 3. scala 函数之-高阶函数(高阶算子)
  • 4. scala 函数之-闭包和柯里化
  • 5. scala 包声明和包导入
  • 6. scala 类和对象
  • 7. scala 给类取别名
  • 8. scala 的 trait
  • 9. scala 集合的 map 映射、高阶函数使用、集合的压平、 集合的过滤、集合的简化、集合的折叠、集合的扫描、集合的拉链、集合的迭代器、集合的分组
  • 10.scala 模式匹配
  • 11.scala 部分应用函数与偏函数
  • 12.scala 隐式转换
  • 13.scala 的排序
  • 14.scala API
  • 15.scala 数组
  • 16.scala 值调用、名调用和控制抽象
Spark
  • Spark 安装部署
  • Spark 常用 API
  • Hive on Spark 参数调优
  • Spark Streaming 的 reduceByKeyAndWindow 窗口函数
  • Spark 任务停止后自动重启
  • Spark源码之-CDH6下Spark2.4写Hive分区表异常
  • Spark 读取HDFS失败
  • Spark 读取JDBC数据源优化和源码解析
  • Spark 读取JDBC数据Time类型字段异常解析

    Spark 内核

  • Spark 内核概述(待补充)
  • Spark 部署模式
  • Spark 任务调度机制
  • Spark Shuffle解析
  • Spark 内存管理

    Spark 性能优化和故障处理

  • Spark 性能优化
  • Spark 数据倾斜解决方案
  • Spark 问题及解决
Flink
  • Flink 源码编译和远程debug设置(version: 1.12.7)
  • Flink on Kubernetes native session mode 源码分析(version: 1.12.7)
  • Flink 安装部署
  • Flink 构成和提交流程
  • Flink 并行度的划分
  • Flink HelloWorld
  • Flink Connectors
  • Flink Window&时间语义和Watermark
  • Flink ProcessFunction
  • Flink 多流转换
  • Flink State
  • Flink CEP
  • Flink 实时同步Oracle数据到Hive

  • FLink CDC(Standalone)
  • Flink CDC 集成 Iceberg 入湖

  • Chunjun on K8s 部署

  • Flink 搭建本地开发环境
Canal
  • 使用 canal 实时监控 mysql 并读取到 Kafka(scala 版)
Elasticsearch
  • Docker 安装Elasticsearch
  • Elasticsearch 常用操作
Kibana
  • Docker 安装Kibana
Azkaban
  • Azkaban 安装部署
  • Azkaban 迁移机器找不到executor
MySQL
  • MySQL 安装
  • MariaDB YUM 安装
  • MySQL 常用配置
  • MySQL binlog
  • MySQL 慢查询日志
  • MySQL 约束
  • MySQL基础(尚硅谷宋红康)
  • MySQL高级(尚硅谷宋红康)
Iceberg
  • Iceberg - 01 基本入门
  • Iceberg - 02 cdc 入湖
  • Iceberg - 03 spark
  • Iceberg - 04 基于 Hadoop 的数据存储结构(v2)
  • Iceberg - 05 合并小文件

Java

构建工具
  • Maven maven-shade-plugin
  • Gradle 安装整合Idea
Nginx
  • nginx 基础
  • nginx
  • nginx常用操作
  • nginx转发80端口到443
Redis
  • centos7 安装redis
  • redis 三主三从搭建
  • Redis 安装(docker)
  • redis 数据类型
  • redis conf详解
  • redis 持久化
  • redis 事务
  • redis 发布订阅
  • redis 主从复制
  • redis java客户端
  • redis 数据备份与恢复
  • redis 安全
  • redis 性能测试
Doris
  • Doris 编译安装(填坑)
  • Doris 备份还原
Idea
  • Idea 常用配置
设计模式
数据结构和算法
Java 基础
JVM

黑马

  • 基础篇
  • 实战篇
  • 高级篇
  • 原理篇
  • 面试篇

尚硅谷

  • 内存与垃圾回收-1.类加载机制
  • 内存与垃圾回收-2.运行时数据区-程序计数器
  • 内存与垃圾回收-3.运行时数据区-虚拟机栈
  • 内存与垃圾回收-4.运行时数据区-本地方法接口和本地方法栈
  • 内存与垃圾回收-5.运行时数据区-堆
  • 内存与垃圾回收-6.运行时数据区-方法区
  • 内存与垃圾回收-7.对象的实例化和直接内存
  • 内存与垃圾回收-8.执行引擎
  • 内存与垃圾回收-9.String Table
  • 内存与垃圾回收-10.垃圾回收概述和算法
  • 内存与垃圾回收-11.垃圾回收相关概念
  • 内存与垃圾回收-12.垃圾回收器
  • 字节码与类的加载-1.Class 文件结构
  • 字节码与类的加载-2.字节码指令集与解析举例
  • 字节码与类的加载-3.类的加载过程(类的生命周期)详解
  • 字节码与类的加载-4.再谈类的加载器
  • 性能监控与调优-1.概述
  • 性能监控与调优-2.JVM监控及诊断工具-命令行
  • 性能监控与调优-3.JVM监控及诊断工具-GUI
  • 性能监控与调优-4.JVM运行时参数
  • 性能监控与调优-5.分析GC日志
  • 性能监控与调优-6.补充:浅堆深堆与内存泄漏
  • 性能监控与调优-7.补充:使用OQL语言查询对象信息

运维/云原生

StarRocks
Milvus
  • 向量数据库Milvus
golang
  • golang 安装
软件部署
  • ubuntu部署ftp服务.md
  • centos7 nfs
  • centos7 sftp
  • keepalived
Zabbix
  • Centos7.7 安装 Zabbix
    • 编译源码安装zabbix4.4
      • Centos7.7 编译源码安装使用 Zabbix(zabbix-server)
      • Centos7.7 编译源码安装使用 Zabbix(zabbix-agent)
    • 二进制文件安装使用 Zabbix5.0
      • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-server)
      • Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-agent)
  • Zabbix5.0 中文乱码
  • Zabbix: 添加被监控主机、创建主机、监控项、触发器、图形和模板
  • Zabbix: 自定义邮件告警
Prometheus & Grafana
  • Prometheus & Grafana 部署监控
Docker
  • CentOS7 YUM安装 docker
  • CentOS7 离线安装 docker
  • CentOS7 降级 Docker
  • Docker 常用命令
  • Docker 镜像
  • Docker 容器数据卷
  • DockerFile 解析
  • Docker 常用安装
  • Docker 本地镜像发布到阿里云
  • 可视化界面 Portainer
  • 再探 Docker 数据卷
  • docker 网络
  • docker 的 CI/CD
  • docker 常用安装m1版
  • docker 设置代理
Kubernetes
  • kubernetes guide
  • 云原生的定义
  • 三种方式部署k8s
  • 扩容 K8s
  • 命令自动补全
  • 使用秘钥从私有仓库下载镜像
  • first k8s容器化应用
  • Kubernetes Token过期的问题
  • Kubernetes YAML文件配置详解
  • Kubernetes 常用操作命令
  • Kubernetes 部署 Dashboard
  • Kubernetes 工作负载 | Pod实践
  • Kubernetes 工作负载 | Deployment实践
  • Kubernetes 工作负载 | 服务网络和负载均衡
  • Kubernetes 工作负载 | RS、RC、DaemonSet、StatefulSet、Job、CronJob实践
  • Kubernetes 存储 | 卷的实践
  • Kubernetes 权限
  • Kubernetes helm
  • Kubernetes 常用服务部署
  • Kubernetes devops
  • Jenkins 动态感知部署
  • Kubernetes 更换证书
  • Kubernetes context 上下文配置

旧版

  • Kubernetes label
  • Kubernetes Volume挂载相关
  • Kubernetes 特殊 Volume
  • Kubernetes PodPreset预设置
  • Kubernetes 副本机制和水平扩展&滚动更新
  • Kubernetes Controller
  • Kubernetes statefulset
  • Kubernetes DaemonSet
  • Kubernetes job
  • Kubernetes cronjob
  • Kubernetes Ingress
  • Kubernetes NFS-PV-PVC
  • Kubernetes 部署Java
  • Kubernetes 声明PodPreset异常
  • Kubernetes 常见问题
  • Kubernetes 链路整合(待补完)
Linux
  • Linux 基础
  • Shell 编程
  • 开机、重启和用户登录注销
  • linux 常用操作命令
  • This account is currently not available(用户当前不可用)
  • Linux 集群时间同步
  • Linux 修改主机和IP
  • Linux 更换镜像源
  • Linux 安装 JDK
  • Linux 集群分发脚本
  • Linux 下卸载 MySQL
  • kill pid 和 kill -9 pid 的区别
  • frp+openvpn+docker 搭建
  • curl使用指南
  • 大数据常用软件部署总结
内网穿透
  • 内网穿透-暴露内网端口
  • 内网穿透-frp开启web服务
科学上网
  • 科学上网指南
  • Centos7.x科学上网

Mac

Mac
  • mac iterm2 安装 lrzsz
  • mac iterm2 批量删除主题
  • mac 自动登录服务器
  • mac oh-my-zsh