Skip to content

Commit 427271e

Browse files
committed
调整代码结构、补充README.md
1 parent 8cb2b3c commit 427271e

File tree

32 files changed

+74
-21
lines changed

32 files changed

+74
-21
lines changed

frame/easyexcel/README.md

+5
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
# easyExcel使用
2+
[官网](https://easyexcel.opensource.alibaba.com/)
3+
[文档](https://easyexcel.opensource.alibaba.com/docs/current/)
4+
5+
[Main.java](src/Fmain/Fjava/FMain.java)

frame/jmh/README.md

+3
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,3 @@
1+
# JMH使用
2+
3+
[jmh](src/Fmain/Fjava/Fjmh)

frame/parquet/README.md

+2
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,2 @@
1+
# .parquet文件读写
2+
[Main.java](src/main/java/Main.java)

frame/reactor/README.md

+12
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,12 @@
1+
# reactor3
2+
响应式编程框架
3+
4+
[官网](https://projectreactor.io/)
5+
[文档](https://projectreactor.io/docs/core/release/reference/aboutDoc.html)
6+
7+
- 基础使用: [BaseTest.java](src/main/java/reactor/BaseTest.java)
8+
- 并行: [ParallelTest.java](src/main/java/reactor/ParallelTest.java)
9+
- 调度器(切换线程): [SchedulerTest.java](src/main/java/reactor/SchedulerTest.java)
10+
- 广播: [Broadcast.java](src/main/java/reactor/Broadcast.java)
11+
- 组合(窗口): [SplittingTest.java](src/main/java/reactor/SplittingTest.java)
12+
- 模拟队列: [Queue.java](src/main/java/reactor/Queue.java)

frame/reactor/src/main/java/reactor/SchedulerTest.java

+2-2
Original file line numberDiff line numberDiff line change
@@ -40,12 +40,12 @@ public void publishOn() throws InterruptedException {
4040
producer()
4141
.publishOn(Schedulers.newSingle("handle-1"))
4242
.map(i -> {
43-
System.out.println("handle-1: " + i);
43+
System.out.println("[" + Thread.currentThread() + "]handle-1: " + i);
4444
return i;
4545
})
4646
.publishOn(Schedulers.newSingle("handle-2"))
4747
.map(i -> {
48-
System.out.println("handle-2: " + i);
48+
System.out.println("[" + Thread.currentThread() + "]handle-2: " + i);
4949
return i;
5050
})
5151
.subscribe(message -> System.out.println("subscribe: " + message), System.err::println, countDownLatch::countDown);

frame/sharding/README.md

+5-3
Original file line numberDiff line numberDiff line change
@@ -1,12 +1,14 @@
11
# sharding
2-
测试[shardingsphere-jdbc](https://shardingsphere.apache.org/)框架数据分片功能
2+
[shardingsphere-jdbc](https://shardingsphere.apache.org/)框架数据分片功能
3+
4+
配置文件: [sharding.yaml](src/main/resources/sharding.yaml)
35

46
## 单分片列
57

68
SingleXXX
9+
- 分片算法: [SingleAlgorithm.java](src/main/java/com/example/sharding/config/SingleAlgorithm.java)
710

811
## 多分片列
912

1013
ComplexXXX
11-
12-
14+
- 分片算法: [ComplexAlgorithm.java](src/main/java/com/example/sharding/config/ComplexAlgorithm.java)

frame/spring-ai/README.md

+2
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,8 @@
11
# AI大模型
22
Ollama+deepseek
33

4+
[AiApplication.java](src/main/java/com/example/ai/AiApplication.java)
5+
46
## 安装
57
1. 下载[ollama](https://ollama.com/)
68
2. 部署deepseek-32b模型

frame/spring-format/README.md

+2
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,2 @@
1+
# 自定义Spring序列化及反序列化
2+
[Format.java](src/main/java/studytest/format/Format.java)

frame/spring-transaction/README.md

+2-2
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,10 @@
11
# spring事务测试
22

33
## 基本测试
4-
[ModelServerImpl.java](src%2Fmain%2Fjava%2Ftransaction%2FModelServerImpl.java)
4+
[ModelServerImpl.java](src/main/java/transaction/ModelServerImpl.java)
55

66
## 多线程事务
7-
[MultiServiceImpl.java](src%2Fmain%2Fjava%2Ftransaction%2FMultiServiceImpl.java)
7+
[MultiServiceImpl.java](src/main/java/transaction/MultiServiceImpl.java)
88

99
1. 获取线程资源,只有获取到任务数相同的线程才开始执行
1010
2. 开启事务并执行,若失败则记录

middleware/hadoop/概念说明.md

+4
Original file line numberDiff line numberDiff line change
@@ -2,6 +2,8 @@
22
Hadoop Distributed File System
33
Hadoop分布式文件系统,用于管理数据
44

5+
[hdfs](src/main/java/hdfs)
6+
57
## NameNode(NN)
68
Hadoop进程,负责处理文件数据管理。每个集群一个。
79
1. HDFS名称和命名空间
@@ -74,6 +76,8 @@ Hadoop进程,负责单个节点资源管理。每个节点一个。
7476

7577
**只能单阶段处理,不能多个阶段连续处理**: 每个阶段处理完成需写入文件,下个阶段处理再从文件读取。
7678

79+
[mapreduce](src/main/java/mapreduce)
80+
7781
## Mapper
7882
MapReduce映射阶段处理。用于将数据处理为键值对,供后续使用
7983

middleware/kafka/概念说明.md

+6-2
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,8 @@
11
# Producer
22
生产者,消息发送端。
33

4+
[KafkaApplication.java](src/main/java/com/example/kafka/KafkaApplication.java)
5+
46
## acks
57
发送确认方式。
68
- 0: 发送完成立刻返回,不等待Leader确认,可能丢失消息。
@@ -20,6 +22,8 @@ Kafka服务节点。由多个Broker构成集群。集群中每个Broker拥有不
2022
# Consumer
2123
消费者,消息接收端(通过拉模式)。
2224

25+
[KafkaApplication.java](src/main/java/com/example/kafka/KafkaApplication.java)
26+
2327
## auto.offset.reset
2428
消费者启动时无已提交消息偏移量处理方式:
2529
- earliest: 从最早开始。
@@ -69,8 +73,8 @@ Leader副本任期,当Leader切换时增加。
6973
消费者组,每个消费者需指定属于一个组。
7074

7175
一条主题分区的记录只由一个组成员处理,一个组成员可处理多个主题分区的记录。
72-
即组成员数量<=主题分区数。
73-
若组成员数量>主题分区数时,存在组成员数量-主题分区数个消费者消费不到数据
76+
`组成员数量<=主题分区数`
77+
若组成员数量>主题分区数时,存在`组成员数量-主题分区数`个消费者消费不到数据
7478

7579
## Coordinator
7680
消费者组中管理分区分配策略、消费者心跳处理、执行重平衡等。当存在下列情况时,会触发重平衡机制:

middleware/spark/SparkCore.md

+14-6
Original file line numberDiff line numberDiff line change
@@ -1,3 +1,8 @@
1+
[base](src/main/java/base)
2+
- WorkCount: [WordCount.java](src/main/java/base/WordCount.java)
3+
- 读: [Read.java](src/main/java/base/Read.java)
4+
- 写: [Write.java](src/main/java/base/Write.java)
5+
16
# Job/Stage/Task
27
- Job: 作业,完整的执行流程。即count(Job)=count(行动算子)。
38
- Stage: 阶段,每次读写算做一个阶段。即count(Stage)=count(Shuffle)+1。各阶段串行执行。
@@ -10,6 +15,9 @@ Job 1=(1..n) Stage 1=(1..n) Task
1015
k-v类型相同key放在同一个区。
1116
Shuffle操作会重新分区。
1217

18+
- 自定义分区结果: [Partition.java](src/main/java/base/Partition.java)
19+
- 自定义分区数量: [StagePartition.java](src/main/java/base/StagePartition.java)
20+
1321
# Shuffle
1422
将分区内数据重新打乱分发操作称为Shuffle。Shuffle操作是主要的资源消耗原因。
1523
- 可改变分区数目。
@@ -24,8 +32,8 @@ Resilient Distributed Datasets弹性分布式数据集。
2432
- 可处理多个分区
2533

2634
## 数据处理分类
27-
- value: 每条数据只有值,处理也是按值处理。
28-
- key-value: 每条数据包含键值对,可按键值处理。
35+
- value: 每条数据只有值,处理也是按值处理。[BaseRdd.java](src/main/java/base/BaseRdd.java)
36+
- key-value: 每条数据包含键值对,可按键值处理。[PairRdd.java](src/main/java/base/PairRdd.java)
2937

3038
## 算子(方法处理分类)
3139
指RDD内的方法。对数据进行操作。
@@ -38,17 +46,17 @@ Resilient Distributed Datasets弹性分布式数据集。
3846
## 窄依赖
3947
- 上游RDD数据被一个RDD独享。
4048
- 上游 (1..n)=1 下游。
41-
- 不会执行shuffle操作
49+
- 不会执行`shuffle`操作
4250

4351
## 宽依赖
4452
- 上游RDD数据被多个RDD共享。
4553
- 上游 (1..n)=n 下游。
46-
- 会执行shuffle操作
54+
- 会执行`shuffle`操作
4755

4856
# 持久化
4957
避免重复计算,将计算中间结果保存。
50-
- cache: 缓存。不切断血缘关系,存储在内存。
51-
- checkPoint: 检测点。切断血缘关系,通常存储在HDFS。会重新计算。
58+
- cache: 缓存。不切断血缘关系,存储在内存。[CacheRdd.java](src/main/java/base/CacheRdd.java)
59+
- checkPoint: 检测点。切断血缘关系,通常存储在HDFS。会重新计算。[CheckPointRdd.java](src/main/java/base/CheckPointRdd.java)
5260

5361
# Broadcast
5462
广播变量,当task使用到共享变量时,避免多次传输时使用。

middleware/spark/SparkSql.md

+8-4
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,11 @@
1+
[sql](src/main/java/sql)
2+
- schema: [Schema.java](src/main/java/sql/Schema.java)
3+
- 写入: [Write.java](src/main/java/sql/Write.java)
4+
15
# 操作方式
2-
- SQL: 使用sql语法操作
3-
- DSL: 使用编程方式操作
6+
- SQL: 使用sql语法操作[ReadBySql.java](src/main/java/sql/ReadBySql.java)
7+
- DSL: 使用编程方式操作[ReadByDsl.java](src/main/java/sql/ReadByDsl.java)
48

59
# 自定义函数对象
6-
- UDF: 用户自定义函数,类似map操作
7-
- UDAF: 用户自定义聚合函数,类似reduce操作
10+
- UDF: 用户自定义函数,类似map操作[Udf.java](src/main/java/sql/Udf.java)
11+
- UDAF: 用户自定义聚合函数,类似reduce操作[单参数](src/main/java/sql/UdafSingle.java) [多参数](src/main/java/sql/UdafMulti.java)

middleware/spark/SparkStreaming.md

+2
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,8 @@
11
# DStream
22
离散化流。将数据按时间区间采集到的数据集。是spark处理流式数据的封装。
33

4+
[ByKafka.java](src/main/java/streaming/ByKafka.java)
5+
46
# 接收器
57
接收数据,封装为DStream。
68

middleware/zookeeper/概念说明.md

+3
Original file line numberDiff line numberDiff line change
@@ -16,6 +16,7 @@
1616
各节点可存储数据,配置监视器。
1717
每个节点存储数据最大为1MB。
1818

19+
[Main.java](src/main/java/node/Main.java)
1920
## 属性
2021
```zooKeeper.exists(path, false)```
2122
```stat /```
@@ -53,3 +54,5 @@
5354
- create
5455
- delete
5556
- setData
57+
58+
[Main.java](src/main/java/watcher/Main.java)
File renamed without changes.
File renamed without changes.
File renamed without changes.

sso/sso2/userCenter/pom.xml sso/sso2/user-center/pom.xml

+2-2
Original file line numberDiff line numberDiff line change
@@ -9,9 +9,9 @@
99
<relativePath/> <!-- lookup parent from repository -->
1010
</parent>
1111
<groupId>com.example</groupId>
12-
<artifactId>userCenter</artifactId>
12+
<artifactId>user-center</artifactId>
1313
<version>0.0.1-SNAPSHOT</version>
14-
<name>userCenter</name>
14+
<name>user-center</name>
1515
<description>Demo project for Spring Boot</description>
1616

1717
<properties>

0 commit comments

Comments
 (0)