Skip to content

Commit fbed84a

Browse files
smile2gamesmile2game
authored
Merge branch 'PFCCLab:main' into main
2 parents 9b42e1e + 1a6efc8 commit fbed84a

13 files changed

+318
-0
lines changed

‎WeeklyReports/Hackathon_8th/02_Xuxuanang/2025.1.10~2025.2.16.md‎

Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,19 @@
1+
### 姓名
2+
许轩昂
3+
4+
### 实习项目
5+
项目二：模型迁移工具建设
6+
7+
### 本周工作
8+
9+
1. 修改映射文档约15篇，使其与转换规则对齐，并提交了PR。
10+
11+
相关PR:
12+
- https://github.com/PaddlePaddle/docs/pull/7054
13+
14+
### 下周工作
15+
16+
1. 完成剩余119个需要开发的API映射关系的开发，包括映射文档，转换规则，Matcher以及单测。
17+
18+
19+
### 导师点评

‎WeeklyReports/Hackathon_8th/02_Xuxuanang/2025.2.17~2025.3.2.md‎

Lines changed: 23 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,23 @@
1+
### 姓名
2+
许轩昂
3+
4+
### 实习项目
5+
项目二：模型迁移工具建设
6+
7+
### 本周工作
8+
9+
1. 新增torch.cuda.device_of，torch.cuda.get_rng_state，torch.cuda.set_per_process_memory_fraction等映射规则与Matcher，单测十余个，并提交PR。
10+
11+
- https://github.com/PaddlePaddle/PaConvert/pull/555
12+
13+
2. 新增torch.cuda.device_of，torch.cuda.get_rng_state等映射文档十余篇，并提交PR。
14+
15+
- https://github.com/PaddlePaddle/docs/pull/7081
16+
17+
18+
### 下周工作
19+
20+
1. 完成剩余约105个需要开发的API映射关系的开发，包括映射文档，转换规则，Matcher以及单测。
21+
22+
23+
### 导师点评

‎WeeklyReports/Hackathon_8th/05_gouzil/[WeeklyReport]2025.1.10~2025.2.16.md‎

Lines changed: 20 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,20 @@
1+
### 姓名
2+
3+
gouzil
4+
5+
### 实习项目
6+
7+
动转静性能优化专项
8+
9+
### 本周工作
10+
11+
1. 学习现有的 Guard 和 Fast Guard 机制
12+
13+
### 下周工作
14+
15+
1. 增加一个 Flag 用于控制单独 check Fast Guard 与 Guard 的运行结果
16+
2. 优化 Fast Guard 单测机制，减少单测时间
17+
18+
### 导师点评
19+
20+
继续改造测试机制，测试机制是我们开发最基础的保障，也能够快速暴露大量问题

‎WeeklyReports/Hackathon_8th/05_gouzil/[WeeklyReport]2025.2.17~2025.3.2.md‎

Lines changed: 22 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,22 @@
1+
### 姓名
2+
3+
gouzil
4+
5+
### 实习项目
6+
7+
动转静性能优化专项
8+
9+
### 本周工作
10+
11+
1. 优化现有 Flag [#71239](https://github.com/PaddlePaddle/Paddle/pull/71239)
12+
- 增加 `ENV_SOT_ENABLE_CHECK_FASTER_GUARD` 用于确认两个版本的 Guard 运行结果
13+
2. 修复 `LayerMatchGuard` 初始化错误
14+
15+
16+
### 下周工作
17+
18+
1. 修复在新增 Flag 暴露出来的错误
19+
20+
### 导师点评
21+
22+
牛哇川子

‎WeeklyReports/Hackathon_8th/05_gouzil/[WeeklyReport]2025.3.3~2025.3.23.md‎

Lines changed: 22 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,22 @@
1+
### 姓名
2+
3+
gouzil
4+
5+
### 实习项目
6+
7+
动转静性能优化专项
8+
9+
### 本周工作
10+
11+
1. 解决 [#71239](https://github.com/PaddlePaddle/Paddle/pull/71239) 中的遗留问题
12+
- 清理 `test_with_faster_guard` 装饰器 [#71757](https://github.com/PaddlePaddle/Paddle/pull/71757)
13+
- 添加 `LengthMatchGuard` 对 `dict` 的支持
14+
15+
16+
### 下周工作
17+
18+
1. 继续推进 Faster Guard 的实现
19+
20+
### 导师点评
21+
22+
牛哇川川宝～

‎WeeklyReports/Hackathon_8th/05_zrr1999/[WeeklyReport]2025.1.10~2025.2.16.md‎

Lines changed: 20 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,20 @@
1+
### 姓名
2+
3+
詹荣瑞
4+
5+
### 实习项目
6+
7+
动转静性能优化专项
8+
9+
### 本周工作
10+
11+
1. **调研 Guard 树及其优化机制**
12+
13+
### 下周工作
14+
15+
1. **进一步优化 Faster Guard 机制**
16+
2. **确定 Guard 树及其优化机制的基本方案**
17+
18+
### 导师点评
19+
20+
接下来进一步推进 Guard 机制实现，以实现动转静 SOT 端到端热启动的极致优化

‎WeeklyReports/Hackathon_8th/05_zrr1999/[WeeklyReport]2025.2.17~2025.3.2.md‎

Lines changed: 20 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,20 @@
1+
### 姓名
2+
3+
詹荣瑞
4+
5+
### 实习项目
6+
7+
动转静性能优化专项
8+
9+
### 本周工作
10+
11+
1. **调研 Guard 树及其优化机制**
12+
13+
### 下周工作
14+
15+
1. **进一步优化 Faster Guard 机制**
16+
2. **确定 Guard 树及其优化机制的基本方案**
17+
18+
### 导师点评
19+
20+
牛哇瑞瑞

‎WeeklyReports/Hackathon_8th/06_Hanyonggong/[WeeklyReport]2025.1.10~2025.2.16.md.md‎

Lines changed: 17 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,17 @@
1+
### 姓名
2+
3+
Hanyonggong
4+
5+
### 实习项目
6+
7+
PIR-TRT 算子 Converter 及单测开发
8+
9+
### 本周工作
10+
11+
1. 学习Tensorrt框架以及模型推理引擎开发
12+
13+
### 下周工作
14+
15+
1. 继续学习tensorrt相关知识、熟悉当前PIR-TRT 算子 Converter 开发过程
16+
17+
### 导师点评

‎WeeklyReports/Hackathon_8th/06_Hanyonggong/[WeeklyReports]2025.02.17~2024.03.02.md‎

Lines changed: 18 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,18 @@
1+
### 姓名
2+
韩用功
3+
4+
### 实习项目
5+
PIR-TRT 算子 Converter 及单测开发
6+
7+
### 本周工作
8+
9+
**1、PIR-TRT项目收尾**
10+
11+
12+
**2、相关大模型结构与算子学习**
13+
14+
15+
### 下周工作
16+
参与大模型相关建设
17+
18+
### 导师点评

‎WeeklyReports/Hackathon_8th/07_zeroRains/[WeeklyReport]2025.1.10~2025.2.16.md‎

Lines changed: 54 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,54 @@
1+
### 姓名
2+
3+
卢林军
4+
5+
### 实习项目
6+
7+
大语言模型推理&服务化易用性提升专项
8+
9+
### 本周工作
10+
11+
本项目的主要工作是优化当前PaddleNLP大模型推理服务调用，本周主要工作如下：
12+
13+
1. 大模型相关旧代码清理
14+
15+
当前PaddleNLP中已经实现了效率更高的`Block Attention`和`Append Attention`，需要清理当前默认使用的基本Attention方式，将Block Attention作为默认Attention进行大模型推理工作。
16+
17+
删除了当前`xxxInferenceModel`和`xxxForCausalLMInferenceModel`的定义，全面使用`xxxBlockInferenceModel`和`xxxForCausalLMBlockInferenceModel`。
18+
19+
移除当前`FusedMultiTransformerBase`的使用，全面使用`FusedBlockMultiTransformer`。
20+
21+
修改`Predictor`默认参数，默认开启`block attention`的使用
22+
23+
当前直接使用`block attention`仍然有部分BUG
24+
25+
ps: 此项工作与其他工作冲突较大，后续处理差不多后再进行推进
26+
27+
相关 PR：
28+
29+
- https://github.com/PaddlePaddle/PaddleNLP/pull/9770
30+
- https://github.com/PaddlePaddle/Paddle/pull/70763
31+
32+
2. 自定义算子二次封装与自动编译
33+
34+
收集PaddleNLP中使用的自定义算子(csrc文件夹中)，构建二次封装接口
35+
36+
在setup.py中集成自定义算子编译
37+
38+
CI已过
39+
40+
相关 PR：
41+
42+
- https://github.com/PaddlePaddle/PaddleNLP/pull/9794
43+
44+
45+
46+
### 下周工作
47+
48+
1. 完善自定义算子分类
49+
2. 分析Append Attention使用的Kernel结构，尝试解耦其实例化方式
50+
51+
### 导师点评
52+
53+
54+

0 commit comments

Comments
 (0)