Liang Depeng
### TODO - [x] forward implementation - [x] backward implementation - [x] add tests - [x] refine doc - [ ] nhwc format
实现google量化感知训练文章中提到的，训练过程中融合 conv 和 bn 的模块 `QatFuseConvBN`。 为了简化导出 onnx 的过程，这个模块内部包含了三个状态，首先除了 `nn.Module` 自带的 `self.training` 成员，还额外给该模块添加了一个 `self.is_freezed` 的成员，用于指定是否bn 的参数真正 融合进了 conv 的参数中，下面具体解释三个状态代表什么意思： ### 状态一 ，`self.self.is_freezed=False, self.training = True` 此时是在对模型做量化训练，训练过程中首先对该模块的输入做模拟量化，然后通过一个卷积模块得到输出，接着计算输出的均值和方差，然后动态融合bn和conv的参数，的到新的折叠了bn的conv参数，然后对该参数做模拟量化，最后将模拟量化后的参数和输入重新输入到一个卷积操作中。 ### 状态二，`self.self.is_freezed=False, self.training =...
### TODO - [ ] swin tiny 8卡 cifar100 上对齐官方实现精度 - [ ] swin v2 tiny 8卡 cifar100 上对齐官方实现精度
# 问题描述 根据 flowvision 仓库中用户的 [issue 描述](https://github.com/Oneflow-Inc/vision/issues/237#issuecomment-1168422265)，libai swin 8卡加速比低的问题，在类脑上做了下实验，下面是 libai 和 官方swin数据对比 ## 实验环境 类脑vs009 oneflow 版本：`0.8.0+cu112.git.57869e9e39` libai 版本： `de2c68f2692760e5de87ebb815541a98d1b8ebe7` pytorch 版本：`1.10.1+cu102` ## libai ### graph, fp16, batch 128 1卡吞吐：...
实验分支：https://github.com/Oneflow-Inc/libai/pull/215 ### 文件 swin_cifar100.py 关键配置 ```python3 train.train_micro_batch_size = 8 train.num_accumulation_steps = 2 train.test_micro_batch_size = 16 # parallel strategy settings train.dist.data_parallel_size = 2 train.dist.tensor_parallel_size = 2 train.dist.pipeline_parallel_size = 2 train.dist.pipeline_num_layers =...
需求来源： https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1232440993 ## Todo lists - [x] 实现 exponential_ 算子 - [x] functor 逻辑 - [x] cpu kernel - [x] cuda kernel - [x] 测试 - [x] 实现 multinomial 算子...
- [ ] https://github.com/Oneflow-Inc/models/pull/355 认领人 @wzy9813125 - [ ] https://github.com/Oneflow-Inc/models/pull/289 认领人 @minasora - [ ] https://github.com/Oneflow-Inc/models/pull/297 - [ ] https://github.com/Oneflow-Inc/models/pull/269 - [x] https://github.com/Oneflow-Inc/models/pull/364 认领人 @songzetao - [x] https://github.com/Oneflow-Inc/models/pull/362 认领人 @songzetao...
复现好的模型，代码提交 [Oneflow-Inc/models](https://github.com/Oneflow-Inc/models) 仓库统一管理。 对于能找到Pytorch官方实现的模型，比如视觉分类网络，直接对齐torch实现然后把torch的预训练模型直接转成oneflow来用，复现的模型代码需要提供： - 训练脚本 - 预训练模型 - 预测脚本 - requirements.txt - README 获取运行当前目录下 python 脚本所需的 requirements.txt ```python3 pip3 install pipreqs --user pipreqs . --no-pin ``` README.md 要用英文来写，具体内容和格式可以参考：[resnet50](https://github.com/Oneflow-Inc/models/blob/main/resnet50/README.md)。如果是生成类或者像素级任务，比如 GAN，风格化、分割和超分等等，则需要在...