Charlie

get state dict OOM

1

I train llama 13 in 8 3090 with lora. Model can be forwarded and backwarded. But when model get state dict, gpu is OOM.

关于dfs.py 的一些疑惑

3

Hi, David: 很感谢您的代码，这对我而言非常重要。对于pra的论文[https://www.cs.cmu.edu/~tom/pubs/lao-emnlp11.pdf](url) 我看了好几遍，始终不是很明白，尤其是计算路径概率这一块，看了您的代码之后豁然开朗。但是我在生成路径这个地方有一些疑惑，如下： 1. 根据您的说明文档，您使用 dfs.py 来生成路径，可是dfs.py 只有一个简答的示例, 即只有一个 begin 和 end ，想问下您生成 paths_threshold.txt 所有的 begin 和 end 是哪些？ 2. paths_threshold.txt 据您所说是 “是加了限制后的结果”，想问下您增添了哪些限制？ 是论文中的三个限制（query support≥ α = 0.01 +ever...

https://github.com/InternLM/xtuner/tree/main/xtuner/configs/qwen/qwen1_5 这里似乎没有 32b 的config, 麻烦支持一下

### Description of the bug | 错误描述 在 https://github.com/opendatalab/MinerU/blob/master/projects/web_api/app.py 中加入模型初始化代码 ```python def init_model(): from magic_pdf.model.doc_analyze_by_custom_model import ModelSingleton try: model_manager = ModelSingleton() txt_model = model_manager.get_model(False, False) logger.info(f"txt_model init final") ocr_model =...