Xiaojun Wu

https://www.hkust-gz.edu.cn/ [email protected]

The Hong Kong University of Science and Technology (Guangzhou) China The Hong Kong University of Science and Technology (Guangzhou)/major in Data Science and Aanlystics

Results 14 comments of


                                            Xiaojun Wu

Where is the GPT-based implementation on SuperGLUE?

同问

使用微调finetune_taiyi_stable_diffusion/finetune.py出现的bug信息

你什么都不要改，args.model_path传进去clone下来的 https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1，然后直接跑finetune.sh

使用微调finetune_taiyi_stable_diffusion/finetune.py出现的bug信息

diffusion model的finetune的训练loss确实是不怎么下降的，这是正常的，你可以测试下文生图效果

RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmStridedBatchedExFix( handle, opa, opb, m, n, k, (void)(&falpha), a, CUDA_R_16F, lda, stridea, b, CUDA_R_16F, ldb, strideb, (void)(&fbeta), c, CUDA_R_16F, ldc, stridec, num_batches, CUDA_R_32F, CUBLAS_GEMM_DEFAULT_TENSOR_OP)`

你们的transformers版本是多少？试下： pip install -U transformers pip install -U diffusers

Fooocus适配Taiyi-XL模型

参考https://github.com/IDEA-CCNL/Fooocus-Taiyi-XL/issues/3

**请多尝试Fooocus里不同的风格， Please Try More Styles in the Fooocus!** 就像我们在 https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B modelcard说的那样，由于训练数据的数量、质量和多样性的限制，还有训练资源的限制，我们模型不够稳定，希望开源社区可以基于我们的方案进行进一步微调。 As we said in https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-XL-3.5B modelcard, due to the limitation of the quantity, quality and diversity of training data,...

Fooocus适配Taiyi-XL模型

我们发布训练代码了 we have released training codebase： - https://zhuanlan.zhihu.com/p/689784367 - https://github.com/IDEA-CCNL/Taiyi-Diffusion-XL

Fooocus适配Taiyi-XL模型

> > 请问tokenizer（2个） / text_encoder（2个）以及scheduler下的文件应该放到models下的那个文件下呢？ > > 同问请问这个问题您解决了吗一般只要在config.txt里的path_embeddings指定tokenizer，text_encoder和scheduler不用管，如果有什么错误可以贴下报错吗，我有时间会尽快解答

Fooocus适配Taiyi-XL模型

> ![20240520123940](https://private-user-images.githubusercontent.com/56286935/331944390-396fc589-096e-4370-91d6-36b18805b5a6.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTYxODE0NzAsIm5iZiI6MTcxNjE4MTE3MCwicGF0aCI6Ii81NjI4NjkzNS8zMzE5NDQzOTAtMzk2ZmM1ODktMDk2ZS00MzcwLTkxZDYtMzZiMTg4MDViNWE2LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA1MjAlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNTIwVDA0NTkzMFomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTE1ZjI1NzNhMDBiZmIyZTc1ZjViMzUzYzM0YjU4Nzg0YWQyOTFlYzg1YzlhZWRhZjA5Mjg1NmQ1YTk1MTc4Y2UmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.vXGnAwtp1_8K4sBZFwXSSFqgXviVhePQko3Z8WolWxE) > > @wxj630 您好，我通过命令行运行 python entry_with_update.py --listen --preset taiyi 的时候报出如上错误 > > 1、config key加载出现问题 2、embeddings加载出现问题 3、现在前端gradio页面能够打开，但是点击生成没有反应，卡在”Waiting for task to start ...“ > > 我的系统环境是win10，python3.10，按照要求安装了requirements的包，然后也将huggingface下载下来的taiyi_diffusion_xl.safetensors文件放到"./models/checkpoints/"下面了 > > 请问应该如何解决上述三个问题呀？谢谢您！ config.txt的路径目前写的是我的绝对路径，都改成自己问价夹的路径

Fooocus适配Taiyi-XL模型

> @wxj630 感谢您的解答，您指的是Fooocus-Taiyi-XL文件夹根目录下的config.txt文件吗？ > > 在config.txt中我没有发现里面有关于指定tokenizer的路径的命令。单我注意到上面的报错中有一句话warning, tokenizer path not specified, using default tokenizer，因此我通过全局搜索发现在Fooocus-Taiyi-XL\backend\headless\fcbh\sd1_clip.py 文件中 SDTokenizer 这个类初始化中使用了您指定的路径，因此我把这个路径改成了HuggingFace下载下来的Taiyi-Stable-Diffusion-XL-3.5B\tokenizer后可以正常加载tokenizer。 > > ![20240520141639](https://private-user-images.githubusercontent.com/56286935/331962545-132b7d6b-f50f-4c6c-b606-cf57785be3e3.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTYxODYzOTMsIm5iZiI6MTcxNjE4NjA5MywicGF0aCI6Ii81NjI4NjkzNS8zMzE5NjI1NDUtMTMyYjdkNmItZjUwZi00YzZjLWI2MDYtY2Y1Nzc4NWJlM2UzLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA1MjAlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNTIwVDA2MjEzM1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTMxNGNlYzQ4YzVjMjZiYjM1YzNhYWVhODQwOTljZmE3NzcxOTZmMmRjMGI3ZDRmMDBhY2IyZWQ3ODA3MjcyMjEmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.QIbMdG3gI6IAJgbC-KzTWivvqWyFOzVouQM64Q-GsNQ) > > 然而在加载完成之后，我试图在网页中输入中文”男孩“或者英文”boy“会报如下编码错误： > > ![微信截图_20240520141945](https://private-user-images.githubusercontent.com/56286935/331963036-fc1c4bc6-5769-47b5-8a9f-3f2ef7b5c3d0.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MTYxODYzOTMsIm5iZiI6MTcxNjE4NjA5MywicGF0aCI6Ii81NjI4NjkzNS8zMzE5NjMwMzYtZmMxYzRiYzYtNTc2OS00N2I1LThhOWYtM2YyZWY3YjVjM2QwLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA1MjAlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNTIwVDA2MjEzM1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTlkNDRmOWE3MmQ0NzdlMzcwMmY1ZDBmMDI5MzQwYTI1YWE2ZDJlZDdlM2YyYjQwODBjNmY3MzllYzRlYWZmODcmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.e9wZwa6BYohhVdjuke604OuBiVXTkyGkMWVU-k2TEsM) > > 请问这个问题该怎么解决呢？期待您的解答！谢谢！看起来是在windows部署的时候遇到字符编码的小问题，试下modules/default_pipeline.py的第162行和164行改为：...