fallbernana123456

question_answering 使用指定的其他model失败

1

在Taskflow("question_answering")中会自动使用gpt-cpm-large-cn ，但是 由于太大了Out of memory error on GPU，也不支持多个GPU，　所以我找到还有一个 gpt-cpm-small-cn-distill 模型，但是通过model参数指定，发现配置里没有。我该如果配置才能使用gpt-cpm-small-cn-distill？

train的多cpu

1

请问下cross_encoder.train 可以配置多个cpu跑吗？默认的这个跑的太慢了。4千条的训练集跑了2天了。

训练的时候不同数据标识数据属于不同的组，在查询的时候通过参数来在不同的组的数据里做查询，这样启动一个服务就能支持多个功能查询。 后续会支持这样的功能吗？

RuntimeError: expected scalar type Half but found Float

1

from diffusers import StableDiffusionPipeline model_id = "runwayml/stable-diffusion-v1-5" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16, revision="fp16") pipe = pipe.to(device) prompt = "a photo of an astronaut riding a horse on mars" image = pipe(prompt).images[0]...

gradio试用问题

1

1. 使用多说话人示例视频 | Multi-speaker Demo Video 这个示例，点击识别+区分说话人，生成的结果和识别生成的一样 2. 使用文本\说话人裁剪时，待裁剪说话人 | Speaker to Clip (多个说话人使用'#'连接)这栏里该填什么内容？我除非不填，要不后台报 if str(d['spk']) == spkid and d_end-d_start>999: KeyError: 'spk' 这个错误

请问basic_demo/cli_demo_multi_gpus.py能降低单张gpu卡的要求吗？

2

我看到BF16 / FP16 推理 42GB 但是说明中在cli_demo_multi_gpu.py 中，我们使用了 infer_auto_device_map 函数来自动分配模型的不同层到不同的GPU上。你需要设置 max_memory 参数来指定每张GPU的最大内存。例如，如果你有两张GPU，每张GPU的内存为23GiB。 是否是指通过多卡来减少单张卡的gpu内存要求？ 我现在有4张16G的卡，通过这个方式{0: '15GiB', 1: '15GiB', 2: '15GiB', 3: '15GiB'} ，还是会导致 CUDA out of memory,请问是我理解的不对还是我设置的不对？

[BUG] 使用docker安装，使用webui测试发现的问题

7

Feel free to ask any kind of questions in the issues page, but please use English since other users may find your questions valuable. **Describe the bug** A clear and...

NPU out of memory

1

我在昇腾910B上部署完成，python inference/cli_demo.py 时报错： `hidden_states = F.scaled_dot_product_attention( RuntimeError: NPU out of memory. Tried to allocate 35.31 GiB (NPU 0; 60.97 GiB total capacity; 26.13 GiB already allocated; 26.13 GiB current active;...

  我把能填写的都填写了。但是新建不了。问题在哪里？

opensora/serve/gradio_web_server.py 的问题

3

在opensora/serve/gradio_web_server.py 里引用了 `text_encoder = MT5EncoderModel.from_pretrained("/storage/ongoing/new/Open-Sora-Plan/cache_dir/mt5-xxl", cache_dir=args.cache_dir, low_cpu_mem_usage=True, torch_dtype=weight_dtype) tokenizer = AutoTokenizer.from_pretrained("/storage/ongoing/new/Open-Sora-Plan/cache_dir/mt5-xxl", cache_dir=args.cache_dir)` 这个/storage/ongoing/new/Open-Sora-Plan/cache_dir/mt5-xxl 在哪里获取？是指的 google/mt5-xxl 吗？