libingbingd

bge-reranker-large微调报错

1

您好，我这在微调bge-reranker-large的时候一直在报两个错，这是什么原因呢：   我的显存是30G，训练bge-large-zh都可以； 参数如下： python ./run.py --model_name_or_path='/oss/model/bge-reranker-large' \ --output_dir='/oss/model/bge-reranker-large-ft-lbb/1.0.0' \ --train_data='/oss/data/bge-large-zh-lbb-data/train_pos_top30.jsonl' \ --num_train_epochs=2 \ --learning_rate 6e-5 \ --fp16 \ --per_device_train_batch_size 10 \ --logging_steps 100

相似度如何卡阈值

1

您好，我在卡阈值的时候发现，有些相似度的分值0.97左右，但是匹配的不太对， 有些是0.89，但是匹配的结果很相似。 就感觉这个值不是一个固定的，而是针对不同问题相对的值，就没办法做统一处理了， 请问这个有啥好办法吗？

内存超限问题

1

您好，我同样的代码，同样的模型，之前都能跑起来，现在31个GPU了还是不行呢？ 配置如下： 报错如下： FlagEmbedding版本：从1.0.3试到最高版本； 代码如下： from FlagEmbedding import FlagModel model = FlagModel('/model/bge-large-zh', query_instruction_for_retrieval="为这个句子生成表示以用于检索相关文章：") while True: user_q = input("请输入1>> ") user_a = input("请输入2>> ") embeddings_1 = model.encode(user_q) embeddings_2 = model.encode(user_a) similarity...

BGE-M3支持文档信息检索

1

您好我想咨询下，BGE-m3支持大文档的内容检索吗？ 我想做个智能客服，知识库是以文档的形式存储，拿用户的query在文档中检索出某一句作为答案回复，支持这样吗？ 我理解文档中提到的检索，还是两个句子的相似度检索，并不能直接从一个文档中提取出某句话来回答用户的问题；

微调完的模型，如何跟基础模型合并？

1

您好，我微调完发现没有大的模型权重文件，只有一些配置文件，如何跟原模型合并呢？

当mp3时长超过3755秒时，就会报错：torch.OutOfMemoryError: CUDA out of memory.

1

在调用代码时，当mp3时长超过3755秒时，就会报错：torch.OutOfMemoryError: CUDA out of memory. 代码如下： def load_model_to_asr(local_path): model = AutoModel( model=model_dir, vad_model=vad_model, punc_model=punc_model, spk_model=spk_model, vad_kwargs={"max_single_segment_time": 30000}, device="cuda:0", ) # en res = model.generate( #input=f"{model.model_path}/example/en.mp3", input=local_path, cache={}, language="auto", # "zn",...

配置gpt接口时，总是访问失败

3

配置及失败图片：

大佬能不能提供一个完整的安装环境的版本，经过很多测试，版本都对应不上呢，求助

3

### Reminder - [x] I have read the above rules and searched the existing issues. ### Description 求助大佬，提供一下安装环境的说明： python、torch、torchvision、ktransformers、flash-attn、cuda等版本的对应关系； 目前测试多次，版本对不上，老是报错，两个错误来回报； 错误1： flash_attn_2_cuda.cpython-312-x86_64-linux-gnu.so: undefined symbol: _ZN3c105ErrorC2ENS_14SourceLocationESs 错误2： KTransformersOps.cpython-312-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda9SetDeviceEab...