xinjunwei
xinjunwei
> 你好,想问个问题,在运行时,batch_size作者是设置了6,你有修改这些大小吗?我修改了几次,运行完第一阶段就停止了,第二阶段运行不了。 > 报这个错,好像是说内存不够了。 > I tensorflow/core/common_runtime/bfc_allocator.cc:645] Chunk at 0000000217715F00 of size 1024 我也遇到这样的问题,第二阶段优化全部层,所以显存溢出了,我改动batchsize让其在第二阶段可以正常运行后,重新训练了。
> @zhishao @iodncookie @jhfollowgd @CNUyue @Shank2358 @jersonal > 你好,想问下你们的 COCO 数据集是怎么处理然后用于训练的?是把 COCO 转换成 PASCAL VOC 的格式吗? > > 谢谢 将coco数据集转换成这个项目需要的格式,该项目的readme中有写,转换代码需要自己写.
SSR搭建的每个端口只用一天就被封了,端口设置的五位数 @Alvin9999
> @jersonal 是自己搭建的账号? 是的 自己买的VPS搭建的账号,现在卸载了ssr,搭了v2ray,想问一下多个设备公用一个服务器会更容易被封吗
> 鬼子的封锁越来越严了 用v2ray+ws+tls,从没被封过
这是提醒,你应该用的在线模型吧?当使用config.get("model_path")时候,model_path不存在,会将text_splitter_dict[splitter_name]["tokenizer_name_or_path"]=None  然后在调用AutoTokenizer.from_pretrained(text_splitter_dict[splitter_name]["tokenizer_name_or_path"],trust_remote_code=True)时候,由于text_splitter_dict[splitter_name]["tokenizer_name_or_path"]=None,所以会警告  你可以使用下载到本地的模型做测试,比如chatglm3等 
> > 可以使用下载到本地的模型做测试,比如chatglm3等 > > 既然是提醒的话,是不是就没有问题 是的,没有影响。 这个是大模型的分词器,本地模型会在MODEL_ROOT_PATH下去找该模型对应的分词器。在线模型没有model_path参数,默认会调用text_splitter.chinese_recursive_text_splitter.ChineseRecursiveTextSplitter分词器,所以没有影响  
不用管,看着不爽就把print(e)注释了 
> > 不用管,看着不爽就把print(e)注释了  > > 大佬,还有个问题方便解答一下吗? 我本身模型用的是EMBEDDING_MODEL = "bge-large-zh",但是在创建知识库的哪里有模型选择,这里是只能选择我配置里的EMBEDDING_MODEL = "bge-large-zh" 吗 我刚刚测试选择了1.5的 报错如下: 2024-03-21 17:31:27,847 - faiss_cache.py[line:80] - INFO: loading vector store in '中文测试删除/vector_store/bge-large-zh-v1.5' from disk. 2024-03-21 17:31:27,891...
mim install mmcv-full==1.7.1 (or other version) dont use mim install mmcv