Anthony
Anthony
> | encountered the same error, which seems to stem from the server being unreachable at http://0.0.0.0:30000/, particularly when using a proxy. `res = requests.get(url + "/get_model_info", timeout=5, headers=headers)` I...
我使用的是Qwen2:7b
> > 我的情况是vllm加载qwen72,global回答还可以,local明显不对,不清楚原因,为什么要用vllm呢,因为index它太快了,难以置信,这样graphrag才有使用场景,但vllm local search明显不对,1个文件没问题能准确找到相关内容,2个文件以上local search 就找不到相关内容,回答就是幻觉 global能答对,说明整个index过程到最后create_final_documents,all workflow都没有问题 为什么local 找不到相关内容,local search 源码需要调整吗? > > 你有遇到JSONDecodeError: Expecting value: line 1 column 1 (char 0} 问题吗,我的llm是qwen2-7b, infer-engine也是vllm 我也遇到过,在community report生成的过程中,我换了几种开源大模型都不太理想,还是qwen2:7b比较符合