sitara24
sitara24
> 我试了 ubuntu18.4 triton2.1 也编译不过去,官方能否给个 量化版本的 docker 镜像啊,这个环境搭建废了好几天,也么成功。 确实,我换成ubuntu,到调用triton一直不行,装上了triton也显示autotune不可用,一直提示安装triton
> 经过测试,发现多次重新卸载pip uninstall triton后重新安装triton即可运行。 指定安装triton2.0.0后成功,默认安装是带post1后缀版本的,替换之后就可以了。
其实是少了.index.json这个文件,没办法索引到模型。看非量化模型的文件夹是有多这个文件的。改地址不行...头疼
> 用python3.9 直接pip安装,没有任何错误 主要是他说明文档的下载安装部分指定了3.8,所以其实python版本没啥影响...
> index.json问题,使用[https://blog.csdn.net/genghaojie123/article/details/130357804的方法可以解决,但是需要部署在cpu上,去掉了.cuda问题重新出现,不知道有没有解决方法](https://blog.csdn.net/genghaojie123/article/details/130357804%E7%9A%84%E6%96%B9%E6%B3%95%E5%8F%AF%E4%BB%A5%E8%A7%A3%E5%86%B3%EF%BC%8C%E4%BD%86%E6%98%AF%E9%9C%80%E8%A6%81%E9%83%A8%E7%BD%B2%E5%9C%A8cpu%E4%B8%8A%EF%BC%8C%E5%8E%BB%E6%8E%89%E4%BA%86.cuda%E9%97%AE%E9%A2%98%E9%87%8D%E6%96%B0%E5%87%BA%E7%8E%B0%EF%BC%8C%E4%B8%8D%E7%9F%A5%E9%81%93%E6%9C%89%E6%B2%A1%E6%9C%89%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95) 找到了这个修改方法,你可以试试,我机器内存不够所以没跑完。 https://blog.csdn.net/genghaojie123/article/details/130357804
> > > 一模一样的问题.requirement.txt也没写全。安装triton的时候torch的版本又变了. > > > > > > 这个triton怎么安装啊,用pip install triton找不到啊,去pypi.org上找只有anyLinux版本,是不是没有windows版本啊 > > 试试这个 https://huggingface.co/r4ziel/xformers_pre_built/blob/main/triton-2.0.0-cp310-cp310-win_amd64.whl 这个是python3.10的编译版本,装不上,我试过了...还是换linux吧