jiaxingli
jiaxingli
求教怎么用LoRA来微调7B模型呢
> 改善食物的烹饪方式与摄取方式, 改善床的配置,与身体按摩, 或许能减少睡眠时间的同时保持获取更多精神力, 这是我这几十年的总结. 可是以前不是都说晚上要睡8小时吗，为啥又改成7小时了呢，我要是天天只睡七小时中午必须得午休才行，虽然8小时也会想午休吧
> > > 改善食物的烹饪方式与摄取方式, 改善床的配置,与身体按摩, 或许能减少睡眠时间的同时保持获取更多精神力, 这是我这几十年的总结. > > > > > > 可是以前不是都说晚上要睡8小时吗，为啥又改成7小时了呢，我要是天天只睡七小时中午必须得午休才行，虽然8小时也会想午休吧 > > 因为你的体能与精神力不足啊. 我其实是想讨论正常该睡几小时
> 可以麻烦提供下运行成功的npu镜像吗？多谢！ 可以试下这个 docker pull internlm/opencompass:opencompass-20240607
你这个是用了flash attention还是没用呢，如果不用fa的话就把config里parallel_output设置为False。如果是要用的话看起来是FA没装上，import flash_attn看看什么结果
我们这里计算的tflops指的是整体的而非 per GPU，所以不需要考虑tp pp这些，类似于megtron中在算total_flops时也不需要考虑