sunshinesDL comments

Results 18 comments of


                                            sunshinesDL

[BUG/Help] <推理时，如何使用数据并行呢？>

> 我也在想怎么做。应该是要多实例部署，譬如一卡一个是的，我现在也是这样实现的 🤣🤣，4个卡上分别加载模型，使用不同的数据同时进行推理。

[在huggingface代码调用的时候，如何控制或者固定答案的多样性] <回复多样性控制>

我在直接推理时，逐个样本进行推理，发现向 readme中说的，在 from_pretrained 的调用中增加了revision="v1.1.0" 参数，在多个样本上生成的回复就是相同的，测试了多次都相同（不过上千条样本，没有注意比对），大家在推理时有发现这样的情况吗？另外，有大神解释下 do_sample 这个参数具体的作用到底是啥吗？（因为自己没看源码🤣🤣）

[Help] generate方法和chat方法的调用结果不一致

> 求问chat方法，有办法实现批量推理吗？同问，请问兄弟你现在找到答案了吗？

ModuleNotFoundError: No module named 'transformers_modules.local.custom_autotune'

> ``` > git clone https://github.com/OpenLMLab/MOSS.git > cd MOSS > cp .models/custom_autotune.py ~/.cache/huggingface/modules/transformers_modules/local/ > ``` 非常感谢，解决问题了，不过是否应该把 cp 命令中的 .models 换为 models，它应该不是隐藏文件 😂

ConnectionError: HTTPConnectionPool(host='en.wikipedia.org', port=80): Max retries exceeded with url: /w/api.php?list=search&srprop=&srlimit=10&limit=10&srsearch=Barack&format=json&action=query (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000023606F8AB38>: Failed to establish a new connection...

> Hi [YixinNJU](https://github.com/YixinNJU): I'm from China too and also encountered this problem.This problem is caused by the website block of Wikipedia by Chinese government. So please use proxies to access...

ConnectionError: HTTPConnectionPool(host='en.wikipedia.org', port=80): Max retries exceeded with url: /w/api.php?list=search&srprop=&srlimit=10&limit=10&srsearch=Barack&format=json&action=query (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000023606F8AB38>: Failed to establish a new connection...

可以详细介绍下中资料中的面经和工具踩坑的经验吗

非常感谢您的回信！这让我对面经系列和工具踩坑系列有了详细的了解，我会进一步考虑订阅！再次感谢您的分享！

【求助】如何生成6个AI对话引擎规则,6个引擎如下:通义、豆包、kimi、360智脑、讯飞星火、C知道

@WrathGluttony 您好，结合楼下大佬的分享，您现在解决这一问题了吗 😂 我尝试了下 kimi、元宝、豆包等网站，发现其网址都是以 https://www.XXX.com/chat/ 开头的，借鉴 @eastarpen 大哥的示例，我写出了以下这类规则： `kimi|k: https://kimi.moonshot.cn/chat?q=%s \ blank=https://www.kimi.com Kimi` 但发现都不能像 chatgpt、pp 这样在页面跳转时就把搜索词传递给AI网站，而需要在文本框中二次输入搜索词，不满足需求。请问您对此有相关的方法或想法吗 😁

sunshinesDL