Haijunlv

compare traditional training result with swa result at same epoch level

3

nice work to make swa work in object detection! i have one question about same epoch level comparison. the result looks like faster rcnn r50 1x + 1x swa extra...

why autoformerv2 config so regular?

1

thanks for release the config of autoformerv2! But i have some question about the config. The searched config is so regular. It looks the real searching param is DEPTHS stage3(S3-B...

关于中文预训练阶段的Loss情况咨询

13

感谢您使用Issue提问模板，请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue，感谢您的配合。 *提示：将[ ]中填入x，表示打对钩。提问时删除上面这两行。请只保留符合的选项，删掉其他。* ### 详细描述问题 *请尽量具体地描述您遇到的问题。这将有助于我们更快速地定位问题所在。* 请教下Chinese-LLaMA-7B, Chinese-LLaMA-Plus-7B, Chinese-LLaMA-13B 在pretrain阶段最终达到的loss大概是多少？ 我们参考Chinese-LLaMA-7B的流程，做了stage2的全量微调预训练，最终训练loss在1.95左右，预训练语料规模在200G左右。 不太确定这个loss是不是符合预期？ 比如如下语料 `"中国文化和旅游部3日发布消息称，今年“五一”假期，文化和旅游行业复苏势头强劲，全国假日市场平稳有序，全国国内旅游出游合计2.74亿人次，超过2019年同期水平。多家在线旅游平台发布的“五一”出游报告也显示，此次假期多项数据同比暴增，甚至创下“五一”历史峰值。“中国公共假期带来后疫情时代旅游热潮”，美国哥伦比亚广播公司称，中国旅游业完全抓住本轮商机，为本国经济注入新活力的同时，还提振消费者的信心。彭博社在题为“中国五一假期正经历旅游业大复苏”的文章中称，经过三年的新冠疫情，中国消费群体积攒了强劲的购买力，此番中国旅游业的繁荣正受到国际密切关注。《华尔街日报》称，中国经济回暖对今年全球经济增长显得举足轻重，随着天气变暖，这一势头有望延续。"` ### 运行截图或log *（如有必要）请提供文本log或者运行截图，以便我们更好地了解问题详情。* ### 必查项目 - [ x ] 哪个模型的问题：LLaMA **（只保留你要问的）** - [ x ] 问题类型：**（只保留你要问的）**...