Kevin Kuei
Kevin Kuei
感謝助教, 我再接下去問. 如果我用TRL, 請問如何做continuous pre-training? 技術上與 SFT 有何不一樣? 是不是其實只是資料上的不同?? 我知道概念上, pre-training 要準備的是 corpus, 而supervised fine-tuning 要準備的是 QA pair dataset. 我看網路上大多都在談用TRL 的SFTrainer + QA pair dataset做 supervised fine-tuning. 少有在談 pre-training, https://huggingface.co/docs/trl/sft_trainer#quickstart...
感謝助教!! 您的回覆和網上發布的教學videos對我的研究和工作都很有幫助. 謝謝您!
抱歉助教我再接續請教, CPT的訓練資料是取corpus, 由於語言模型有context window size限制, 請問要如何從corpus split出 一筆 example row? 還有要BOS 和EOS 要補到哪裡呢? 關於split, 我想得到的有: 1.以sentence 為單位, 取多個sentences, 盡量塞滿 context window. 2.以段落為單位, 取多個段落, 盡量塞滿 context window. 或是有什麼較正規的作法呢??