MissQueen

自定义的数据集，一直报错，sad..

1

##### 数据集是这样的： [ { "instruction": "回答以下问题：你对计算机科学的未来有何看法？\n", "output": "我认为计算机科学的未来有可能会导致两个极端的发展方向，取决于我们如何管理正在进行的技术进步。一方面，计算机科学将进一步促进我们在各个领域的创新和发展，改变我们的生命方式和行业。另一方面，人工智能、机器学习和大数据的发展可能带来负面影响，例如自动化会导致工作失业和社会不平等等问题。\n在技术进步方面，我认为以下是计算机科学未来的发展趋势：\n1. 人工智能和机器学习：随着深度学习和神经网络等技术的发展，机器学习将成为计算机科学的主流领域。人工智能将在医疗、金融、制造业、交通等领域中发挥重要作用，自动化将大大帮助提高效率和产量。\n2. 区块链：作为比特币的支持技术，区块链正在为所有行业提供更大的安全性和透明度。预计它将在物流、金融、政府等领域中发挥重要作用。\n3. 量子计算：量子计算机的出现将使计算速度比经典计算机快得多，这将改变我们处理数据和信息的方式。这将为医疗、材料科学、加密和能源等领域提供更准确和更快的解决方案。\n但是，这些发展也可能带来一些负面影响，例如自动化和机器学习可能导致一些工作和行业流失，中小型企业将很难应对这些变化，从而导致社会的不平等。此外，随着人工智能和机器学习如此普及，保护个人隐私的压力也将增加。\n因此，我认为我们需要采取措施来最大程度地减轻这些负面影响，例如：\n1. 技能转换和教育：为了适应自动化和技术更替，我们需要投资于教育和培训，以确保人们拥有最新的技能和知识。\n2. 政策制定：政府应该采取措施帮助受到技术变化影响的社区和行业。\n3. 隐私和数据管理：政府和企业必须采取措施保护用户数据。只有对数据的透明度和保护，才能在计算机科学的进展中取得成功。\n最后，我认为我们应该采取一种平衡的方式来管理计算机科学的发展。我们需要明确看到技术带来的好处，同时也要以人类需求为导向，谨慎地平衡技术的发展和社会的责任。" }, { "instruction": "编写一个函数，将一个字符串中的所有单词的首字母转换为大写。\nhello world, how are you today?", "output": "首先，我们需要将字符串拆分为单词，这可以使用 Python 的 split() 函数来完成。然后，我们可以遍历所有单词并将其首字母转换为大写，使用 Python...

ImportError: cannot import name 'ToTAgent' from 'tree_of_thoughts'

2

ImportError: cannot import name 'ToTAgent' from 'tree_of_thoughts' Anyone has the same problem?

数据集用comparison_gpt4_zh，lora 训 llama3-8b，一小时就能训完，A800 每张卡内存占用在40G以内，但是用自定义数据集（平均每条长度都在7000+），同样的配置训练，直接爆内存了... 我有点怀疑人生....

I tried test_llama.py，but.... help...T^T

4

Process Process-8: Process Process-7: Traceback (most recent call last): File "", line 21, in _rms_norm_fwd_fused KeyError: ('2-.-0-.-0-09caff3db89e80ddf0eb4f72675bc8f9-2b0c5161c53c71b37ae20a9996ee4bb8-c1f92808b4e4644c1732e8338187ac87-d962222789c30252d492a16cca3bf467-12f7ac1ca211e037f62a7c0c323d9990-5c5e32ff210f3b7f56c98ca29917c25e-06f0df2d61979d629033f4a22eff5198-0dd03b0bd512a184b3512b278d9dfa59-d35ab04ae841e2714a253c523530b071', (torch.float16, torch.float16, torch.float16, 'i32', 'i32', 'fp32'), (16384,), (True, True, True, (True, False), (True,...