Zbaoli

> The first step in building a physician-patient conversation dataset is to collect the disease database that serves as the gold standard. Therefore, we collected and organized a database of...

用 datasets 加载数据，输出第一个样本，下面的是输出： ``` {'question_id': 1, 'category': '专业能力', 'subcategory': '音乐', 'question': '高音单簧管和高音萨克斯的调性相同吗？如果相同，请说出他们的调性，如果不同，请分别说出他们的调性', 'reference': '高音单簧管和高 音萨克斯的调性不同。高音单簧管的调性通常为E♭，而高音萨克斯的调性则为B♭。\n', '29': None, '295': None, '352': None, '633': None, '638': None, '640': None, '643': None, '670':...

KV Cache 的实现为什么xq要拼接 zerors 矩阵

1

在 Attention 方法里涉及到 KV cache 的实现部分 ``` past_key, past_value = past_kv xq = torch.cat((torch.zeros_like(x[:, :-1, :]), self.wq(current_token)), dim=1) xk = torch.cat((past_key, self.wk(current_token)), dim=1) xv = torch.cat((past_value, self.wv(current_token)), dim=1) ``` 为什么...