SimCSE-Chinese-Pytorch
SimCSE-Chinese-Pytorch copied to clipboard
vdogmcgee
sts-b数据集
https://zhuanlan.zhihu.com/p/634871699 这里面有
看了一下这个数据集，STS-B数据是text1\ttext2\tlabel形式
一架飞机要起飞了。 一架飞机正在起飞。 5 一个男人在吹一支大笛子。 一个人在吹长笛。 3 一个人正把切碎的奶酪撒在比萨饼上。 一个男人正在把切碎的奶酪撒在一块未煮好的比萨饼上。 3
但是训练的代码数据加载是这个样的，跟数据对不太上
def load_sts_data(path):
with open(path, 'r', encoding='utf8') as f:
return [(line.split("||")[1], line.split("||")[2], line.split("||")[3]) for line in f]
class TrainDataset(Dataset):
"""训练数据集, 重写__getitem__和__len__方法
"""
def __init__(self, data: List):
self.data = data
def __len__(self):
return len(self.data)
def text_2_id(self, text: str):
return tokenizer([text[0], text[1], text[2]], max_length=MAXLEN,
truncation=True, padding='max_length', return_tensors='pt')
def __getitem__(self, index: int):
return self.text_2_id(self.data[index])
可能当时数据格式有点区别。你参考他的数据格式，修改一下字符串分割方式就行。
想问下TrainDataset里的这段
def text_2_id(self, text: str):
return tokenizer([text[0], text[1], text[2]], max_length=MAXLEN,
truncation=True, padding='max_length', return_tensors='pt')
def __getitem__(self, index: int):
return self.text_2_id(self.data[index])
text_2_id函数中的text[0], text[1], text[2]分别代表什么呢