guihonghao

Why torch.float32 if args.fp16 ？

2

Why torch_dtype=(torch.float32 if args.fp16 else (torch.bfloat16 if args.bf16 else torch.float32)) rather than torch_dtype=(torch.float16 if args.fp16 else (torch.bfloat16 if args.bf16 else torch.float32))？？？

AttributeError: module 'transformers_modules.InternVL2-2B-1epoch.tokenization_internlm2' has no attribute 'InternLM2Tokenizer'

2

torchrun \ --nnodes $ARNOLD_WORKER_NUM \ --node_rank $ARNOLD_ID \ --master_addr $METIS_WORKER_0_HOST \ --nproc_per_node $ARNOLD_WORKER_GPU \ --master_port $port \ examples/pytorch/llm/llm_sft.py \ --model_type 'internvl2-2b' \ --model_id_or_path $BASE_PATH/playground/models/InternVL2-2B-1epoch \ --sft_type 'lora' \ --tuner_backend 'peft'...

我注意到InstructUIE/configs/multi_task_configs/test_tasks.json文件中提到的任务是EEA、EET没有EE，所以论文中的结果是两步得到的吗？即EET的结果是Event Trigger F1，EEA的结果是Event Argument F1