JMXGODLZZ

预训练的差异

1

GPU(brightmart版, tiny模型): export BERT_BASE_DIR=./albert_tiny_zh nohup python3 run_pretraining.py --input_file=./data/tf*.tfrecord \ --output_dir=./my_new_model_path --do_train=True --do_eval=True --bert_config_file=$BERT_BASE_DIR/albert_config_tiny.json \ --train_batch_size=4096 --max_seq_length=512 --max_predictions_per_seq=51 \ --num_train_steps=125000 --num_warmup_steps=12500 --learning_rate=0.00176 \ --save_checkpoints_steps=2000 --init_checkpoint=$BERT_BASE_DIR/albert_model.ckpt & GPU(Google版本, small模型): export BERT_BASE_DIR=./albert_small_zh_google nohup...

How to reload model to make predictions?

checklist/robust

1

checklist/robust 请问这两部分什么时候能开放出来呢，想学习一下@basketballandlearn

实体链接规范

6

你好，请问里面同名实体[]后面的内容有无规范 同一个关系，后面的多个实体我看有、分割；空格分隔；也有多个列出来的，请问这个有规范吗 @ownthink 比如 君主立宪制 代表国家 英国、日本、西班牙、泰国 篮球[球类运动] 国内代表人物 姚明 易建联 王治郅 孙悦 金庸 职业 作家 金庸 职业 政论家 金庸 职业 社会活动家

如何加载英文robert-large模型

2

提问时请尽可能提供如下信息： ### 基本信息 - 你使用的**操作系统ubuntu**: - 你使用的**Python3.7**版本: - 你使用的**Tensorflow1.14**版本: - 你使用的**Keras2.3.1**版本: - 你使用的**bert4keras0.10.6**版本: - 你使用纯**keras**: ### 核心代码 ```python model = build_transformer_model(config_path, checkpoint_path, model=’roberta’) ``` ### 输出 tensorflow.python.framework.errors_impl.DataLossError: Unable to open...

inference

8

@xiaoya-li @YuxianMeng @littlesulley after train, i use mrc-for-flat-nested-ner/scripts/mrc_ner/nested_inference.sh to do inference , but the start is always 0, ACE04 log are as follows: *=*=*=*=*=*=*=*=*=*= Given input: geographical political entities are...

How to do inference?

4

@YuxianMeng @littlesulley需要得到预测的结果，是改写trainer里面的test函数嘛？ 之后报个错 result = trainer.test(model=model, test_dataloaders=model.test_dataloader()) print(result) ValueError: `Dataloader` returned 0 length. Please make sure that your Dataloader at least returns 1 batch

类别不均衡

2

@zhen8838 @kd610 您好，请问circle是否可以解决类别不均衡问题和为什么呢~

Questions about installing Transformer, and the versions of each environment

1

Is the following installation method correct? pip install git+https://github.com/zphang/transformers.git@llama_push Each version is as follows： numpy==1.24.2 rouge-score==0.1.2 fire==0.5.0 openai==0.27.2 sentencepiece==0.1.97 wandb==0.14.0

### Is there an existing issue for this? - [X] I have searched the existing issues ### Current Behavior 为什么模型加载时缺少该权重：lm_head.weight @mojianhao @AdamBear @jsl9208 @cjld 不在model.named_pamaters也不在model.named_buffers，这样的权重经过skip_init只有随机初始化，不进行梯度更新吗 ### Expected Behavior 为什么模型加载时缺少该权重：lm_head.weight 不在model.named_pamaters也不在model.named_buffers，这样的权重经过skip_init只有随机初始化，不进行梯度更新吗...