Jhang

**Prerequisites** > Please fill in by replacing `[ ]` with `[x]`. * [ x] Are you running the latest `bert-as-service`? * [ x] Did you follow [the installation](https://github.com/hanxiao/bert-as-service#install) and [the...

I used bert-as-service on a CPU machine and wrapped it with Flask(single process). I got 20ms/query when testing the inference speed. When it came to QPS, I got 60~, no...

你好，我尝试用自己的语料对 Roberta-tiny-clue 模型进行预训练，但是加载模型的时候报错 ``` tensorflow.python.framework.errors_impl.NotFoundError: Key cls/predictions/transform/dense/kernel not found in checkpoint ``` 看样子是 mlm 这一层的参数没有保留导致的，所以想确认一下，如果可以是否可以将 mlm 层的参数也公开？ 万分感谢。

Serving model by bert-as-service.

2

提问时请尽可能提供如下信息： ### 基本信息 - 你加载的**预训练模型**: [Robert-tiny-clue](https://github.com/CLUEbenchmark/CLUE) ### 问题描述 使用 bert4keras 训练了一个分类模型输出了 save_weights 输出了 ckpt，```model.load_weights``` 预测正常。 但是用 bert-as-service 结果不正确，观察了输出的 prob，每一个都很小，类似于 1/num_class 的值。 可能与 bert4keras 无关，不知道有没有同学遇到这个问题。 感谢帮助！

Fine -tuning 可以正常加载，Pretraining 模型加载报错。

2

### 问题说明 你好，苏神！ 这个模型 fine-tuning 可以正常加载，但是 pretraining 加载会报错如下，是这个预训练模型变量没有保留最后一层 mlm 导致的吗？ ### 基本信息 - 你加载的**预训练模型**: 加载的是 https://github.com/CLUEbenchmark/CLUEPretrainedModels 的 Roberta-Tiny-Clue 模型 ### 输出信息 ``` tensorflow.python.framework.errors_impl.NotFoundError: Key cls/predictions/transform/dense/kernel not found in checkpoint ```

GPT version

1

I have subscribed and I found following statements: "gpt-3.5-turbo You've used 41K tokens of this model. You have no monthly quota. gpt-4 You've used no tokens out of your 150K...