mob

`do_lower_case`参数用于判断是否对输入文本小写，传递给tokenizer。 ```python tokenizer = tokenizer_class.from_pretrained(args.model_name_or_path, do_lower_case=args.do_lower_case,) ``` 参数在`tokenizer.tokenize`方法中发挥作用，本项目中直接使用了`tokenizer.convert_tokens_to_ids`方法，实际上并没有起作用，因此需要手动处理。 ```python def convert_examples_to_features(...): ... if tokenizer.do_lower_case: tokens = [x.lower() for x in tokens] ... input_ids = tokenizer.convert_tokens_to_ids(tokens) ```

Add batch prediction

2

add batch encoding and decoding to speed up prediction