KoBERTScore
KoBERTScore copied to clipboard
BERTScore for Korean
train_idf function batch_size with Torch Dataloader
예시에 나와있는 코드를 그대로 실행하였습니다. ''' from KoBERTScore import BERTScore model_name = "beomi/kcbert-base" bertscore = BERTScore(model_name, best_layer=4) references = [ '날씨는 좋고 할일은 많고 어우 연휴 끝났다', '이 영화 정말...
transformer 버전 에러 및 tensor 경고 해결
최신 Transformers library에서도 작동할 수 있도록 bert model모델에 `return_dict=False` 인자를 추가합니다.
```python # usage example ``` 구글 mutilingual BERT 로 만들어진 프로그램을 koBert 로 전환 가능할까요?
https://github.com/lovit/KoBERTScore/blob/1e43653cc04641911467dddc89b26036f44a614d/KoBERTScore/score.py#L56
- [HanBERT](https://github.com/monologg/HanBert-Transformers) 및 [KcBERT-finetune](https://github.com/beomi/kcbert-finetune) 에서 확인한 모델들에 대하여 성능 확인
BERT model 의 layer 개수보다 더 큰 값이 주어지면 value error raise
(-1, 1) 사이의 값이 아닌 경우 value error raise
## 배경 - 언어 별로 성능이 가장 좋다고 알려진 BERT 계열 모델이 있으며, 각 모델 별로 best performance 를 보이는 layer 가 다름  - 이는 아래처럼 evaluation data 와...