Hyunjoong Kim

Conventions

7

- 며칠 간 작업을 함께 하면서 패키지 구조를 변경하는 일들이 발생했고, 그와 동시에 여러 개의 코퍼스에 대한 작업을 수행하다보니 conflict 가 날 가능성이 높아지고 있습니다. - 코드 관리 및 이후에...

https://github.com/songys/AwesomeKorean_Data

미리 만들어둔 사용자 사전과 template의 save / load 기능

1

미리 만들어둔 사용자 사전과 template의 save / load 기능

- [ ] CLI 제공 - [ ] `BaseVectorizer` 코드 개선 - [ ] `text_to_csr` 제공 (#133) - [ ] `text_to_indices` 제공

- [ ] CLI 기능 제공 (train/tokenize) - [ ] `_tokenizer_builder.py` 제거 - [ ] enhance #87

- [ ] 리팩토링 - [ ] 기본 사전 제공 (#111) - [ ] CLI 기능 제공

- Mini batch style. - Not in-memory, on-dist

- using minibatch step

https://github.com/lovit/KoBERTScore/blob/1e43653cc04641911467dddc89b26036f44a614d/KoBERTScore/score.py#L56