violet
violet copied to clipboard
Llm search 구현 계획
- 대사 검색 원천 데이터를 이용하여 gemini-2.0-flash 통한 요약
- 86,617개 작품으로 한 작품 당 대략 입력 6,000 토큰, 출력 500 토큰
- 총 입력: 519,702,000 토큰, 총 출력: 43,308,500 토큰
- 총 비용: 51.9702달러 + 17.3234달러 = 69.2936달러
- 백만 입력 토큰당 비용: 0.10달러
- 백만 출력 토큰당 비용: 0.40달러
- 원천 데이터 임베딩 모델 변환
- ~런팟~ vast.ai ~h100~ rtx4090 사용 시간 당 대략 3달러
- 실험 모델: BAAI/bge-m3, dragonkue/BGE-m3-ko ...
-
서빙