Llm search 구현 계획

[violet-dev]

• 대사 검색 원천 데이터를 이용하여 gemini-2.0-flash 통한 요약
  • 86,617개 작품으로 한 작품 당 대략 입력 6,000 토큰, 출력 500 토큰
  • 총 입력: 519,702,000 토큰, 총 출력: 43,308,500 토큰
  • 총 비용: 51.9702달러 + 17.3234달러 = 69.2936달러
    • 백만 입력 토큰당 비용: 0.10달러
    • 백만 출력 토큰당 비용: 0.40달러
• 원천 데이터 임베딩 모델 변환
  • ~런팟~ vast.ai ~h100~ rtx4090 사용 시간 당 대략 3달러
  • 실험 모델: BAAI/bge-m3, dragonkue/BGE-m3-ko ...

• 서빙