Bayselonarrend
[Предложение] Интеграция с LLM в спецификации OpenAI API
Существующая проблема Отсутствие коннекторов к LLM совместимым с OpenAI API
Пути решения Создать общедоступный коннектор на языке 1С , реализующий работу с OpenAI API, включая поддержку:
- Chat Completions API — для общения с моделью в диалоговом формате: https://platform.openai.com/docs/api-reference/chat
- Function Calling — вызов "функций" модели и разбор структурированных ответов: https://platform.openai.com/docs/guides/function-calling
- Structured Outputs (JSON Mode) — получение предсказуемых JSON-ответов от модели: https://platform.openai.com/docs/guides/gpt/output
Коннектор должен обеспечивать:
- Простое подключение и настройку (ввод API-ключа, базовые параметры)
- Обёртку над вызовами API с генерацией запроса и парсингом ответа
- Поддержку лимитов и таймаутов
Альтернативы Ручной вызов API
Пример общих настроек вызова (структура)
Поля:
- APIКлюч
- Модель (gpt-3.5-turbo, gpt-4, и т.п.)
- Температура (от 0 до 1)
- МаксТокенов
- URL (по умолчанию https://api.openai.com/v1)
- Формат ответа (поле response_format, описывающий структуру JSON для вывода структурированного ответа)
Можно сделать обёртку ПолучитьНастройкиПоУмолчанию(), чтобы не писать вручную.
Я думал об инструментах работы с AI агентами, но, думаю, это будет в первую очередь ollama и hugging face, потому что OpenAI а) платный б) недоступен в РФ и РБ, и я не очень хочу добавлять работу с сервисом, где будут такие проблемы с тестированием в дальнейшем
Я думал об инструментах работы с AI агентами, но, думаю, это будет в первую очередь ollama и hugging face, потому что OpenAI а) платный б) недоступен в РФ и РБ, и я не очень хочу добавлять работу с сервисом, где будут такие проблемы с тестированием в дальнейшем
Спецификацию OpenAI поддерживают практически все, не только сами OpenAI, по факту этот интерфейс сейчас стандарт де-факто. Можно тестить на той же llama 3 развернутой локально на ollama.
https://ollama.com/blog/openai-compatibility https://ai.google.dev/gemini-api/docs/openai?hl=ru https://yandex.cloud/ru/docs/foundation-models/concepts/openai-compatibility
Добавил функции, до которых смог дотянуться. Этот ишуз пока закрою, если что переоткрывайте или создавайте новый для других предложений https://github.com/Bayselonarrend/OpenIntegrations/releases/tag/1.25.0
Если вам нравится проект, то можете поставить ⭐Спасибо)