Личный прокси LiteLLM
Это адрес моего прокси к ИИ моделям. Если вы видите эту страничку — вероятно, я поделился с вами своими подписками :)
Полный справочник подключенных моделей на странице ui/model_hub_table/.
Документация LiteLLM — https://docs.litellm.ai/.
Дашборд текущего расхода подписок скорее всего тут — https://onwatch.serikov.fyi.
Справка по API этого инстанса LiteLLM лежит на /docs и /redoc. Страницы могут открываются долго, т.к. у LiteLLM API методов больше 990.
В командах ниже на место $LITELLM_API_KEY вставьте ключ, которым я с вами поделился.
Пример запроса к LLM API
curl https://llm.serikov.fyi/v1/chat/completions \
-H "Authorization: Bearer $LITELLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"litellm/auto","messages":[{"role":"user","content":"Привет"}]}'
Список доступных моделей
curl https://llm.serikov.fyi/v1/models \ -H "Authorization: Bearer $LITELLM_API_KEY"
Известные проблемы
В LiteLLM 1.109.0 «из коробки» не работают alibaba/qwen-audio-3.0-asr-flash и alibaba/qwen-audio-3.0-realtime-plus.
Решение: ждём новых версий LiteLLM (PR #44601). Пока ждём — обход через pass_through_endpoint POST /alibaba/asr.
curl https://llm.serikov.fyi/alibaba/asr \
-H "Authorization: Bearer $LITELLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "qwen-audio-3.0-asr-flash",
"input": {
"messages": [{
"role": "user",
"content": [{
"input_audio": {
"data": "data:audio/flac;base64,BASE64",
"format": "flac"
}
}]
}]
},
"parameters": {"format": "flac"}
}'