Личный прокси LiteLLM

Это адрес моего прокси к ИИ моделям. Если вы видите эту страничку — вероятно, я поделился с вами своими подписками :)

Полный справочник подключенных моделей на странице ui/model_hub_table/.

Документация LiteLLM — https://docs.litellm.ai/.

Дашборд текущего расхода подписок скорее всего тут — https://onwatch.serikov.fyi.

Справка по API этого инстанса LiteLLM лежит на /docs и /redoc. Страницы могут открываются долго, т.к. у LiteLLM API методов больше 990.

В командах ниже на место $LITELLM_API_KEY вставьте ключ, которым я с вами поделился.

Пример запроса к LLM API

curl https://llm.serikov.fyi/v1/chat/completions \
  -H "Authorization: Bearer $LITELLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"litellm/auto","messages":[{"role":"user","content":"Привет"}]}'

Список доступных моделей

curl https://llm.serikov.fyi/v1/models \
  -H "Authorization: Bearer $LITELLM_API_KEY"

Известные проблемы

В LiteLLM 1.109.0 «из коробки» не работают alibaba/qwen-audio-3.0-asr-flash и alibaba/qwen-audio-3.0-realtime-plus.

Решение: ждём новых версий LiteLLM (PR #44601). Пока ждём — обход через pass_through_endpoint POST /alibaba/asr.

curl https://llm.serikov.fyi/alibaba/asr \
  -H "Authorization: Bearer $LITELLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen-audio-3.0-asr-flash",
    "input": {
      "messages": [{
        "role": "user",
        "content": [{
          "input_audio": {
            "data": "data:audio/flac;base64,BASE64",
            "format": "flac"
          }
        }]
      }]
    },
    "parameters": {"format": "flac"}
  }'