Skip to content

gpt_server v0.6.2

Choose a tag to compare

@shell-nlp shell-nlp released this 07 Sep 14:28
· 38 commits to main since this release

gpt_server v0.6.2

What's Changed

  1. 升级SGLang、vLLM、LMDepoy 到最新版本
  2. 支持图片编辑模型、兼容open AI 图片编辑接口
  3. 修复 vllm guided decoding
  4. 修复 lmdeploy backend 模板bug
  5. 优化项目架构,使用pydantic BaseSettings统一模型配置获取
  6. 移除 muti fuction call,保证 function calling 的稳定性
  7. 添加 enable_thinking 参数