TextGen 如何以纯 API 服务方式启动：--api 与 --nowebui 组合

TextGen 如何以纯 API 服务方式启动--api 与 --nowebui 组合【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen如果你已经装好了 TextGen现在想把它当成一个只对外提供 OpenAI/Anthropic 兼容端点的后台服务——不打开 Gradio 网页界面也不弹桌面窗口——那么启动命令里需要组合两个命令行标志--api和--nowebui。前者启用 API 服务器文档描述为 Enable the API server后者跳过 Gradio UI 的启动官方帮助文本直接说明它的用途是 Do not launch the Gradio UI. Useful for launching the API in standalone mode。两个组合后进程只跑 API监听默认端口 5000。准备条件一个已安装好的 TextGenREADME 中的手动便携安装、完整安装或 Docker 方式均可本文的启动标志在各方式下通用。至少一个已放入user_data/models目录的模型文件。API 服务本身不提供界面来加载模型模型要么通过内部端点加载要么在启动时用--model指定。启动纯 API 服务在项目根目录执行python server.py --api --nowebui按需追加的启动标志均来自 docs/12 - OpenAI API.md 和 README 的命令行列举标志用途--model my-model.gguf启动时直接加载指定模型文件名替换为user_data/models中的实际文件名省去之后手动调内部加载端点--api-port 1234修改 API 监听端口默认是 5000--listen让服务在局域网可达而不仅是本机--api-key yourkey启用 API Key 鉴权yourkey换成你的密钥--public-api通过 Cloudflare 创建公网 URL如果你用的是安装脚本或 Docker也可以不写进命令行而是把这些标志逐行写入user_data/CMD_FLAGS.txt持久生效该文件本身注释里就给出了--listen --api的例子# Add persistent flags here to use every time you launch the web UI. # Example: # --listen --api写入时同样每行一个标志例如--api --nowebui --model my-model.gguf验证服务已就绪服务启动后按 docs/12 - OpenAI API.md 给出的方式验证打开http://127.0.0.1:5000/docs这里提供全部端点、参数和类型的文档。能打开说明 API 服务器已经在监听若改过--api-port端口同步替换。确认模型列表curl -k http://127.0.0.1:5000/v1/internal/model/list \ -H Content-Type: application/json若启动时没有用--model通过内部端点加载模型。以下示例中的模型名Qwen_Qwen3-0.6B-Q4_K_M.gguf是文档示例请替换为你自己的模型文件名curl -k http://127.0.0.1:5000/v1/internal/model/load \ -H Content-Type: application/json \ -d { model_name: Qwen_Qwen3-0.6B-Q4_K_M.gguf, args: { ctx_size: 32768, cache_type: q8_0 } }发一个最小的 Chat completions 请求确认推理链路走通curl http://127.0.0.1:5000/v1/chat/completions \ -H Content-Type: application/json \ -d { messages: [ { role: user, content: Hello! } ], temperature: 0.6, top_p: 0.95, top_k: 20 }收到正常的 JSON 回复包含模型回答文本即表示纯 API 服务可用。如果启动时用了--api-key以上请求需带上请求头Authorization: Bearer 你的密钥文档在 Python example with API key 一节演示了这一格式。接入第三方应用验证通过后把客户端指向本地服务即可。文档给出的通用做法是设置环境变量OPENAI_API_HOSThttp://127.0.0.1:5000或OPENAI_API_KEYsk-111111111111111111111111111111111111111111111111 OPENAI_API_BASEhttp://127.0.0.1:5000/v1官方 openai-python 客户端v1.x则直接传base_urlfrom openai import OpenAI client OpenAI( api_keysk-11111111111111111111111111111111111111111111111111, base_urlhttp://127.0.0.1:5000/v1 ) response client.chat.completions.create( modelx, messages[{role: user, content: Hello!}] ) print(response.choices[0].message.content)该示例中的 key 是文档示例值只有在服务端设置了--api-key时才需要匹配服务端密钥否则可任意填写。限制与注意使用--nowebui后没有网页界面意味着不能在 Model 标签页里点选加载模型。模型要么启动时用--model带出要么运行中调/v1/internal/model/load端点。API 的默认端口是 5000与 Gradio UI 的 7860 相互独立本文的端点示例全部基于 5000改用--api-port时需同步替换。文档中的环境变量OPENEDAI_PORT、OPENEDAI_KEY_PATH等优先级高于命令行配置设置过这些变量时以环境变量为准。/v1/images/edits与/v1/images/variations端点尚未支持见文档 Compatibility 一节--public-api与 SSL 标志不能同时使用因为 Cloudflare 已默认提供 HTTPS。需要完整端点列表时查阅运行中服务的http://127.0.0.1:5000/docs页面或仓库内的 modules/api/typing.py。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考