CrewAI 项目如何移除 LiteLLM 依赖并改用原生 Provider 集成

CrewAI 项目如何移除 LiteLLM 依赖并改用原生 Provider 集成【免费下载链接】crewAIFramework for orchestrating role-playing, autonomous AI agents. By fostering collaborative intelligence, CrewAI empowers agents to work together seamlessly, tackling complex tasks.项目地址: https://gitcode.com/GitHub_Trending/cr/crewAI如果你的 CrewAI 项目当前通过litellm包连接模型比如模型字符串带groq/、ollama/前缀或pyproject.toml里声明了crewai[litellm]而litellm包又因安全/可靠性事件在 PyPI 上被隔离你就需要把项目迁移到 CrewAI 的原生 Provider 集成上。完成迁移后项目只依赖基础crewai包加上所选 Provider 的 extra如crewai[openai]不再安装litellm同时保留流式输出、工具调用、结构化输出等 CrewAI 全部功能。官方文档 Using CrewAI Without LiteLLM 给出的迁移流程如下本文按可执行顺序整理。CrewAI 连接 LLM 有两条路径原生集成Native integrations——通过各家官方 SDK 直连 OpenAI、Anthropic、Google Gemini、Azure OpenAI、AWS BedrockLiteLLM fallback——翻译层额外支持 100 Provider。本文目标是让项目只走第 1 条路径。先确认项目当前是否依赖 LiteLLM在动手改代码前用文档给出的三种方式确认现状。检查模型字符串前缀模型字符串前缀直接决定走哪条路径前缀Provider是否走 LiteLLMollama/Ollama是groq/Groq是together_ai/Together AI是mistral/Mistral是cohere/Cohere是huggingface/Hugging Face是openai/OpenAI否原生anthropic/Anthropic否原生gemini/Google Gemini否原生azure/Azure OpenAI否原生bedrock/AWS Bedrock否原生只要代码或 YAML 里出现左列中带是的前缀该处就是在走 LiteLLM。检查环境里是否装了 litellm# Using pip pip show litellm # Using uv uv pip show litellm命令返回包信息说明当前环境里装着 LiteLLM。检查依赖声明查看pyproject.toml中是否有crewai[litellm]# If you see this, you have LiteLLM as a dependency dependencies [ crewai[litellm]0.100.0, # ← Uses LiteLLM ] # Change to a native provider extra instead dependencies [ crewai[openai]0.100.0, # ← Native, no LiteLLM ]只使用原生 Provider 时永远不需要安装crewai[litellm]基础crewai包加对应 Provider 的 extra 即可。迁移步骤第 1 步找出所有模型引用搜索代码库中所有的LLM()调用和模型字符串# Search your codebase for LLM model strings grep -r LLM( --include*.py . grep -r llm --include*.yaml . grep -r llm: --include*.yaml .记录每个引用点当前用的 Provider 前缀这决定后面每一处改成什么。第 2 步把模型引用切换到原生 Provider按目标 Provider 修改代码并安装对应 extra。以 OpenAI 为例from crewai import LLM # Before (LiteLLM): # llm LLM(modelgroq/llama-3.1-70b) # After (Native): llm LLM(modelopenai/gpt-4o)# Install uv add crewai[openai] # Set your API key export OPENAI_API_KEYsk-...其他四个原生 Provider 的对应方式均摘自官方文档示例Anthropicllm LLM(modelanthropic/claude-sonnet-4-20250514)安装uv add crewai[anthropic]设置ANTHROPIC_API_KEYGeminillm LLM(modelgemini/gemini-3.7-flash)安装uv add crewai[gemini]设置GEMINI_API_KEYAzure OpenAIllm LLM( modelazure/your-deployment-name, api_keyyour-azure-api-key, base_urlhttps://your-resource.openai.azure.com, api_version2024-06-01 )其中your-deployment-name、Azure 资源地址和 API key 需替换为你自己 Azure 资源中的实际值安装uv add crewai[azure]AWS Bedrockllm LLM( modelbedrock/anthropic.claude-3-5-sonnet-20241022-v2:0, aws_region_nameus-east-1 )安装uv add crewai[bedrock]并配置 AWS 凭据环境变量export AWS_ACCESS_KEY_ID... export AWS_SECRET_ACCESS_KEY... export AWS_DEFAULT_REGIONus-east-1第 3 步可选分支保留 Ollama 但去掉 LiteLLM如果项目在用 Ollama 本地模型不必换掉模型改走 Ollama 的 OpenAI 兼容 APIfrom crewai import LLM # Before (LiteLLM): # llm LLM(modelollama/llama3) # After (OpenAI-compatible mode, no LiteLLM needed): llm LLM( modelllama3, custom_openaiTrue, base_urlhttp://localhost:11434/v1, api_keyollama # Ollama doesnt require a real API key )许多本地推理服务Ollama、vLLM、LM Studio、llama.cpp都暴露 OpenAI 兼容 API都可以用custom_openaiTrue加自定义base_url直连。文档给出的常见服务端点Ollamabase_urlhttp://localhost:11434/v1api_keyollamaOllama 忽略它但客户端要求有值vLLMbase_urlhttp://localhost:8000/v1api_keynot-neededmodel 用你的模型 ID如meta-llama/Meta-Llama-3.1-8B-InstructLM Studiobase_urlhttp://localhost:1234/v1api_keylm-studiomodel 填当前加载的模型 ID。custom_openai的解析规则来自文档影响排错custom_openaiTrue强制 CrewAI 使用原生 OpenAI SDK与模型名无关模型 ID 不做已知模型校验会原样传给端点例如 OpenAI 兼容代理后方的anthropic/claude-sonnet-4-6前缀openai/会被自动剥离base URL 必填CrewAI 按以下顺序解析base_url参数 →api_base参数 →OPENAI_BASE_URL环境变量 →OPENAI_API_BASE遗留以上都没设置时 CrewAI 抛出ValueError目的是让配置错误快速暴露而不是静默打到api.openai.com。注意一条容易踩坑的细节如果模型名带openai/前缀但不是已知 OpenAI 模型且你直接传base_url/api_baseCrewAI 会自动按自定义 OpenAI 兼容端点处理但如果只靠环境变量OPENAI_BASE_URL/OPENAI_API_BASE配置未知模型不会自动触发该路由必须显式设置custom_openaiTrue。通过环境变量配置端点的写法export OPENAI_BASE_URLhttps://your-gateway.example/v1 export OPENAI_API_KEYyour-keyfrom crewai import LLM # base_url is picked up from OPENAI_BASE_URL / OPENAI_API_BASE llm LLM(modelanthropic/claude-sonnet-4-6, custom_openaiTrue)上述示例中的网关地址和 key 是文档示例值替换为你自己的端点和密钥。第 4 步更新 YAML 配置agent 配置写在 YAML 里的项目把llm字段的模型字符串一并改掉# Before (LiteLLM providers): researcher: role: Research Specialist goal: Conduct research backstory: A dedicated researcher llm: groq/llama-3.1-70b # ← LiteLLM # After (Native provider): researcher: role: Research Specialist goal: Conduct research backstory: A dedicated researcher llm: openai/gpt-4o # ← Native第 5 步移除 LiteLLM确认所有模型引用都已迁移后从项目中移除 litellm# Remove litellm from your project uv remove litellm # Or if using pip pip uninstall litellm # Update your pyproject.toml: change crewai[litellm] to your provider extra # e.g., crewai[openai], crewai[anthropic], crewai[gemini]注意pyproject.toml中crewai[litellm]也要改成对应 Provider extra否则下次安装依赖时 LiteLLM 会回来。第 6 步验证运行项目和测试确认一切正常# Run your crew crewai run # Or run your tests uv run pytestCrew 能正常跑完、测试通过说明迁移完成。常见 LiteLLM Provider 的原生替代映射文档给出的常用迁移路径注释行为原 LiteLLM 写法可执行行为原生替代from crewai import LLM # ─── LiteLLM providers → Native alternatives ──────────────────── # Groq → OpenAI or Anthropic # llm LLM(modelgroq/llama-3.1-70b) llm LLM(modelopenai/gpt-4o-mini) # Fast affordable llm LLM(modelanthropic/claude-haiku-3-5) # Fast affordable # Together AI → OpenAI or Gemini # llm LLM(modeltogether_ai/meta-llama/Meta-Llama-3.1-70B) llm LLM(modelopenai/gpt-4o) # High quality llm LLM(modelgemini/gemini-3.7-flash) # Fast capable # Mistral → Anthropic or OpenAI # llm LLM(modelmistral/mistral-large-latest) llm LLM(modelanthropic/claude-sonnet-4-20250514) # High quality # Ollama → OpenAI-compatible (keep using local models) # llm LLM(modelollama/llama3) llm LLM( modelllama3, custom_openaiTrue, base_urlhttp://localhost:11434/v1, api_keyollama )对没有原生 SDK 的 Provider如 Groq、Together AI 等只要它们暴露 OpenAI 兼容 API文档推荐用custom_openaiTrue加其 base URL 和 API key 直连例如 GroqLLM(modelllama-3.1-70b-versatile, custom_openaiTrue, base_urlhttps://api.groq.com/openai/v1, api_key...)模型 ID 按该 Provider 期望的值原样传入。功能与限制功能损失只要使用五个原生 Provider 之一OpenAI、Anthropic、Gemini、Azure、Bedrock移除 LiteLLM 不会损失 CrewAI 功能streaming、tool calling、structured output 等全部可用。只有仅通过 LiteLLM 提供的 Provider如 Groq、Together AI、Mistral 作为一等 Provider会失去访问。多 Provider 混用可以同时安装多个 extra 并让不同 agent 用不同 Provideruv add crewai[openai,anthropic,gemini]researcher Agent(llmopenai/gpt-4o, ...) writer Agent(llmanthropic/claude-sonnet-4-20250514, ...)环境变量原生 Provider 沿用OPENAI_API_KEY、ANTHROPIC_API_KEY、GEMINI_API_KEY等已有环境变量无需改动。模型 ID 时效文档提醒模型可用性随账号、区域和云平台变化且经常变动上线前应在对应 Provider 的模型目录中确认所选模型 ID 的可用状态。更多背景可参考 Connect to any LLM 与 LLM Concepts。【免费下载链接】crewAIFramework for orchestrating role-playing, autonomous AI agents. By fostering collaborative intelligence, CrewAI empowers agents to work together seamlessly, tackling complex tasks.项目地址: https://gitcode.com/GitHub_Trending/cr/crewAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考