LocalAI

简介

开源本地 AI 运行时，以 OpenAI 兼容 API 跑文本、语音、视觉与图像模型

LocalAI 是单个二进制的开源 AI 运行时，官网称 "Make AI run on every machine."，对外提供 OpenAI 兼容 API，同时说 Anthropic、Ollama 与 ElevenLabs 的 API，多数工具只需改个 URL。推理引擎可换，同一个服务里不同模型可以分别 跑在 llama.cpp、vLLM、SGLang 或 MLX 上，切换只改模型配置一行。文本、语音、 视觉、图像、视频、3D 与 Agent（MCP、RAG）工作负载共用这一个运行时，每条 能力先给 CPU 路径，GPU 只是加速项；要扩容就再加一台机器，路由、显存感知 放置与故障转移都交给运行时。MIT 协议开源，GitHub 4.9 万星（2026-10-05）， 面向企业另有商务接洽。

界面预览

相关文章

暂无相关文章。