AI00 Server是一个基于RWKV的推理API服务器。 支持VULKAN推理加速,可以在所有支持VULKAN的GPU上运行。不用N卡!!!A卡甚至集成显卡都可加速!!! 无需臃肿的pytorch、CUDA等运行环境,小巧身材,开箱即用! 兼容OpenAI的ChatGPT API接口。 100% 开源可商用,采用MIT协议。 如果您正在寻找一个快速、高效、易于使用的L... Ai00 server,轻薄本都可运行的本地大语言模型服务器,发布 v0.1.8下载地址