Ai00 server

Just for RWKV

一个本地化、高性能、低消耗的推理服务器

❤

容易使用

Ai00 server 支持 Vulkan 作为推理后端，支持 INT8/NF4 量化，所以可以在绝大部分的个人电脑上快速的运行！支持大部分 NVIDIA、AMD、Inter 的显卡，包括集成显卡。7B 的 RWKV 模型 NF4 量化时仅占用 5.5G 显存。

✨

Ai00 server 使用 MIT/Apache2.0 协议，免费开源商用。您可以把 Ai00 server 集成在您的系统或软件中。社区保持活跃开发中！

👽

兼容 ChatGPT 的 API 接口，使用强大的 RWKV 模型。RWKV 是将会吊打所有基于 Transformer 的模型的，在端侧 LLM 部署的王者模型。并且正在快速迭代中，功能和性能越来越强悍。