关于

项目与实验室

HybridInference 由哈佛大学约翰·A·保尔森工程与应用科学学院的 Harvard MadSys 实验室开发，以 MIT 许可证发布。网关核心的路由系统叫 RouteWise，实验室的 EuroSys '27 论文研究的就是它。RouteWise 也单独发布为 MIT 许可的 llm-routewise 库，本网关是它在生产环境中的参考集成。

项目是哪些人在做，在仓库里就能看到：贡献者页面列出了每一位合入过改动的人。

看看线上实例

FreeInference 是实验室自己运营的部署，跑的就是这个网关。部署的身份信息——品牌、团队、赞助商、面向用户的文档——归部署自己管，放在它的 overlay 和它自己的站点上，不在本仓库里。正因为这样分开，这些页面不描述任何具体部署，也不提任何团队：新克隆的代码跑起来，就是你自己的网关，而不是我们的。

联系我们

发现 bug 或有问题，请提交到 issue tracker；补丁请按贡献指南提交。