HybridInference
English 简体中文

入门

  • 快速开始
    • 需要准备什么
    • 阶段 1：确认路由能正常工作
      • 自己动手检查网关
    • 阶段 2：接入 Web 控制台和管理控制台
    • 阶段 3：把假 provider 换成本地推理
    • 示例里有什么
    • 下一步
    • 停止、恢复与重置
    • 故障排查
      • 端口已被占用
      • 无法连接 Docker daemon
      • /v1/models 为空，且 routes_configured: 0
      • make up 选中了别的发行版
      • 跑到一半后重新开始
      • 查看出问题的服务
  • 安装
    • 需要准备什么
    • 用 Docker 运行
    • 本地开发（不用 Docker）
    • 配置
      • 环境变量
      • Provider 凭据
      • 配置文件在哪里
    • 验证安装
    • 故障排查
  • 配置
    • 网关启动时读什么
    • 配置放在哪里
    • 网关如何找到自己的配置
    • 全新克隆、完全没有配置时会怎样
    • 模型注册表
    • 路由配置文件
    • 目前不生效的设置
    • 从管理控制台做运行时配置
      • Providers 标签页
      • Routing 标签页
      • Settings 标签页
      • 两层如何叠加
    • 环境变量
    • 用你自己的配置运行

概念

  • 架构
    • 设计原则
    • 四个层次
    • 请求生命周期
      • 1. 中间件
      • 2. 认证与配额
      • 3. 模型门禁
      • 4. router 选择
      • 5. 分发、回退与熔断器
      • 6. 日志
    • 路由引擎详解
      • router 与策略
      • 两层「策略」
      • 执行与组合
      • provider 与 endpoint_id
    • adapter
      • 流式超时
    • 配置
    • 存储
    • 可观测性
    • HTTP 接口
    • 部署形态
  • 路由
    • 为每个模型选择 router
    • FixedRouter 如何挑选端点
      • 回退
    • 端点健康与熔断
      • 准入（写给 router 作者）
    • 被排除在选路之外的路由
    • prefill 感知的选路
    • 会话亲和
    • 出站并发
    • 排队等待卸载
      • 引擎等待
      • 引擎队列上限
      • 最大卸载输入
    • RouteWise
    • 为某个层级预留上游 key
    • API 端点
    • 代码在哪里
    • 添加路由策略
      • 1. 理解这份契约
      • 2. 拿到路由
      • 3. 写策略模块
      • 4. 在导入时注册它
      • 5. 选用它
      • 6. 测试它
  • 路由内部机制
    • 请求如何到达 adapter
    • 叶子、池与派发指令
    • router 类型与执行边界
    • 全池 RouteWise：当前已支持
    • Fixed 组合：需要显式开启
    • Greedy 与云端 RouteWise：未来扩展
  • 公开路径表
    • 路径表
      • 运行时 route handler——cloud agent 代理
      • 旧版 beforeFiles 兼容
      • afterFiles——网关
    • 为什么 /pgadmin 是 route handler 而不是 rewrite
      • 尾斜杠重定向的冲突
    • 新增一条公开路径
  • 术语表
    • 请求与模型
    • 路由与 provider
    • 选择路由
    • 部署

指南

  • 添加新模型
    • 模型注册表在哪里
    • 添加模型
    • 通过网关验证
    • 配置参考
      • 模型字段
      • 路由配置
        • 自定义 embeddings 路径
      • 支持的 adapter kind
      • 路由之间的权重
    • 故障排查
      • 模型没有出现在 /v1/models 里
      • 鉴权失败
    • 另见
  • 添加新的本地模型
    • 概览
    • 私有服务器（不接公网）
    • 第 1 步：启动本地模型服务器
    • 第 2 步：把模型加进注册表
      • 在仪表盘中给路由命名
    • 第 3 步：添加可选的远程回退
    • 第 4 步：重启网关
    • 第 5 步：通过网关验证
    • 路由说明
      • 在 sglang 路由上优先调度 decode
      • 在 sglang 路由上记录前缀缓存未命中
    • 故障排查
      • 模型没有出现在 /v1/models 中
      • 网关访问不到本地服务器
      • 注册之后请求失败
    • 另见
  • 编写 provider adapter
    • 第 1 步：先判断到底需不需要 adapter
    • 第 2 步：编写 adapter（仅限自定义协议）
    • 第 3 步：把模型加进注册表
    • 第 4 步：配置环境变量
    • 第 5 步：验证
    • 部署自带的 adapter
    • BaseAdapter API 参考
    • 进阶功能
      • 多模态支持
      • 工具 / function calling
      • 结构化输出（JSON mode）
      • 限制并发请求
    • 示例
    • 故障排查
      • 响应格式错误
      • 流式问题
    • 最佳实践
    • 另见
  • 通过 OpenRouter 路由
    • 默认的模型目录
    • 路由语法
      • kind: openrouter
      • kind: openrouter[<slug>]
      • 排序策略
    • adapter 发出的内容
    • 成本核算
    • API key
    • 错误处理
    • 故障排查
  • 在 HPC 集群上提供模型服务
    • 1. 申请一个节点
    • 2. 让容器镜像可以离线取用
    • 3. 启动模型服务器
    • 4. 用隧道接到网关主机
    • 5. 注册路由
    • 6. 用完后释放所有资源
  • Claude Code 接入配置
    • 配置
    • 模型家族与别名
    • 使用与验证
    • 故障排查
    • 卸载
  • 文档 RAG 助手
    • 工作原理
    • 搭建
      • 重建索引
      • 部署索引
    • 端点
    • 关闭助手
    • 配置
    • 局限
    • 代码位置

定制部署

  • 发行版定制
    • 可以定制什么
    • 只改配置
      • 文件放在哪里
      • 发行版 manifest
      • 启用 manifest
      • 站点信息，以及 manifest 里不能放什么
      • 运行时品牌配置
      • 功能设置及其限制
      • 变更何时生效
      • 示例发行版
    • 自定义公开页面和后端代码
    • 升级检查清单
      • 已有的源码 fork
      • 上线前
  • Site UI 模块
    • 模块能改什么、不能改什么
    • 模块可以导入什么
    • 模块是一个目录
    • 文档语言与页面标题
    • 使用模块构建镜像
      • 本地开发
    • 资源
    • 共享表单样式
    • 模块组件出错时
    • 兼容性
    • 测试模块
  • 后端扩展
    • 加载扩展
    • 云端 Agent 访问权限
    • 配额上报
      • 运行本地配额来源

运维

  • 部署指南
    • 服务栈的组成
      • 把它放到公网上
        • 代理仍然要负责的事
      • 不对外暴露：SSH 隧道
    • 日常运维
      • 改动之后到底要做什么
    • 配置
      • 环境变量
      • 配置文件的解析顺序
      • 本地推理服务器
    • 健康检查
      • 给监控流量打标记
    • 告警
      • 认证告警里有什么
      • 在仪表盘中静音告警
    • 第一个管理员账号
    • 数据库
      • pgAdmin（可选）
    • 故障排查
      • 某个服务起不来
      • 监控或服务账号突然开始收到 429
      • 重置这套服务栈
      • 改动代码后重新构建
  • 发布与升级
    • 版本标识与支持
      • 在 bug 报告中附上版本
    • 兼容性与破坏性变更
    • 升级与回滚
  • 数据库
    • 一定要有数据库吗？
    • 连接设置
    • 表结构是怎么创建出来的
      • 删除账号相关的密钥
    • 各张表存了什么
    • 请求日志与隐私
      • 请求属于哪个会话
    • 备份
    • 重置
    • 查看数据库
    • 可选：pgAdmin
      • 启动与重启
      • 认证
      • 注册数据库
      • 重置 pgAdmin
  • 可信代理与客户端 IP
    • 底层服务器
    • 信任配置
      • 可信代理
      • 私有网络里的直连客户端
      • 有权提供 Cloudflare 头的对端
      • 信任开关
      • 为什么需要这些限制
    • 解析顺序
      • 示例：多跳链
      • 示例：攻击者在前面添加伪造地址
      • 什么算可路由
    • 返回「unknown」的情况
    • Cloudflare Pseudo IPv4
    • 分桶：为什么 IPv6 按 /64 归组
      • 纯 IPv4 源站上出现 IPv6 客户端是正常的
    • 会写进日志的内容
    • 会存进数据库的内容
      • 保留期由你自己定
    • 验证你的配置
  • 自动化评分（真人 vs. 脚本）
    • 输入
    • 各个信号
      • 1. turn_pattern——用户轮次
      • 2. prompt_size_dispersion——用户轮次长度
      • 3. client_tool_prior——user-agent
      • 4. daily_activity_shape——日活动形态
      • 5. tool_call_human_tell——辅助信号
      • 6. agent_opener_override——辅助信号
      • 7. user_message_shape——用户消息长度与熵
    • 信号的组合
    • 档位
    • 注意事项
    • 用 CLI 复现
    • 代码位置

参与贡献

  • 参与贡献
    • 环境准备
    • 完成第一次贡献
    • 仓库结构
    • 质量门禁
    • 测试
      • 前端
    • 文档
      • 撰写页面
      • 翻译
    • 提出改动
      • CI 会跑什么
  • 翻译文档
    • 翻译成中日韩语言时
    • 译文如何发布到站点上
    • 检查译文是否悄悄退回了英文
    • 中文术语

项目

  • 关于
    • 项目与实验室
    • 看看线上实例
    • 联系我们
HybridInference
  • 搜索

© 版权所有 2026, The HybridInference contributors。

利用 Sphinx 构建，使用的 主题 由 Read the Docs 开发.