本地运行 · 127.0.0.1:8787
让 AI 请求,抄一条近路。
Pipeway 是一个跑在本机的 API 中转器。请求发往上游之前,它先压缩上下文、冻结缓存前缀,再按模型把流量分给不同供应商。客户端只改一个 base_url。
Windows 与 macOS 安装包现已开放下载,源码也在 GitHub。
上下文压缩
先过四道筛子,
再交给上游。
工具输出、构建日志、重复片段,是上下文里最占地方的部分。Pipeway 从无损到有损逐层处理;省得不够多,就保留原文。
字符数 · 一次真实的工具输出压缩
[Pipeway] INFO 压缩生效 in=~4820 out=~356 tokens
−52% (24000→11520 字符, 规则 pip_dependency_noise)
-
L1
无损规整 始终生效
去 ANSI 转义、折叠回车覆写、清理行尾空白与连续空行、纯 JSON 最小化。不设阈值,不改语义。
-
L2
整条去重
同一请求内完全相同的消息,后出现者折叠为引用占位符,不再重复占用 token。
-
L3
块级去重
连续多行整块曾在更早消息出现,就折叠成一行占位符。代码内容不参与。
-
L4
噪声清理
剥离 pip、git、cargo、docker、apt、npm 的噪声行,折叠重复与进度条,长文只留头尾。
三道护栏错误内容不裁、代码与补丁不裁、最后两条消息不裁。引擎出任何异常,原文转发。
缓存命中
发出去的字节,
不再回头改。
压缩历史能省 token,却会让上游的 prompt cache 全部失效。Pipeway 反过来做:已经发给上游的消息逐字节冻结,只压缩从未发送过的新内容。
-
先认会话,再谈复用
按上游、模型、tools 与首条消息识别会话,用消息指纹做最长公共前缀匹配。不同上游的会话互不串线。
-
冷区压透,热尾不动
历史消息首次即做完整压缩;最后两条消息只做无损规整,保护当前轮的新鲜内容。
-
封存要算得过账
会话空闲超过阈值后尝试一次性封存,增量收益预估能覆盖后续轮数才真正改写。否则继续冻结,不为了省一点而打断缓存。
-
把每轮变化的东西摘出去
system 里的 Current time、session id、PID、cwd 等动态行不进入冻结前缀,而是拼成尾随消息回填。上下文不丢,前缀也不碎。
cache_control 断点:system、tools、最后一条稳定消息、倒数第二条 user。TTL 在会话创建时一次定档,之后不再改动。
- 冻结:原样复用
- 封存:一次改写
- 新增:进入压缩
协议兼容
三种协议,
同一个端口。
不用换 SDK,也不用改调用方式。把 base_url 指向 Pipeway,流式和非流式都照常工作。
| 端点 | 协议 | 中转器做的事 |
|---|---|---|
/v1/chat/completions |
OpenAI Chat | 压缩 + 缓存层 + 稳定的 prompt_cache_key + tools 定型 |
/v1/responses |
OpenAI Responses | 稳定 cache key、instructions 易变行剥离、usage 解析 |
/v1/messages |
Anthropic | 压缩 + 缓存层 + cache_control 断点注入 |
/v1/messages/count_tokens |
Anthropic | 原样透传,自动补齐鉴权头 |
tools 会按 name 稳定排序并统一键序。工具集合不变时,字节逐轮一致——顺序抖动不会再击碎整个前缀。
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:8787/v1",
api_key="sk-your-key",
)
# 之后照常调用,流式 / 非流式均可
from anthropic import Anthropic
client = Anthropic(
base_url="http://127.0.0.1:8787",
api_key="sk-your-key",
)
# 走 /v1/messages,断点自动注入
curl http://127.0.0.1:8787/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "default",
"messages": [{"role": "user", "content": "hi"}]
}'
--host / --port
无需重启上游客户端
多供应商
换上游,
不用重启。
把 OpenAI、Anthropic、DeepSeek、私有网关写进一份 providers 列表。全局切换,或只切某一种协议;结果原子写回 config.json。
-
协议级覆盖
chat、responses、anthropic各自记住自己的 active。只切 Anthropic,不影响另外两条链路。 -
模型名自动命中
客户端仍用标准
model字段。名字落在哪个供应商的模型列表里,请求就走哪里;大小写不敏感。 -
写盘不留半截
切换立即生效,按
persist_switch回写配置文件。临时文件 + rename,失败自动回滚,不会留下半截 JSON。
停用即静默enabled:false 的供应商不参与路由、不被聚合、也不能被切换。密钥在接口里默认脱敏。
POST /providers/active
200 · persisted=true
界面示意 · 点一下任意供应商试试
一键接入
配置这件事,
交给它。
选中本机已安装的 Agent,Pipeway 把接入配置写好、原文件备份好,模型别名统一成 pipeway。
Claude 桌面 App 的 3P 网关模式、Claude Code 的模型发现开关、Codex 的模型目录,也一并配好。改完重启对应 Agent 生效。重复连接不会覆盖第一次的备份。
本地仪表盘
每一笔消耗,
都算得清。
服务启动后,打开 127.0.0.1:8787 就是仪表盘。没有账号,没有云端,页面每 6 秒自己刷新。
界面示意 · 数据为示例
工程细节
该硬的地方,
不软。
长期常驻的本机服务,可靠性不在宣传语里,在这些默认行为里。
配置即接口
每个配置段都能通过 HTTP 读写。PATCH 热生效,dry-run 只校验预览,不写盘、不改内存。
单文件运行
Rust + rustls,一个可执行文件,无运行时依赖。配置、统计、本地模型都落在 ~/.pipeway。
自动更新
启动后拉取版本清单,按需校验 SHA256 后原子替换。检查、下载、校验任一步失败都只记日志。
安全默认
错误与代码不裁剪;引擎异常原文转发;只透传业务头白名单,不整体复制客户端 HeaderMap。
密文 base_url
供应商地址可存为加密令牌。标记隐藏的地址在任何密钥显隐模式下都不会返回明文,转发时照常使用。
可控数据目录
--host / --port 覆盖监听地址,API_RELAY_DATA_DIR 改数据根,便于多开与调试。
下载
把管道,
装到本机。
Windows 与 macOS 安装包现已开放下载。也可以从 GitHub 取源码,自己构建。
三步开始
-
1
运行 Pipeway,托盘出现图标。首次启动会在
~/.pipeway生成 config.json。 -
2
浏览器打开
127.0.0.1:8787,查看仪表盘与供应商状态。 -
3
把客户端的
base_url指过来。流式、非流式、工具调用都不用改。
升级前备份 ~/.pipeway 即可迁移。
公司网络需要代理?config.json 的 proxy 段同时作用于更新下载与上游转发。