本地运行 · 127.0.0.1:8787

让 AI 请求,抄一条近路。

Pipeway 是一个跑在本机的 API 中转器。请求发往上游之前,它先压缩上下文、冻结缓存前缀,再按模型把流量分给不同供应商。客户端只改一个 base_url。

Windows 与 macOS 安装包现已开放下载,源码也在 GitHub。

  • 单文件
  • 无运行时依赖
  • 配置与统计留在本机
本机管道运行中 127.0.0.1:8787
单端口 · 多协议 不经过 Pipeway 服务器
4
层压缩
无损到有损,逐层收敛
3
种协议
Chat · Responses · Messages
10 +
个 Agent
一键写入接入配置
0
运行时依赖
Rust 单文件 · rustls

上下文压缩

先过四道筛子,
再交给上游。

工具输出、构建日志、重复片段,是上下文里最占地方的部分。Pipeway 从无损到有损逐层处理;省得不够多,就保留原文。

压缩示例 / pip 安装日志日志示例
24,000 11,520 −52%

字符数 · 一次真实的工具输出压缩

原始24,000
压缩后11,520
省下 12,480 字符 · token 估算约 4,820 → 356
[Pipeway] INFO    压缩生效 in=~4820 out=~356 tokens
          −52% (24000→11520 字符, 规则 pip_dependency_noise)
示例数据 · in/out 为估算值
  1. L1

    无损规整 始终生效

    去 ANSI 转义、折叠回车覆写、清理行尾空白与连续空行、纯 JSON 最小化。不设阈值,不改语义。

  2. L2

    整条去重

    同一请求内完全相同的消息,后出现者折叠为引用占位符,不再重复占用 token。

  3. L3

    块级去重

    连续多行整块曾在更早消息出现,就折叠成一行占位符。代码内容不参与。

  4. L4

    噪声清理

    剥离 pip、git、cargo、docker、apt、npm 的噪声行,折叠重复与进度条,长文只留头尾。

三道护栏错误内容不裁、代码与补丁不裁、最后两条消息不裁。引擎出任何异常,原文转发。

缓存命中

发出去的字节,
不再回头改。

压缩历史能省 token,却会让上游的 prompt cache 全部失效。Pipeway 反过来做:已经发给上游的消息逐字节冻结,只压缩从未发送过的新内容。

  • 先认会话,再谈复用

    按上游、模型、tools 与首条消息识别会话,用消息指纹做最长公共前缀匹配。不同上游的会话互不串线。

  • 冷区压透,热尾不动

    历史消息首次即做完整压缩;最后两条消息只做无损规整,保护当前轮的新鲜内容。

  • 封存要算得过账

    会话空闲超过阈值后尝试一次性封存,增量收益预估能覆盖后续轮数才真正改写。否则继续冻结,不为了省一点而打断缓存。

  • 把每轮变化的东西摘出去

    system 里的 Current time、session id、PID、cwd 等动态行不进入冻结前缀,而是拼成尾随消息回填。上下文不丢,前缀也不碎。

Anthropic 原生端点 注入最多 4 个 cache_control 断点:system、tools、最后一条稳定消息、倒数第二条 user。TTL 在会话创建时一次定档,之后不再改动。
会话消息 / 逐字节状态示例
  • 冻结:原样复用
  • 封存:一次改写
  • 新增:进入压缩
封存会让缓存断一次,换来之后每轮都更省

协议兼容

三种协议,
同一个端口。

不用换 SDK,也不用改调用方式。把 base_url 指向 Pipeway,流式和非流式都照常工作。

Pipeway 支持的端点与对应的处理行为
端点协议中转器做的事
/v1/chat/completions OpenAI Chat 压缩 + 缓存层 + 稳定的 prompt_cache_key + tools 定型
/v1/responses OpenAI Responses 稳定 cache key、instructions 易变行剥离、usage 解析
/v1/messages Anthropic 压缩 + 缓存层 + cache_control 断点注入
/v1/messages/count_tokens Anthropic 原样透传,自动补齐鉴权头

tools 会按 name 稳定排序并统一键序。工具集合不变时,字节逐轮一致——顺序抖动不会再击碎整个前缀。

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8787/v1",
    api_key="sk-your-key",
)

# 之后照常调用,流式 / 非流式均可
监听地址可改:--host / --port 无需重启上游客户端

多供应商

换上游,
不用重启。

把 OpenAI、Anthropic、DeepSeek、私有网关写进一份 providers 列表。全局切换,或只切某一种协议;结果原子写回 config.json。

  • 协议级覆盖

    chat、responses、anthropic 各自记住自己的 active。只切 Anthropic,不影响另外两条链路。

  • 模型名自动命中

    客户端仍用标准 model 字段。名字落在哪个供应商的模型列表里,请求就走哪里;大小写不敏感。

  • 写盘不留半截

    切换立即生效,按 persist_switch 回写配置文件。临时文件 + rename,失败自动回滚,不会留下半截 JSON。

停用即静默enabled:false 的供应商不参与路由、不被聚合、也不能被切换。密钥在接口里默认脱敏。

providers.activeopenai
anthropic 协议 Anthropic 官方 覆盖
POST /providers/active 200 · persisted=true

界面示意 · 点一下任意供应商试试

一键接入

配置这件事,
交给它。

选中本机已安装的 Agent,Pipeway 把接入配置写好、原文件备份好,模型别名统一成 pipeway。

Claude Code base_url、鉴权、模型发现开关 ~/.claude/settings.json
Codex model_provider、模型目录、API key ~/.codex/config.toml
WorkBuddy base_url、模型别名 ~/.workbuddy/config.json
OpenCode provider 与模型条目 ~/.config/opencode/opencode.json
DeepSeek Harness base_url、模型别名 ~/.deepseek-harness/config.json

Claude 桌面 App 的 3P 网关模式、Claude Code 的模型发现开关、Codex 的模型目录,也一并配好。改完重启对应 Agent 生效。重复连接不会覆盖第一次的备份。

本地仪表盘

每一笔消耗,
都算得清。

服务启动后,打开 127.0.0.1:8787 就是仪表盘。没有账号,没有云端,页面每 6 秒自己刷新。

界面示意 · 数据为示例

用量输入、输出、命中、写入与压缩节省,一屏看完。
曲线最近 48 小时逐小时聚合,悬停看每小时明细。
筛选按模型过滤统计范围,中英切换与深浅色都在。

工程细节

该硬的地方,
不软。

长期常驻的本机服务,可靠性不在宣传语里,在这些默认行为里。

配置即接口

每个配置段都能通过 HTTP 读写。PATCH 热生效,dry-run 只校验预览,不写盘、不改内存。

单文件运行

Rust + rustls,一个可执行文件,无运行时依赖。配置、统计、本地模型都落在 ~/.pipeway。

自动更新

启动后拉取版本清单,按需校验 SHA256 后原子替换。检查、下载、校验任一步失败都只记日志。

安全默认

错误与代码不裁剪;引擎异常原文转发;只透传业务头白名单,不整体复制客户端 HeaderMap。

密文 base_url

供应商地址可存为加密令牌。标记隐藏的地址在任何密钥显隐模式下都不会返回明文,转发时照常使用。

可控数据目录

--host / --port 覆盖监听地址,API_RELAY_DATA_DIR 改数据根,便于多开与调试。

下载

把管道,
装到本机。

Windows 与 macOS 安装包现已开放下载。也可以从 GitHub 取源码,自己构建。

三步开始

  1. 1

    运行 Pipeway,托盘出现图标。首次启动会在 ~/.pipeway 生成 config.json。

  2. 2

    浏览器打开 127.0.0.1:8787,查看仪表盘与供应商状态。

  3. 3

    把客户端的 base_url 指过来。流式、非流式、工具调用都不用改。

升级前备份 ~/.pipeway 即可迁移。

版本v0.2.0
体积约 6 MB
系统Windows 10+ x64

公司网络需要代理?config.json 的 proxy 段同时作用于更新下载与上游转发。