RunInfra
为编程智能体及其他基于智能体的应用提供开放模型托管服务
其会话感知路由会将重复请求发送至已保留相应上下文的副本，从而通过缓存帮助降低输入成本。开发者可通过兼容 OpenAI 和 Anthropic 的 SDK 进行连接，编程用户则可为受支持的智能体选择订阅方案。
核心功能
会话感知缓存
同一个会话的重复请求自动路由到保留上下文的副本，不用手动传session ID，缓存命中按折扣价计费，用量页能看自己省了多少。
双协议兼容
一把API Key同时走OpenAI的chat completions和Anthropic的Messages，换模型不用重写客户端代码，对已经在用两套SDK的团队省事。
编码计划
Starter $10/月、Pro $29、Team $99，5小时和每周限额重置，计划额度用完可以转Standby免费慢速通道，不会直接断掉。
CLI一键接入
装好CLI运行一条命令，它自动找到你机器上的Claude Code、Codex、Cline、Aider这些Agent，勾选授权就接上了，不用翻文档配环境变量。
零数据留存
托管模型API默认不保留提示词和补全内容，也不用于训练，SOC 2 Type II报告在NDA下可查。
产品特色
- 01
缓存路由是它真正在卖的东西，不是模型本身
编程Agent跑长会话的时候，大量输入Token是重复的上下文——上一轮的代码、之前的指令、workspace里的文件。RunInfra的会话感知路由把这些重复请求钉在同一个副本上，缓存命中了就按cached input价格算。官网首页实测24小时内三种模型分别跑到96.4%、95.9%、97.4%的命中率。
- 02
模型库小这件事，官方自己也没藏着
Subconscious的评测直接点出来：托管库只有五个中端和Flash级模型，离前沿质量差得远。Models.dev上列出的七个模型里，Qwen3.8 27B、GLM-5.3-Flash、DeepSeek V4 Flash这些是主力。RunInfra的定位不是“给你最强的模型”，是“给你足够跑Agent的模型，但便宜”。如果你的工作流需要前沿推理能力，它补不了那个缺口。
- 03
CLI接入的体验是它被夸得最多的地方，但产品整体还带着毛边
Product Hunt上有用户说“粘贴提示词就能跑，小白也能上手”，也有人提到CUDA kernel生成比预期快、跑在GPU上温度更低。但同一页也有反面：部署过程中遇到几次错误，最后确实部署出来了，却卡在一个简单的“wazzup”提示上没有恢复，而且没有账户删除功能。另一个用户提到Agent从第一条提示就开始设矩阵，沟通感偏弱。它显然还在快速迭代的阶段，好用的部分很好用，不稳定的地方也需要有心理准备。
应用场景
✅ Claude Code低成本后端
已经在用Claude Code但Token账单看着肉疼，把模型切到RunInfra上的Qwen或GLM，CLI一条命令接进去，长会话的缓存命中能把实际输入成本压下来。
✅ 多Agent并行开发
Cline、Aider、OpenCode各跑各的任务，用同一把Key接同一个工作区，缓存路由让每个会话的上下文各自保温，不互相挤占。
✅ 小型团队共用额度
Team计划$99/月共享给整个workspace，没有按人头收费，几个人的Agent流量合在一个池子里，比每人单独订阅便宜。
✅ 内部Agent平台做模型网关
OpenAI和Anthropic两套协议都兼容，公司自建的Agent平台可以拿它当统一出口，不用为每个模型单独适配SDK。
✅ 预算敏感的批量任务
工具调用和JSON模式稳定输出，适合跑分类、抽取、结构化报告这类吞吐量大、对前沿推理要求不高的活。
常见问题
解答您关于"RunInfra"的常见疑问，让您更好地使用这款AI工具
-
OpenRouter是模型聚合器，把几十上百个模型摆在一起让你挑，赚的是路由和便利性的钱。RunInfra的着力点在“为Agent的长会话优化缓存”，模型库很小、偏中端，编码计划是固定月费而不是按量充值。如果你的需求是“什么模型都能试”，OpenRouter更宽；如果你的需求是“用便宜的模型跑Agent，让重复上下文别反复计费”，RunInfra切得更准。
-
Starter的5小时限额$1.11、周限$2.77，额度按标准每Token价格计算，缓存输入按缓存价算。一天跑一两个小时Agent、命中率不错的话，$10档能撑住轻量使用；如果每天跑大半天，很快会碰到限额转Standby。官方估算月度用量约$12，但那是参考值。建议先用pay-as-you-go跑一周，看看自己实际的消耗节奏，再决定上哪一档。
-
官网首页实测24小时内三种模型跑到96.4%到97.4%，中文资料提到最高99.3%到99.5%。但官方也明确写了“Cache hits are best effort”，不是保证。没命中的请求按标准输入价格计费，不会按缓存价扣你钱，只是省不到那部分。会话感知路由不需要你手动传session ID，它靠对话或workspace自动亲和，但自动亲和的准确度取决于你的使用模式，频繁切换工作区会影响命中。
-
官方CLI能自动检测并连接19款Agent，包括Claude Code、Codex、OpenCode、Cline、Aider、Droid、Grok Build、Qwen Code、Kilo Code、Goose等，Zed和VS Code Copilot Chat还在预览状态。基本上主流的CLI类Agent都覆盖了，图形化IDE的集成还在路上。
-
已经在用编程Agent、对Token成本敏感、不需要前沿模型的小型开发团队，匹配度最高。如果你重度依赖GPT或Claude的最强推理能力，RunInfra上的中端模型会让你觉得“差一口气”；如果你只是要一个便宜的、缓存友好的后端来跑日常代码生成和调试，它的性价比是真实的。产品还年轻，Product Hunt上反馈的稳定性问题不是个案，先拿$10跑一个月试试水，比直接上Team稳妥。
立即体验“RunInfra”
RunInfra是Y Combinator支持的开放模型托管平台，专为编程智能体设计。会话感知路由把重复请求钉在保留上下文的副本上，缓存命中率实测能到97%以上，Coding Plan跑Claude Code、Codex、Cline这些工具，输入成本能压到标价的零头。但模型库只有七八个中端开源模型，离前沿质量有距离，公司也还年轻。
