Athina
覆盖LLM应用从原型到生产的全生命周期
集提示词管理、自动化评估、生产监控于一体，支持技术和非技术用户高效协作
核心功能
协作式IDE
类似电子表格的协作编辑器，技术和非技术人员可在同一界面原型设计、实验和迭代AI功能
提示词管理
集中创建、编辑、测试和版本化管理提示词，支持版本回滚和默认版本设置
自动化评估
提供50多种预设评估指标，也支持自定义评估方案，可一键运行
生产环境监控
实时监控LLM应用，追踪每次推理调用的查询、检索、提示、响应和反馈指标
多模型支持
支持接入GPT、Claude、Gemini等多种模型及自定义模型，可同任务跨模型对比
数据集评估
支持同时对多个数据集运行评估，并排对比结果，也支持人工标注验证
RAG管道可观测
完整追踪RAG管道的每一步，包括查询、检索、提示、响应，方便调试
产品特色
- 01
像用电子表格一样做AI实验
动态列支持运行提示词、执行代码、从向量数据库检索数据，复杂流程在直观界面中完成
- 02
50多种开箱即用的评估指标
集成Athina、OpenAI、Ragas、Guardrails等主流评估提供方
- 03
提示词版本管理像代码一样规范
每次修改自动分配版本号，可随时回滚、切换默认版本
- 04
生产环境持续评估不中断
在线评估可配置为对实时日志自动运行，始终掌握准确率变化
- 05
支持代码和界面双模式操作
工程师可通过Python SDK编程调用，非技术用户用UI完成同样的工作
- 06
Y Combinator背书，服务知名客户
YC W23批次项目，Vetted、Perplexity、Meesho等团队在使用
应用场景
✅ RAG应用质量监控
部署知识库问答系统后，监控RAG管道各环节，自动检测因检索不准导致的答案偏差
✅ 提示词A/B测试
为客服机器人准备多版提示词，在同一测试集上评估各版本的准确率和安全性
✅ 多模型能力对比
将同一任务在GPT-4、Claude等模型上运行，通过预设评估指标量化对比效果
✅ AI功能持续集成
将评估集成到CI/CD流水线，每次代码或提示词变更自动触发评估，确保质量不退化
✅ 数据集标注与验证
对模型生成结果进行人工标注和验证，构建高质量评估基准用于后续优化
常见问题
解答您关于"Athina"的常见疑问，让您更好地使用这款AI工具
-
提供免费套餐，每月1万条日志、不限提示词数量，适合个人和小团队起步
-
不一定。非技术人员可通过UI界面完成实验和评估，工程师也可用SDK编程调用
-
支持GPT、Claude、Gemini等多种主流模型，也支持接入自定义模型
-
平台内置了来自Athina、OpenAI、Ragas、Guardrails等提供方的评估指标，可直接选用，也支持自定义
-
Pro和Enterprise需联系销售团队获取报价，提供更多日志额度、团队席位和企业级功能
立即体验 Athina
Athina是Y Combinator投资的协作式AI开发平台，帮助团队构建、测试、评估和监控基于大语言模型的AI应用。提供50多种预设评估指标、提示词版本管理、生产环境监控和RAG管道可观测性。支持自定义模型和多种LLM供应商，免费套餐每月提供1万条日志额度。适合AI产品经理、机器学习工程师、数据科学家等角色协同工作。