Laya
开源的非自回归AI决策引擎，不做文本生成。
给它一段文本和一组类型化问题，一次前向传播直接返回选项、评分或概率，支持100+语言。
核心功能
三种决策原语
choice从候选项中选一个并给出各项概率，score在有序量表上打分并给出分布，noul回答是非问题并返回0到1的成立概率。
语言自动路由
Router在亚毫秒内检测输入脚本与语言，自动分发到英文或多语言checkpoint，避免选错模型导致自信地答错。
单次前向推理
输入状态加问题后一次前向传播返回所有答案，英文约39.5ms，多语言约32.8ms，批量低至7.2ms每题。
置信度门控
概率经过RLCD训练具备统计意义，可按阈值把高置信决策自动放行、低置信转人工处理。
内置工作流预设
提供模型路由、提示注入防护、内容安全审核、工单分诊等预置问题模板，可直接套用。
本地微调支持
附带Kaggle notebook，支持用自有数据完成造数据、RLCD训练、温度拟合和评测的完整流程。
产品特色
- 01
非自回归架构，不生成文本
基于双向编码器设计，推理时不逐字生成内容，没有解析负担，也不存在编造信息的可能，输出的是结构化结果而非一段话。
- 02
RLCD训练让概率真正可用
以严格真评分规则作为奖励，模型只有在输出真实后验概率时才能获得高分，校准后ECE可降至0.081，概率可以直接驱动自动放行决策。
- 03
速度优势明显
单次前向约33ms，批量低至7.2ms每题，比闭源方案Jev快约7.8倍，适合嵌入高频决策链路。
- 04
完全开源零成本
Apache-2.0协议开放权重和代码，可本地部署，对比Jev按API调用收费的模式，长期使用没有额外费用。
- 05
多语言覆盖广
Router识别100+语言并自动选checkpoint，英文版在多语言输入上可能给出高置信但错误的答案，路由机制在推理前就做了规避。
应用场景
✅ 客服工单分诊
判断部门归属、紧急程度、用户挫败感和流失风险，高置信自动派单、低置信转人工。
✅ 内容安全审核
用noul原语检测毒性、骚扰和威胁内容，输出违规概率，适合社区和UGC平台实时审核。
✅ 提示注入防护
在Agent系统入口检测越狱、注入、密钥泄露等攻击，33ms级延迟可嵌入每次请求链路。
✅ 模型路由调度
在混合大模型架构中判断请求该走小模型还是前沿模型，用极低成本完成调度决策。
✅ 本地决策实验
用内置notebook在自有数据上做微调，适合想探索非自回归决策模型的研究者。
常见问题
解答您关于"Laya"的常见疑问，让您更好地使用这款AI工具
-
普通大模型是逐token生成文本，Laya是双向编码器做单次前向决策，输出结构化答案和概率，不做文本生成。
-
pip install laya即可，需要Python 3.10以上，依赖transformers和torch。注意版本还在快速迭代中。
-
目前主要面向开发者，需要写Python调用。不过官方提供了完整的notebook，跟着跑一遍就能理解基本用法。
-
用Router自动路由就行，它会检测输入语言并选择合适的checkpoint。不建议手动指定，容易选错。
-
出厂checkpoint存在过度自信，建议先在自己的数据上做温度拟合，校准后的概率才适合做自动放行决策。
-
英文版基于ModernBERT-large，421M参数；多语言版基于mmBERT-base，322M参数。T4级别显卡就能跑，消费级设备也可以尝试。
立即体验“Laya”
Laya是Convai Innovations开源的非自回归决策模型，基于ModernBERT架构，不做文本生成，单次前向传播约33ms返回结构化答案与校准概率，支持100+语言，Apache-2.0协议可本地部署。
