测试数据
集中管理测试输入、参考答案和题集版本,为模型比较和版本回归保留统一标准。

企业 AI 应用交付平台:一个严肃的 AI 应用,构建如此简单。


集中管理测试输入、参考答案和题集版本,为模型比较和版本回归保留统一标准。
接入模型服务或已发布智能体,运行整组测试,保存逐条回答和执行状态。
结合规则评分、模型裁判与人工审核,并排查看不同版本的回答和评分。
查看已上报的调用、错误、耗时和 Token 用量,从结果追溯执行记录。
从模型能力、知识检索到智能体执行过程,以统一的题集、评分机制和结果记录,组织完整的评测流程。
围绕知识问答、逻辑推理、指令遵循与结构化输出,检查模型的基础能力。
面向图文理解、文档识别及音视频任务,适配测试样本与专用评分器。
检查任务完成情况、工具选择与调用参数,结合执行轨迹分析各步骤的表现。
分别评估检索内容与生成回答,检查漏召回、无关内容和回答依据不足等问题。
接入应用 API 与执行轨迹,按业务任务扩展评分器。
导入业务样本与参考答案,固定题集版本、评分标准和通过条件,形成可复用的测试基准。
结合规则评分、模型裁判与人工复核,批量比较候选方案,并在版本更新后重复验证。
汇总评分与失败样本,通过已配置的测试套件生成结构化报告,供结果复核与版本回归使用。
围绕同一业务任务,组织模型、智能体、测试数据与运行记录。

固定题集与评分标准,对比不同模型或提示词版本。既能查看整体评分,也能展开同一道题的原始回答。
按任务选择评分方法,结合判定标准、原始回答和执行记录,分析模型表现。
按明确标准检查分类结果、必要字段和输出格式。
使用评分提示词评价开放式回答,保留评分与判断理由。
通过评分指标和审核队列,处理业务判断与评分分歧。


在相同测试条件下运行候选模型,结合回答质量、响应耗时和用量记录,确定适合当前任务的模型服务。

接入已发布的应用 API,映射测试输入,检查预期回答、执行失败与边界问题,为业务验收准备逐条记录。

保留基线实验,在模型、提示词或应用版本调整后运行固定题集,检查改进效果和原有能力的变化。

在相同测试条件下运行候选模型,结合回答质量、响应耗时和用量记录,确定适合当前任务的模型服务。

接入已发布的应用 API,映射测试输入,检查预期回答、执行失败与边界问题,为业务验收准备逐条记录。

保留基线实验,在模型、提示词或应用版本调整后运行固定题集,检查改进效果和原有能力的变化。

在相同测试条件下运行候选模型,结合回答质量、响应耗时和用量记录,确定适合当前任务的模型服务。

接入已发布的应用 API,映射测试输入,检查预期回答、执行失败与边界问题,为业务验收准备逐条记录。

保留基线实验,在模型、提示词或应用版本调整后运行固定题集,检查改进效果和原有能力的变化。
可以。模型通过供应商接口接入,已发布智能体通过应用服务 API 接入。当前智能体连接器支持 Dify 服务 API 协议,可评测工作流、Chatflow、聊天应用和文本生成应用。
可以导入 CSV 或 JSON 数据集,维护测试输入、参考信息和版本。根据任务选择规则评分、模型裁判或人工审核;比较实验时,应保持题集与评分标准一致。
通过应用 API 评测时,可保存输入、输出及执行状态。应用额外上报 Trace、Span 和父子关系后,平台可进一步展示内部检索、模型调用与工具执行步骤。
MaaS 负责算力管理、模型部署与服务发布;智能体平台负责应用编排与发布;综合评测平台通过接口调用这些服务,维护测试数据、执行评测并比较结果。现有模型和应用可以继续在原平台维护。
支持在企业内网部署。实施时需根据目标环境配置网络、模型服务、身份认证、存储和备份。服务手册提供部署、接口接入及日常运维说明。
接入已有模型或智能体,用统一题集检查回答与运行表现。