阿拉丁Aladdin

阿拉丁 · 大模型综合评测平台

模型与智能体,
统一评测,持续改进。

从提示词调试、批量评测到运行监控,在同一平台比较回答、评分与耗时,为模型选型、应用验收和版本迭代提供依据。

阿拉丁大模型综合评测平台:实验总览与模型评分
核心能力

从测试数据,到评测结果。

测试数据

集中管理测试输入、参考答案和题集版本,为模型比较和版本回归保留统一标准。

批量评测

接入模型服务或已发布智能体,运行整组测试,保存逐条回答和执行状态。

评分比较

结合规则评分、模型裁判与人工审核,并排查看不同版本的回答和评分。

运行监控

查看已上报的调用、错误、耗时和 Token 用量,从结果追溯执行记录。

评测体系

Agent 全要素体系评测

从模型能力、知识检索到智能体执行过程,以统一的题集、评分机制和结果记录,组织完整的评测流程。

LLM

大模型评测

围绕知识问答、逻辑推理、指令遵循与结构化输出,检查模型的基础能力。

  • 回答正确性
  • 安全性
  • 响应表现
MULTIMODAL

多模态评测

面向图文理解、文档识别及音视频任务,适配测试样本与专用评分器。

  • 识别准确性
  • 内容理解
  • 跨模态一致性
AGENT

智能体评测

检查任务完成情况、工具选择与调用参数,结合执行轨迹分析各步骤的表现。

  • 任务完成度
  • 工具调用
  • 执行轨迹
RAG

RAG 评测

分别评估检索内容与生成回答,检查漏召回、无关内容和回答依据不足等问题。

  • 上下文召回率
  • 上下文精确率
  • 回答忠实度

面向自研智能体的评测框架

接入应用 API 与执行轨迹,按业务任务扩展评分器。

样本适配执行编排评分器扩展
01

快速建立评测基准

导入业务样本与参考答案,固定题集版本、评分标准和通过条件,形成可复用的测试基准。

业务样本 · 版本管理 · 验收标准
02

组合评测机制

结合规则评分、模型裁判与人工复核,批量比较候选方案,并在版本更新后重复验证。

规则评分 · 模型裁判 · 人工复核
03

自动生成评测报告

汇总评分与失败样本,通过已配置的测试套件生成结构化报告,供结果复核与版本回归使用。

评分汇总 · 失败样本 · 执行记录
多模态任务需适配对应模型与评分器;检索与工具过程评测使用应用提供的上下文和执行轨迹。
评测工作台

每一次评测,都有结果可查。

围绕同一业务任务,组织模型、智能体、测试数据与运行记录。

大模型综合评测平台:实验回答与评分比较
01 / 04

同一组问题,逐条比较模型表现。

固定题集与评分标准,对比不同模型或提示词版本。既能查看整体评分,也能展开同一道题的原始回答。

  • 题集与提示词版本可追溯
  • 原始回答与评分并排查看
  • 耗时与 Token 用量同步记录
查看操作指南
评分与复核

查看评分,
也能追溯原始回答。

按任务选择评分方法,结合判定标准、原始回答和执行记录,分析模型表现。

规则评分

按明确标准检查分类结果、必要字段和输出格式。

模型裁判

使用评分提示词评价开放式回答,保留评分与判断理由。

人工审核

通过评分指标和审核队列,处理业务判断与评分分歧。

调用详情:模型输入、原始回答、执行步骤与用量
从评测结果追溯输入、输出与已上报的执行步骤。
应用场景

服务模型选型,应用验收与版本回归。

模型研发团队查看评测结果
模型选型

用业务题集,比较候选模型。

在相同测试条件下运行候选模型,结合回答质量、响应耗时和用量记录,确定适合当前任务的模型服务。

应用开发与测试工作场景
应用验收

智能体上线前,完成任务验证。

接入已发布的应用 API,映射测试输入,检查预期回答、执行失败与边界问题,为业务验收准备逐条记录。

团队开展应用运行监控与版本回归
版本回归

更新之后,核对实际变化。

保留基线实验,在模型、提示词或应用版本调整后运行固定题集,检查改进效果和原有能力的变化。

当前案例:用业务题集,比较候选模型。

了解更多

常见问题

结合已有模型、应用与测试数据,确定适合团队的评测方式。

阅读完整服务手册

可以。模型通过供应商接口接入,已发布智能体通过应用服务 API 接入。当前智能体连接器支持 Dify 服务 API 协议,可评测工作流、Chatflow、聊天应用和文本生成应用。

可以导入 CSV 或 JSON 数据集,维护测试输入、参考信息和版本。根据任务选择规则评分、模型裁判或人工审核;比较实验时,应保持题集与评分标准一致。

通过应用 API 评测时,可保存输入、输出及执行状态。应用额外上报 Trace、Span 和父子关系后,平台可进一步展示内部检索、模型调用与工具执行步骤。

MaaS 负责算力管理、模型部署与服务发布;智能体平台负责应用编排与发布;综合评测平台通过接口调用这些服务,维护测试数据、执行评测并比较结果。现有模型和应用可以继续在原平台维护。

支持在企业内网部署。实施时需根据目标环境配置网络、模型服务、身份认证、存储和备份。服务手册提供部署、接口接入及日常运维说明。

从一组业务问题,开始评测。

接入已有模型或智能体,用统一题集检查回答与运行表现。

预约产品演示