JevEval

JevEval 是 Confident AI 在开源评估框架 DeepEval 里推出的一种评估指标，用来给 AI 应用的回答打分。你先写下一组明确的问题，比如“回答里有没有缺乏依据的说法”，Jev 模型一次给出每个问题的概率，DeepEval 再用固定公式算出最后的分数。问题分三种：是非题、分级题和行为多选题，每题还可以设权重。和常见的“让大模型当裁判”（LLM-as-a-judge）相比，官方博客说它把定标准、做判断、算分数拆开了：标准由你写，判断交给 Jev，分数由公式算，所以同样的概率每次都得出同样的分数，理由文字也是从结果拼出来的。多轮对话可以用 ConversationalJevEval。

适合谁：在做 AI 应用、要给模型输出做自动化测试的开发团队；不写代码的读者用不上。

使用前提：用 pip install -U deepeval typesafe-sdk 安装，还要有 TypeSafe 的 API key（TYPESAFE_API_KEY）。每次评估会把你选定的测试内容，比如输入、模型回答、调用过的工具，连同问题一起发给 Jev，这些数据怎么保存，官方没有说明。费用博客里没有写，以官网为准。DeepEval 默认会发送匿名使用统计，可以设 DEEPEVAL_TELEMETRY_OPT_OUT=1 关掉。DeepEval 代码是 Apache-2.0 许可，Jev 模型服务不在这个许可里。

以上根据官方博客和项目公开说明整理，本站没有实际测试。