写了个测试,针对意图图识别场景,针对qwen3.7-max和decision-model-preview(阿里云版jev)、jev做了个对比,最终结果如下:
指标 | qwen3.7-max | decision-model-preview | jev |
准确率 | 154/154(100%) | 130/154 (84.4%) | 151/154 (98.1%) |
客户端总耗时 | 423.8 秒 | 29.1 秒 | |
平均单题耗时 | 2,751 ms | 188 ms | 415 ms |
P50 / P95 | 2,703 / 3,581 ms | 187 / 213 ms | 255/1072 ms |
输入 / 输出 / 总 token | 339,696 / 18,322 / 358,018 | 40,940 / 0 / 40,940 | 124960/23804/148764 |