评测基准

wescode 内置的基准评测套件：CLI 入口、数据集与验证流程。

CLI 入口

Bench 是 bin/wescode 的内置子命令：

# 构建
cd backend && go build -o bin/wescode ./cmd/wescode

# 单次 headless 运行
bin/wescode run "fix the bug" --workdir /path/to/repo

# 批量评测
bin/wescode bench --dataset ./tests/bench/swebench-100 \
  --runs 1 --verbose \
  --output ./results/report.json \
  --predictions ./results/predictions.jsonl

# 单题调试
bin/wescode bench --case swe-001 --runs 1 --verbose

数据集

数据集路径题数
wesgine 自建题库../wesgine.git/tests/bench/agent/dataset/100
SWE-bench Verifiedtests/bench/swebench/500
wescode smoke teststests/bench/dataset/3

自建题库分类

BenchMode

wescode bench 自动设置 BenchMode=true：

特性benchrun
QualityGate L2 自动验证禁用启用
EditPatrol禁用启用
verify_cmdbench 自有—
完整产品链路✅✅

两者共享同一个 engine.RunChat。

SWE-bench 验证

--predictions 输出 JSONL 格式，可直接喂给官方验证：

python -m swebench.harness.run_evaluation \
  --predictions_path ./results/predictions.jsonl \
  --swe_bench_tasks swebench_verified \
  --log_dir ./eval_logs

相关文档