testcase-data/eval.sh

cd /home/luoxianzhen/yang/eval_wrong_code

# python parallel_exe.py --testcase_alg lcb --model_name Qwen2.5-Coder-7B-Instruct
# python parallel_exe.py --testcase_alg crux --model_name Qwen2.5-Coder-7B-Instruct
# python parallel_exe.py --testcase_alg algo --model_name Qwen2.5-Coder-7B-Instruct
# python parallel_exe.py --testcase_alg ht --model_name Qwen2.5-Coder-7B-Instruct

# python parallel_exe.py --testcase_alg lcb --model_name Qwen2.5-Coder-14B-Instruct
# python parallel_exe.py --testcase_alg crux --model_name Qwen2.5-Coder-14B-Instruct
# python parallel_exe.py --testcase_alg algo --model_name Qwen2.5-Coder-14B-Instruct
# python parallel_exe.py --testcase_alg ht --model_name Qwen2.5-Coder-14B-Instruct

# python parallel_exe.py --testcase_alg lcb --model_name Qwen2.5-Coder-32B-Instruct
# python parallel_exe.py --testcase_alg crux --model_name Qwen2.5-Coder-32B-Instruct
# python parallel_exe.py --testcase_alg algo --model_name Qwen2.5-Coder-32B-Instruct
# python parallel_exe.py --testcase_alg ht --model_name Qwen2.5-Coder-32B-Instruct

# python parallel_exe.py --testcase_alg lcb --model_name Qwen2.5-7B-Instruct
# python parallel_exe.py --testcase_alg crux --model_name Qwen2.5-7B-Instruct
# python parallel_exe.py --testcase_alg ht --model_name Qwen2.5-7B-Instruct
# python parallel_exe.py --testcase_alg algo --model_name Qwen2.5-7B-Instruct

# python parallel_exe.py --testcase_alg lcb --model_name Qwen2.5-14B-Instruct
# python parallel_exe.py --testcase_alg crux --model_name Qwen2.5-14B-Instruct
# python parallel_exe.py --testcase_alg ht --model_name Qwen2.5-14B-Instruct
# python parallel_exe.py --testcase_alg algo --model_name Qwen2.5-14B-Instruct

# python parallel_exe.py --testcase_alg lcb --model_name Qwen2.5-32B-Instruct
# python parallel_exe.py --testcase_alg crux --model_name Qwen2.5-32B-Instruct
# python parallel_exe.py --testcase_alg ht --model_name Qwen2.5-32B-Instruct
# python parallel_exe.py --testcase_alg algo --model_name Qwen2.5-32B-Instruct

# python parallel_exe.py --testcase_alg lcb --model_name deepseek-v3
# python parallel_exe.py --testcase_alg crux --model_name deepseek-v3
# python parallel_exe.py --testcase_alg ht --model_name deepseek-v3
# python parallel_exe.py --testcase_alg algo --model_name deepseek-v3

# python parallel_exe.py --testcase_alg lcb --model_name claude-sonnet-4-20250514-thinking
# python parallel_exe.py --testcase_alg crux --model_name claude-sonnet-4-20250514-thinking
# python parallel_exe.py --testcase_alg ht --model_name claude-sonnet-4-20250514-thinking
# python parallel_exe.py --testcase_alg algo --model_name claude-sonnet-4-20250514-thinking

# python parallel_exe.py --testcase_alg lcb --model_name gpt-4o
# python parallel_exe.py --testcase_alg crux --model_name gpt-4o
# python parallel_exe.py --testcase_alg ht --model_name gpt-4o
# python parallel_exe.py --testcase_alg algo --model_name gpt-4o
# python parallel_exe.py --testcase_alg predo --model_name gpt-4o

# python parallel_exe.py --testcase_alg lcb --model_name qwen-coder-plus
# python parallel_exe.py --testcase_alg crux --model_name qwen-coder-plus
# python parallel_exe.py --testcase_alg ht --model_name qwen-coder-plus
# python parallel_exe.py --testcase_alg algo --model_name qwen-coder-plus
# python parallel_exe.py --testcase_alg predo --model_name qwen-coder-plus

# python parallel_exe.py --testcase_alg lcb --model_name claude4
# python parallel_exe.py --testcase_alg crux --model_name claude4
# python parallel_exe.py --testcase_alg ht --model_name claude4
# python parallel_exe.py --testcase_alg algo --model_name claude4
# python parallel_exe.py --testcase_alg predo --model_name claude4

# python parallel_exe.py --testcase_alg lcb --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg crux --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg ht --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg algo --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg predo --model_name qwen3-nothink

# python parallel_exe.py --testcase_alg lcb --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg crux --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg ht --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg algo --model_name qwen3-nothink
# python parallel_exe.py --testcase_alg predo --model_name qwen3-nothink

## Step 3
# python parallel_exe.py --testcase_alg predo --model_name claude-sonnet-4-20250514-thinking
# python parallel_exe.py --testcase_alg predo --model_name deepseek-v3
# python parallel_exe.py --testcase_alg predo --model_name Qwen2.5-32B-Instruct
# python parallel_exe.py --testcase_alg predo --model_name Qwen2.5-14B-Instruct
# python parallel_exe.py --testcase_alg predo --model_name Qwen2.5-7B-Instruct
# python parallel_exe.py --testcase_alg predo --model_name Qwen2.5-Coder-32B-Instruct
# python parallel_exe.py --testcase_alg predo --model_name Qwen2.5-Coder-14B-Instruct
# python parallel_exe.py --testcase_alg predo --model_name Qwen2.5-Coder-7B-Instruct


# 定义算法列表
# test_als=("lcb" "ht" "algo" "crux" "predo")
test_als=("lcb" "ht")
# 定义模型列表 
model_name_list=(
    # "claude-sonnet-4-20250514-thinking"
    # "deepseek-v3"
    # "qwen3-nothink"
    # "claude4"
    # "gpt-4o"
    "qwen-coder-plus"
    # "Qwen2.5-7B-Instruct"
    # "Qwen2.5-14B-Instruct"
    # "Qwen2.5-32B-Instruct"
    # "Qwen2.5-Coder-7B-Instruct"
    # "Qwen2.5-Coder-14B-Instruct"
    # "Qwen2.5-Coder-32B-Instruct"
)

# 双层循环执行
for alg in "${test_als[@]}"; do
    for model in "${model_name_list[@]}"; do
        echo "Running testcase_alg=$alg model_name=$model"
        python parallel_exe.py \
            --testcase_alg "$alg" \
            --model_name "$model"
    done
done