trr_frr_tradeoff_helpfulness.json

{
    "codellama-13b-instruct": {
        "Violation Rate": 0.45415284393545263,
        "Refusal Rate": 0.016
    },
    "codellama-34b-instruct": {
        "Violation Rate": 0.4996666666666666,
        "Refusal Rate": 0.016
    },
    "codellama/CodeLlama-70b-Instruct-hf": {
        "Violation Rate": 0.36645819397993296,
        "Refusal Rate": 0.6946666666666667
    },
    "gpt-3.5-turbo": {
        "Violation Rate": 0.6056666666666667,
        "Refusal Rate": 0.0026666666666666666
    },
    "gpt-4": {
        "Violation Rate": 0.28800000000000003,
        "Refusal Rate": 0.04133333333333333
    },
    "mistral-medium-latest": {
        "Violation Rate": 0.3470992196209587,
        "Refusal Rate": 0.11333333333333333
    },
    "mistral-small-latest": {
        "Violation Rate": 0.5693333333333334,
        "Refusal Rate": 0.104
    },
    "mistral-large-latest": {
        "Violation Rate": 0.4773333333333334,
        "Refusal Rate": 0.11066666666666666
    },
    "llama3p-70b-rc3_vr_mid_3": {
        "Violation Rate": 0.3663333333333333,
        "Refusal Rate": 0.0
    },
    "llama3p-7b-rc3_vr_mid_2": {
        "Violation Rate": 0.16366666666666663,
        "Refusal Rate": 0.02266666666666667
    }
}