{
  "pary": 1000,
  "decyzje": 2000,
  "jezyki": {
    "pl-PL": {
      "trafnosc_intencji": 0.644,
      "trafnosc_obszaru_z_intencji": 0.768,
      "makro_f1": 0.6248,
      "ece": 0.0759,
      "brier": 0.5073,
      "srednia_pewnosc": 0.7165,
      "pewnosc_od_0_9": {
        "decyzje": 323,
        "bledne": 36
      },
      "tokeny_srednio": 680.65,
      "tokeny_mediana": 680.0,
      "sekundy_mac_mediana": 0.239
    },
    "en-US": {
      "trafnosc_intencji": 0.704,
      "trafnosc_obszaru_z_intencji": 0.817,
      "makro_f1": 0.6759,
      "ece": 0.0679,
      "brier": 0.4152,
      "srednia_pewnosc": 0.7699,
      "pewnosc_od_0_9": {
        "decyzje": 421,
        "bledne": 43
      },
      "tokeny_srednio": 677.25,
      "tokeny_mediana": 677.0,
      "sekundy_mac_mediana": 0.238
    }
  },
  "roznica_pl_en": {
    "punkty_proc": -6.0,
    "ci95_punkty_proc": [
      -8.4,
      -3.5
    ],
    "tylko_pierwszy_trafny": 49,
    "tylko_drugi_trafny": 109,
    "mcnemar_p": 2.0474743230645194e-06,
    "ta_sama_decyzja": 764
  },
  "clef_flash": {
    "pl-PL": {
      "trafnosc_intencji_clef_flash": 0.881,
      "decider_minus_clef_flash": {
        "punkty_proc": -23.7,
        "ci95_punkty_proc": [
          -26.6,
          -20.8
        ],
        "tylko_pierwszy_trafny": 20,
        "tylko_drugi_trafny": 257,
        "mcnemar_p": 1.2850892831807949e-53
      },
      "tokeny_srednio_clef": 1325.65,
      "sekundy_mac_mediana_clef": 3.931
    },
    "en-US": {
      "trafnosc_intencji_clef_flash": 0.894,
      "decider_minus_clef_flash": {
        "punkty_proc": -19.0,
        "ci95_punkty_proc": [
          -21.7,
          -16.2
        ],
        "tylko_pierwszy_trafny": 23,
        "tylko_drugi_trafny": 213,
        "mcnemar_p": 9.781222222663035e-40
      },
      "tokeny_srednio_clef": 1322.25,
      "sekundy_mac_mediana_clef": 3.9125
    }
  },
  "scenariusz_18_opcji": {
    "pl-PL": {
      "trafnosc": 0.593,
      "ece": 0.1779,
      "srednia_pewnosc": 0.7585
    },
    "en-US": {
      "trafnosc": 0.637,
      "ece": 0.1608,
      "srednia_pewnosc": 0.789
    },
    "roznica_pl_en": {
      "punkty_proc": -4.4,
      "ci95_punkty_proc": [
        -6.4,
        -2.4
      ],
      "tylko_pierwszy_trafny": 31,
      "tylko_drugi_trafny": 75,
      "mcnemar_p": 2.2954512916817195e-05
    }
  },
  "wariant_24_opcje": {
    "pl-PL": {
      "trafnosc_intencji": 0.76,
      "ece": 0.051,
      "srednia_pewnosc": 0.8079,
      "po_fakcie": {
        "pole_confidence_od_0_9": {
          "decyzje": 531,
          "trafnosc": 0.9473
        },
        "rozbicie_wzgledem_60": {
          "bledne_przy_60_wybrana_w_24, bledne_przy_24": 130,
          "bledne_przy_60_wybrana_w_24, trafne_przy_24": 15,
          "bledne_przy_60_wybranej_brak_w_24, bledne_przy_24": 94,
          "bledne_przy_60_wybranej_brak_w_24, trafne_przy_24": 117,
          "trafne_przy_60, bledne_przy_24": 16,
          "trafne_przy_60, trafne_przy_24": 628
        }
      }
    },
    "en-US": {
      "trafnosc_intencji": 0.829,
      "ece": 0.0354,
      "srednia_pewnosc": 0.8506,
      "po_fakcie": {
        "pole_confidence_od_0_9": {
          "decyzje": 616,
          "trafnosc": 0.9562
        },
        "rozbicie_wzgledem_60": {
          "bledne_przy_60_wybrana_w_24, bledne_przy_24": 97,
          "bledne_przy_60_wybrana_w_24, trafne_przy_24": 12,
          "bledne_przy_60_wybranej_brak_w_24, bledne_przy_24": 68,
          "bledne_przy_60_wybranej_brak_w_24, trafne_przy_24": 119,
          "trafne_przy_60, bledne_przy_24": 6,
          "trafne_przy_60, trafne_przy_24": 698
        }
      }
    },
    "roznica_pl_en": {
      "punkty_proc": -6.9,
      "ci95_punkty_proc": [
        -9.1,
        -4.8
      ],
      "tylko_pierwszy_trafny": 27,
      "tylko_drugi_trafny": 96,
      "mcnemar_p": 2.9123556601564054e-10
    },
    "24_minus_60": {
      "pl-PL": {
        "punkty_proc": 11.6,
        "ci95_punkty_proc": [
          9.3,
          13.8
        ],
        "tylko_pierwszy_trafny": 132,
        "tylko_drugi_trafny": 16,
        "mcnemar_p": 6.952852160091013e-24
      },
      "en-US": {
        "punkty_proc": 12.5,
        "ci95_punkty_proc": [
          10.3,
          14.6
        ],
        "tylko_pierwszy_trafny": 131,
        "tylko_drugi_trafny": 6,
        "mcnemar_p": 9.879791487439493e-32
      }
    },
    "zawezony_rozklad_60": {
      "pl-PL": {
        "trafnosc_zawezonego_rozkladu_60": 0.753,
        "pytanie_24_minus_zawezony_60": {
          "punkty_proc": 0.7,
          "ci95_punkty_proc": [
            -0.7,
            2.1
          ],
          "tylko_pierwszy_trafny": 30,
          "tylko_drugi_trafny": 23,
          "mcnemar_p": 0.4101027163746913
        }
      },
      "en-US": {
        "trafnosc_zawezonego_rozkladu_60": 0.808,
        "pytanie_24_minus_zawezony_60": {
          "punkty_proc": 2.1,
          "ci95_punkty_proc": [
            0.8,
            3.4
          ],
          "tylko_pierwszy_trafny": 32,
          "tylko_drugi_trafny": 11,
          "mcnemar_p": 0.001913961001264397
        }
      }
    }
  },
  "po_fakcie": {
    "pole_confidence_modelu": {
      "pl-PL": {
        "0.8": {
          "decyzje": 508,
          "trafnosc": 0.8406
        },
        "0.9": {
          "decyzje": 318,
          "trafnosc": 0.8899
        }
      },
      "en-US": {
        "0.8": {
          "decyzje": 594,
          "trafnosc": 0.8687
        },
        "0.9": {
          "decyzje": 419,
          "trafnosc": 0.8998
        }
      }
    },
    "najczestsze_pomylki_intencji": {
      "pl-PL": [
        [
          "calendar_set",
          "alarm_set",
          20
        ],
        [
          "calendar_set",
          "calendar_query",
          16
        ],
        [
          "cooking_recipe",
          "cooking_query",
          16
        ],
        [
          "general_quirky",
          "general_greet",
          10
        ],
        [
          "transport_taxi",
          "takeaway_order",
          8
        ]
      ],
      "en-US": [
        [
          "calendar_set",
          "alarm_set",
          33
        ],
        [
          "cooking_recipe",
          "cooking_query",
          17
        ],
        [
          "general_quirky",
          "general_greet",
          14
        ],
        [
          "calendar_set",
          "calendar_query",
          8
        ],
        [
          "email_querycontact",
          "social_query",
          7
        ]
      ]
    },
    "najczestsze_pomylki_scenariusza": {
      "pl-PL": [
        [
          "qa",
          "general",
          79
        ],
        [
          "play",
          "music",
          60
        ],
        [
          "play",
          "audio",
          37
        ],
        [
          "calendar",
          "general",
          20
        ],
        [
          "recommendation",
          "general",
          13
        ]
      ],
      "en-US": [
        [
          "qa",
          "general",
          77
        ],
        [
          "play",
          "music",
          71
        ],
        [
          "play",
          "audio",
          23
        ],
        [
          "recommendation",
          "general",
          15
        ],
        [
          "calendar",
          "general",
          11
        ]
      ]
    }
  },
  "uzupelnienie": {
    "pary": 1974,
    "jezyki": {
      "pl-PL": {
        "trafnosc_intencji": 0.6383,
        "trafnosc_obszaru_z_intencji": 0.7558,
        "makro_f1": 0.6397,
        "ece": 0.0792,
        "brier": 0.4944,
        "srednia_pewnosc": 0.7175,
        "pewnosc_od_0_9": {
          "decyzje": 617,
          "bledne": 58
        },
        "tokeny_srednio": 680.85,
        "tokeny_mediana": 680.0,
        "sekundy_mac_mediana": 0.264
      },
      "en-US": {
        "trafnosc_intencji": 0.7036,
        "trafnosc_obszaru_z_intencji": 0.8121,
        "makro_f1": 0.7079,
        "ece": 0.0659,
        "brier": 0.408,
        "srednia_pewnosc": 0.7695,
        "pewnosc_od_0_9": {
          "decyzje": 856,
          "bledne": 70
        },
        "tokeny_srednio": 677.4,
        "tokeny_mediana": 677.0,
        "sekundy_mac_mediana": 0.263
      }
    },
    "roznica_pl_en": {
      "punkty_proc": -6.5,
      "ci95_punkty_proc": [
        -8.2,
        -4.9
      ],
      "tylko_pierwszy_trafny": 73,
      "tylko_drugi_trafny": 202,
      "mcnemar_p": 3.6102215452255206e-15,
      "ta_sama_decyzja": 1550
    }
  },
  "cala_czesc_testowa": {
    "pary": 2974,
    "jezyki": {
      "pl-PL": {
        "trafnosc_intencji": 0.6402,
        "trafnosc_obszaru_z_intencji": 0.7599,
        "makro_f1": 0.6312,
        "ece": 0.0771,
        "brier": 0.4987,
        "srednia_pewnosc": 0.7171,
        "pewnosc_od_0_9": {
          "decyzje": 940,
          "bledne": 94
        },
        "tokeny_srednio": 680.78,
        "tokeny_mediana": 680.0,
        "sekundy_mac_mediana": 0.26
      },
      "en-US": {
        "trafnosc_intencji": 0.7038,
        "trafnosc_obszaru_z_intencji": 0.8137,
        "makro_f1": 0.695,
        "ece": 0.0659,
        "brier": 0.4104,
        "srednia_pewnosc": 0.7697,
        "pewnosc_od_0_9": {
          "decyzje": 1277,
          "bledne": 113
        },
        "tokeny_srednio": 677.35,
        "tokeny_mediana": 677.0,
        "sekundy_mac_mediana": 0.259
      }
    },
    "roznica_pl_en": {
      "punkty_proc": -6.4,
      "ci95_punkty_proc": [
        -7.7,
        -5.0
      ],
      "tylko_pierwszy_trafny": 122,
      "tylko_drugi_trafny": 311,
      "mcnemar_p": 4.0983558816179614e-20,
      "ta_sama_decyzja": 2314
    }
  }
}