Zbiór danych: Clef-flash na polskich i angielskich poleceniach

Pomiar z 2–3 października 2026: 5948 decyzji otwartego klasyfikatora Clef-flash (Cloudflare) dla całej części testowej zbioru MASSIVE 1.1, czyli 2974 par tych samych krótkich poleceń po polsku i po angielsku (analiza główna na 1000 par, pozostałe 1974 jako uzupełnienie), przy wyborze jednej z 60 intencji. Trafność, kalibracja pewności, liczba tokenów wejścia i koszt w Workers AI.

Pomiar: 2–3 października 2026 · Wyniki i wnioski: Clef od Cloudflare po polsku: trafność i koszt w pomiarze na 2974 poleceniach · Metoda i ograniczenia: README.md

Pliki zbioru

• Metoda (README.md)

  Pytanie badawcze, model i środowisko, budowa pytania do modelu, miary, wynik w tabeli i ograniczenia pomiaru.

• Protokół (protokol.md)

  Plan analizy spisany przed pomiarem, z regułą wyboru próby po pilocie i dziennikiem zmian, w tym z wpisem o utracie pierwszego przebiegu.

• Decyzje (decyzje.jsonl)

  2000 rekordów, jeden na decyzję modelu: zdanie, język, etykieta, przewidziana intencja, pewność, prawdopodobieństwo poprawnej etykiety, suma kwadratów prawdopodobieństw, tokeny wejścia i czas.

• Wyniki (wyniki.json)

  Podsumowanie analizy głównej (1000 par) dla obu języków: trafność, makro-F1, ECE, wynik Briera, tokeny, koszt 10 tys. decyzji, różnica PL−EN z przedziałem ufności, test McNemara i osobno analizy po fakcie (m.in. decyzje z pewnością od 0,9).

• Decyzje, uzupełnienie (decyzje-uzupelnienie.jsonl)

  3948 rekordów dla 1974 par części testowej spoza analizy głównej, w tym samym formacie co decyzje.jsonl.

• Wyniki uzupełnienia (wyniki-uzupelnienie.json)

  Te same miary osobno dla 1974 nowych par i dla całej części testowej (2974 pary) oraz sprawdzenie analiz po fakcie na nowych parach: progi pewności, pasmo 0,90–0,95 z przedziałem ufności, rzadkie i częste intencje, rozkład wyniku Briera.

• Rozmiar pytań (tokeny-schematu.json)

  Liczba tokenów wejścia przy pytaniu z 60 opcjami, 18 opcjami i pytaniu tak/nie, policzona samym tokenizerem, bez uruchamiania modelu.

• Skrypt pomiaru (pomiar.py)

  Uruchamia Clef-flash na parach zdań i zapisuje każdą decyzję z pełnym rozkładem prawdopodobieństw.

• Skrypt analizy (analiza.py)

  Z surowego zapisu (pelny.jsonl, z pełnymi rozkładami prawdopodobieństw) liczy miary ustalone w protokole.

• Przygotowanie zbioru (przygotuj.py)

  Tworzy wyniki.json, razem z analizami po fakcie, z opublikowanego pliku decyzje.jsonl. U autora wcześniej buduje decyzje.jsonl z surowego zapisu (pelny.jsonl, około 10 MB, niepublikowany).

• Skrypt rozmiaru pytań (tokeny_schematu.py)

  Liczy tokeny wejścia dla trzech rozmiarów pytania.

• Próba (ids-proba.txt)

  Identyfikatory 1000 par z części testowej MASSIVE 1.1, wylosowane z ziarnem 20261002.

• Cała część testowa (ids-pelny.txt)

  Identyfikatory wszystkich 2974 par części testowej, w kolejności pomiaru.

• Skrypt uzupełnienia (uzupelnienie.py)

  Tworzy wyniki-uzupelnienie.json z decyzje.jsonl i decyzje-uzupelnienie.jsonl, bez zmiany analizy głównej.

• Próba pilotażowa (ids-pilot.txt)

  Identyfikatory 100 par pilota.

Jak czytać te dane

W decyzje.jsonl jeden rekord to jedna decyzja modelu dla jednego zdania w jednym języku. Pole przewidziana to intencja wybrana przez Clef-flash, pewnosc to jej prawdopodobieństwo, a p_etykiety i suma_p2 pozwalają przeliczyć wynik Briera bez pełnego rozkładu. Pary łączy pole id. Podsumowanie analizy głównej (1000 par) jest w wyniki.json, pozostałe 1974 pary części testowej są w decyzje-uzupelnienie.jsonl, a wyniki tych par i całej części w wyniki-uzupelnienie.json. Plan analizy, spisany przed pomiarem, jest w protokol.md. Pomiar dotyczy krótkich, tłumaczonych poleceń do asystenta głosowego, nie zgłoszeń klientów.

Licencja

Pliki własne badania (decyzje, wyniki, skrypty, protokół, metoda): CC BY 4.0, z uznaniem autorstwa „Robert Marczyński, ekspertodsztucznejinteligencji.pl”. Zdania pochodzą ze zbioru MASSIVE 1.1 (© Amazon.com, Inc. or its affiliates, CC BY 4.0; FitzGerald i in., 2022), który powstał z angielskich danych SLURP (CC BY 4.0). Zmiany: użyto całej części testowej (2974 pary, z tego 1000 w analizie głównej), zmieniono nazwy pól i dołączono wyniki modelu; treści zdań ani etykiet nie zmieniono. Cloudflare udostępnia model Clef-flash na licencji Apache 2.0.