EmbeddingGemma 2 po polsku: wyszukiwanie w dokumentach na własnym komputerze w pomiarze na 483 pytaniach

Krótka odpowiedź: EmbeddingGemma 2 po polsku działa dobrze jako lokalna wyszukiwarka fragmentów dokumentów, przynajmniej na 90 tekstach tego serwisu, które sam napisałem, ale nie lepiej niż starszy multilingual-e5-small z trzykrotnie mniejszym plikiem wag. W pomiarze z 7 października 2026 model uruchomiony na moim laptopie wskazał właściwy tekst w pierwszej piątce dla 379 z 423 pytań z sekcji FAQ (89,6%) i dla 58 z 60 pytań potocznych (96,7%). Model multilingual-e5-small o 118 mln parametrów dał 89,8% i 96,7%, a wyszukiwanie po słowach (BM25) 74,7% i 91,7%. Przewaga obu modeli nad BM25 brała się z pytań zadanych innymi słowami niż tekst; przy pytaniach potocznych, które zwykle zawierają słowa z tytułu, różnic nie da się odróżnić od przypadku. Najwięcej zmieniał format wejścia: gdy e5-small dostawał akapit bez tytułu tekstu, spadał do 74,9%. Zakodowanie 1633 akapitów trwało 31 sekund, zakodowanie jednego pytania średnio 2,7 ms, a plik wag ma 1,49 GB. Mierzyłem wyłącznie tekst; obrazów ani nagrań, które model też obsługuje, nie sprawdzałem. Korpus, pytania, skrypty i rankingi są w zbiorze danych badania.

Co zmierzyłem 7 października 2026

Sprawdziłem, czy polskie pytanie zadane modelowi EmbeddingGemma 2 prowadzi do właściwego tekstu w zbiorze 90 polskich tekstów, i porównałem wynik z BM25 oraz z modelem multilingual-e5-small. Google udostępnił EmbeddingGemma 2 dzień wcześniej, 6 października 2026, na licencji Apache 2.0. Model ma 740 mln parametrów, z czego 270 mln obsługuje tekst, a reszta obraz i dźwięk. Zwraca wektory o 768 wymiarach, które można obciąć do 512, 256 albo 128, i przyjmuje do 8192 tokenów. Karta modelu mówi o ponad 100 językach, ale nie podaje ich listy i nie wymienia polskiego.

Model uruchomiłem na Macu z procesorem M5 Pro i 48 GB pamięci, przez bibliotekę sentence-transformers w wersji 6.1.0, z wagami pobranymi z Hugging Face. Załadował się w precyzji bfloat16, razem z nieużywanymi enkoderami obrazu i dźwięku, bo tak robi domyślna konfiguracja; w pamięci było 744 mln parametrów. Do pytań użyłem promptu SearchQuery z konfiguracji modelu, a każdy akapit podałem w formacie z karty modelu, „title: tytuł tekstu | text: akapit”, bez dodatkowego promptu. Model e5-small dostał tytuł i akapit z przedrostkiem „passage: ”, a BM25 tytuł i akapit jako jeden dokument. Żadnego API nie wywoływałem.

Korpus to 90 tekstów tego serwisu w stanie z 7 października 2026: 38 wpisów na blogu, 43 odpowiedzi i 9 stron usług. Podzieliłem je na akapity i odrzuciłem nagłówki, tabele, kod i akapity krótsze niż 15 słów. Zostały 1633 akapity, od 88 do 1801 znaków, mediana 346. Wyszukiwanie oceniałem na poziomie tekstu: wynik tekstu to najwyższe podobieństwo spośród jego akapitów.

Pytania są dwojakie. Pierwszy zestaw to komplet 423 pytań z sekcji FAQ tych tekstów; trafny jest tekst, z którego pytanie pochodzi. Drugi zestaw to 60 pytań potocznych, które spisałem przed pomiarem tak, jak wpisuje się je w wyszukiwarkę: „ile bierze konsultant AI”, „pracownicy używają ChatGPT bez wiedzy szefa”. Dla 12 z nich trafne są dwa lub trzy teksty. Miary ustaliłem przed uruchomieniem: Hit@5, czyli odsetek pytań z trafnym tekstem w pierwszej piątce, Recall@5 oraz MRR@10, czyli średnią odwrotność pozycji pierwszego trafnego tekstu. Jako punkty odniesienia wybrałem BM25 w najprostszej postaci, bez odmiany słów, oraz multilingual-e5-small, model o 384 wymiarach opisany w raporcie technicznym z lutego 2024 roku. Karta tego modelu wymienia polski wśród 100 obsługiwanych języków.

Wyniki: EmbeddingGemma 2 wobec BM25 i e5-small

Na pytaniach z FAQ EmbeddingGemma 2 wskazał właściwy tekst w pierwszej piątce dla 89,6% pytań, multilingual-e5-small dla 89,8%, a BM25 dla 74,7%. Na pytaniach potocznych oba modele dały 96,7%, BM25 91,7%. Pełne liczby z pomiaru z 7 października 2026:

Różnica wobec BM25 na FAQ jest duża; w dokładnym teście dwumianowym na parach niezgodnych, opisanym w zbiorze danych, nie da się jej wytłumaczyć przypadkiem. Spośród 423 pytań EmbeddingGemma 2 trafił tam, gdzie BM25 nie trafił, 79 razy, a odwrotnie zdarzyło się 16 razy; 28 pytań przegrały oba systemy. Na pierwszym miejscu właściwy tekst stawiał dla 266 pytań, BM25 dla 198. Poza pierwszą dziesiątką właściwy tekst wylądował u niego 24 razy, u BM25 74 razy.

Różnicy wobec e5-small nie widać. Na FAQ EmbeddingGemma 2 wygrał z nim 20 razy i przegrał 21 razy, a e5-small częściej stawiał właściwy tekst na pierwszym miejscu (276 wobec 266) i miał wyższy MRR. Na 60 pytaniach potocznych oba modele trafiły w te same 58 pytań; właściwy tekst na pierwszym miejscu miał e5-small dla 51 pytań, EmbeddingGemma 2 dla 46, BM25 dla 43. Przy 12 pytaniach z więcej niż jednym trafnym tekstem EmbeddingGemma 2 znalazł w pierwszej piątce średnio 79% trafnych tekstów, e5-small 78%, BM25 61%.

Wobec BM25 na pytaniach potocznych EmbeddingGemma 2 wygrał cztery razy, przegrał raz, a jedno pytanie przegrały oba. Przy pięciu parach niezgodnych różnicy nie da się odróżnić od przypadku; przedział Wilsona dla 58 trafień z 60 sięga od 88,6% do 99,1%. Pytania nie są próbą losową, więc te liczby opisują tylko ten zestaw. Obcięcie wektorów z 768 do 256 wymiarów kosztowało na FAQ 0,9 punktu procentowego (11 pytań straconych, 7 zyskanych), a na pytaniach potocznych nic. Indeks skurczył się trzykrotnie, z 5,0 MB do 1,7 MB.

To drugi przebieg z tego dnia. W pierwszym akapity dla EmbeddingGemma 2 dostały podwójny przedrostek: prompt Document, który sam wstawia pusty tytuł, i mój format z tytułem; e5-small dostał sam akapit, bez tytułu. Błąd znalazłem przy przeglądzie skryptu przed publikacją i powtórzyłem pomiar. EmbeddingGemma 2 na podwójny przedrostek prawie nie zareagował: 90,3% w pierwszym przebiegu wobec 89,6% w drugim na FAQ. Model e5-small bez tytułu miał 74,9% na FAQ i 83,3% na pytaniach potocznych, czyli tyle co BM25 albo mniej. Tytuł przy akapicie zmienił więc wynik tego modelu o 15 punktów procentowych na FAQ i o 13 na pytaniach potocznych, więcej niż jakakolwiek różnica między modelami. Oba przebiegi są w zbiorze danych.

Gdzie model trafia, a gdzie się myli

W rankingach zapisanych 7 października 2026 EmbeddingGemma 2 wygrywał z BM25 tam, gdzie pytanie i tekst mówią o tym samym innymi słowami, a przegrywał tam, gdzie pytanie bez kontekstu artykułu nie znaczy nic.

Pytanie „Czy agenci AI realnie odwiedzają strony firmowe?” BM25 skierował do tekstu o liczbie użytkowników ChatGPT w Polsce; oba modele postawiły na pierwszym miejscu tekst o agentach AI w przeglądarce, z którego pytanie pochodzi. Przy pytaniu potocznym „po czym poznać dobrego doradcę od AI” BM25 nie miał trafnego tekstu w pierwszej dziesiątce. U EmbeddingGemma 2 pierwsza była strona usługi doradztwa AI, a na drugim miejscu odpowiedź o wyborze konsultanta; e5-small postawił tę odpowiedź na pierwszym miejscu. Pytanie „kto w Polsce kontroluje firmy w sprawie AI” BM25 skierował do tekstu o najlepszym ekspercie od AI w Polsce. EmbeddingGemma 2 miał trafny tekst o ustawie o sztucznej inteligencji dopiero na piątym miejscu, a na pierwszym tekst o shadow AI w polskich firmach.

Odwrotne przypadki są rzadsze. Pytania z FAQ „Czy to nowe badanie z 2026 roku?” i „Czy można powtórzyć pomiar bez karty graficznej?” mają sens tylko pod konkretnym artykułem. BM25 trafił w oba na pierwszym miejscu, EmbeddingGemma 2 w żadne w pierwszej piątce. W takich pytaniach o wyniku decydują dokładne słowa, bo znaczenia do porównania w nich nie ma. Tak wygląda też część z 28 pytań FAQ przegranych przez oba systemy, na przykład „Czy w Polsce jest lepiej niż w Stanach?” z tekstu o agentach zakupowych. Jedyne pytanie potoczne przegrane przez oba brzmi „czy bot na stronie musi mówić że jest sztuczną inteligencją” (cytuję bez przecinka, tak jak zapisałem je przed pomiarem). EmbeddingGemma 2 skierował je do tekstu o cenie chatbota, a e5-small do tekstu o botach AI i JavaScripcie; żaden z trzech systemów nie trafił w pierwszej piątce w teksty o oznaczaniu treści AI i o obowiązkach z AI Act.

Część pudeł to trafienia w tekst pokrewny. Dwa pytania z tekstu o shadow AI EmbeddingGemma 2 skierował do odpowiedzi o obowiązku szkolenia pracowników, a BM25 pytanie potoczne o koszt wdrożenia agenta do tekstu o koszcie wdrożenia AI. Etykieta w pomiarze jest jedna, więc takie odpowiedzi liczą się jako błąd, choć czytelnik dostałby sensowny tekst. Najwięcej pudeł, po trzy, zebrały odpowiedzi o RODO, o obowiązkach z AI Act od 2 sierpnia 2026 i o zastosowaniach AI w firmie oraz tekst o shadow AI. To teksty, które dzielą temat z kilkoma innymi w serwisie.

Ile czasu, pamięci i miejsca na dysku potrzebuje EmbeddingGemma 2

W pomiarze z 7 października 2026 EmbeddingGemma 2 zakodował na moim komputerze 1633 akapity w 31 sekund, czyli około 50 akapitów na sekundę. Zakodowanie jednego pytania zajmowało średnio 2,7 ms przy kodowaniu partiami po 32. Porównania z indeksem nie mierzyłem osobno, a 2,5 ms przy 256 wymiarach to to samo kodowanie, więc różnica to rozrzut pomiaru. Z lokalnej kopii model ładował się od 6 do 8 sekund. Dla porównania e5-small kodował około 350 akapitów na sekundę, a BM25 zbudował indeks w 0,04 sekundy.

Czas ładowania EmbeddingGemma 2 w tabeli pochodzi z przebiegu 1 i z przebiegu kontrolnego (7,7 s i 5,6 s). W przebiegu 2 ładowanie trwało 938 sekund, bo komputer w tym czasie zasnął: dziennik zasilania macOS pokazuje uśpienie o 18:26 i wybudzenie o 18:41. To artefakt pomiaru, nie cecha modelu; ładowanie bez sieci z lokalnej kopii trwa około 2 sekund.

Pamięć trzeba liczyć ostrożnie. Wagi EmbeddingGemma 2 w pobranym pliku zajmują 1,49 GB, bo zawierają też enkodery obrazu i dźwięku; plik e5-small ma 471 MB. Cały proces pomiaru zajmował szczytowo 1,8 GB, ale w tym samym procesie wcześniej pracował e5-small, więc to górna granica. Google podaje około 191 MB aktywnej pamięci dla samych wag tekstowych i około 567 MB dla całego modelu po kwantyzacji na telefonie Pixel 11 Pro; to inna konfiguracja, której w pomiarze nie odtwarzałem. Indeks 1633 akapitów to 5,0 MB w 768 wymiarach i 1,7 MB w 256; dla 100 tysięcy akapitów będzie to odpowiednio około 300 MB i 100 MB.

Pierwszy przebieg powtórzyłem tego samego dnia z dodatkową kontrolą, czy wektory nie zawierają wartości nieskończonych; miary wyszły identyczne. Trzeci przebieg, z poprawionym wejściem i zapisem dziesięciu pierwszych tekstów z podobieństwami dla każdego pytania, dał miary identyczne z drugim. Ostrzeżenia biblioteki numpy o dzieleniu przez zero, które pojawiły się w logu, pochodzą z biblioteki Accelerate w macOS i występują także dla losowych macierzy; opisuję je w metodzie w zbiorze danych.

Czego ten pomiar nie rozstrzyga

Ten pomiar nie rozstrzyga, jak EmbeddingGemma 2 poradzi sobie z archiwum firmy. Objął jeden korpus i sam tekst, a zrobiłem go jednego dnia. Teksty napisałem sam, spójnym słownictwem, bez skanów, e-maili i literówek. Pytania z FAQ też pisałem ja, więc dzielą z tekstami słownictwo, co może pomagać wszystkim trzem systemom, choć nie musi w równym stopniu. Zestaw pytań potocznych liczy 60 pozycji; wystarcza, żeby zobaczyć kierunek, ale nie rozstrzyga o kilku punktach procentowych.

BM25 był w najprostszej wersji, bez odmiany polskich słów i bez listy stopu; z lematyzacją mógłby wypaść lepiej, czego nie mierzyłem. Nie mierzyłem podziału na mniejsze fragmenty, rerankingu ani jakości odpowiedzi pisanej na podstawie znalezionych akapitów. Od tych etapów zależy, co użytkownik dostanie, o czym piszę przy przygotowaniu danych do wdrożenia. Enkodery obrazu i dźwięku były załadowane, ale nieużywane; o skanach i nagraniach ten pomiar nie mówi nic. Błąd wejścia z pierwszego przebiegu pokazuje też, jak łatwo porównać modele w nierównych warunkach i nie zauważyć tego w wynikach. Mierzyłem tylko model embeddingów; to, czy pozostałe narzędzia procesu wysyłają dane do sieci, trzeba sprawdzić osobno.

Jak zmierzyć EmbeddingGemma 2 na własnych dokumentach i co z tego dla firmy

Najwięcej powie pomiar na własnych dokumentach i własnych pytaniach, a u mnie przygotowanie zajęło dzień. Skrypt budowy korpusu z mojego zbioru danych działa na katalogu plików Markdown z frontmatterem w formacie tego serwisu (tytuł i pytania FAQ). Potrzebne są Python, biblioteka sentence-transformers od wersji 6.1.0 i około 2 GB miejsca na wagi. Kolejność, którą stosuję:

1. Zbierz 50 prawdziwych pytań ze zgłoszeń, czatu albo skrzynki i dla każdego wskaż z góry dokument, który powinien się pojawić. Tego kroku nie da się pominąć.
2. Podaj modelowi tytuł dokumentu razem z każdym akapitem. W moim pomiarze e5-small bez tytułu tracił 15 punktów procentowych.
3. Podziel dokumenty na akapity i zakoduj je raz; przy 100 tysiącach akapitów na podobnym laptopie zajmie to EmbeddingGemma 2 około pół godziny, a e5-small około pięciu minut.
4. Policz Hit@5 dla modelu embeddingów i dla BM25. Jeśli BM25 wygrywa albo remisuje, pytania zawierają słowa z dokumentów i model nie jest potrzebny.
5. Porównaj dwa modele, zanim wybierzesz większy. Model e5-small dał u mnie ten sam wynik przy trzykrotnie mniejszym pliku wag; EmbeddingGemma 2 ma sens, gdy w grę wchodzą obrazy albo nagrania, czego ten pomiar nie obejmował.
6. Jeśli miejsce ma znaczenie, sprawdź wariant 256 wymiarów, który na pytaniach z FAQ kosztował niecały punkt procentowy.
7. Zanim dane wyjdą poza komputer, sprawdź, co z nimi robią pozostałe narzędzia procesu.

Dla firmy, która nie może wysyłać dokumentów do zewnętrznego API, zmienia to rachunek z tekstu o własnym modelu a API. Etap wyszukiwania można zostawić na własnym sprzęcie bez kosztu wynajmu maszyny, a do API wysyłać tylko to, co trafi do odpowiedzi. Ten sam etap wpływa na rachunek za chatbota dla firmy: im więcej fragmentów trafia do pytania, tym droższa każda odpowiedź. Obowiązki z RODO zostają, o czym piszę przy RODO a AI w firmie. Podobnie mierzyłem w pomiarze Clef po polsku klasyfikator Cloudflare, tyle że tam sprawdzałem rozpoznawanie intencji poleceń.