ZeroKnots TechnologiesMuscleTiger

MuscleTiger forskningsnoter · Nr. 5

Fødevaresøgning på ethvert sprog: oversættelse af forespørgsler, sammenlægning af databaser og hvad vi målte

Du skriver “Spiegelei mit Speck” eller “борщ з м’ясом” ind i en kostdagbog og forventer at se et produkt med kalorier og makronæringsstoffer. De største åbne fødevaredatabaser er for det meste skrevet på engelsk og fransk, mens folk søger på deres eget sprog, med mærkenavne, endelser og tastefejl. Denne note beskriver, hvordan vi byggede fødevaresøgningen i MuscleTiger, hvad vi prøvede, hvad der viste sig at være unødvendigt, og hvad vi målte.

Kort fortalt

Vores fødevaresøgning finder den fødevare, der blev søgt efter, for 92% af forespørgslerne på ni sprog (afsnit 3). Vi søger i fire lister på én gang (vores egen fødevarebase på engelsk og på brugerens sprog, og Open Food Facts på brugerens sprog og på engelsk) og slår rangeringerne sammen med reciprok rangfusion. En forespørgsel på et andet sprog oversættes først til engelsk. Vi brugte først en neural oversætter på enheden og erstattede den derefter med en lille ordbog, lært fra vores egne parallelle fødevarenavne med en ordjusterer af IBM Model 2-familien med en bayesiansk prior, og fra Open Food Facts-taksonomierne. På vores testforespørgsler gengiver ordbogen den engelske referenceoversættelse med en ordstamme-F1 på 0.94 (tysk) og 0.96 (ukrainsk). Dette måler oversættelsen af korte, enkle forespørgsler. Med korrekte oversættelser øger den engelske liste andelen af ukrainske forespørgsler med det rigtige produkt i top fem med 61 point, og yderligere sprog bidrager lidt. Vægtene for de fire lister, som afhænger af hvor stort sproget er i Open Food Facts, forbedrede det tyske og efterlod det ukrainske uændret. En reserveløsning for skrivefejl i oversætteren genvinder omkring halvdelen af de 15 point, en fejl koster.

Vi forklarer fremgangsmåden og de metodefamilier, vi overvejede.

1. Problemet: en forespørgsel på ét sprog, data på flere

En fødevaresøgning skal gøre tre ting godt på samme tid. Den skal forstå en kort og rodet forespørgsel (“chicken breast 200g”, “coca cola zero”, “мигдальне молоко”). Den skal finde et produkt, der har fuldstændige og plausible næringsværdier. Og den skal fungere på personens eget sprog, på en telefon, hurtigt og helst offline.

De data, vi kan bruge, er ujævne. Open Food Facts (OFF) [6], den åbne database over pakkede produkter, rummer millioner af produkter, men et produkts sprog følger det land, hvor det sælges, og bidragydernes vaner. Når man tæller produkter efter deres hovedsprog (OFF, 15. november 2026), fører engelsk og fransk med omkring 1.3 million produkter hver, spansk, tysk og italiensk følger med 230 til 350 tusind, og de mindre sprog, vi understøtter, har mellem 1.7 og 25 tusind (figur 1). En forespørgsel på ukrainsk kan derfor kun besvares på ukrainsk af meget få produkter, mens en forespørgsel på fransk møder en database, der allerede i udgangspunktet er mest fransk.

Stolpediagram på logaritmisk skala over antallet af Open Food Facts-produkter efter hovedsprog, i tusinder: engelsk 1333, fransk 1264, spansk 345, tysk 253, italiensk 233, hollandsk 24.2, polsk 13.9, rumænsk 12.6, dansk 3.7, ukrainsk 1.7.
Figur 1. Produkter i Open Food Facts efter hovedsprog, tusinder, logaritmisk skala. Forskellen mellem det største og det mindste sprog er næsten tre størrelsesordener. Kilde: OFF-søgetjenesten, 15. november 2026.

Vores egen base

Den anden kilde er vores egen base af fødevarer med fuldstændig energi og makronæringsstoffer. Den er en sammenlægning af flere nationale næringsstoftabeller, valgt fordi de er åbne, målt i laboratorier og komplette i makronæringsstoffer. Mange af dens fødevarer har husholdningsportioner som “1 slice”. En fødevare springes over, når en med samme navn allerede findes i basen, og nye rækker tilføjes altid efter de gamle, så et produkts nummer og dets oversættelser aldrig ændrer sig, når en tabel tilføjes.

Da vi senere tilføjede tre tabeller mere, steg andelen af testforespørgsler med det rigtige produkt i top fem med 3 point og på førstepladsen med 2 point; ingen af ændringerne er signifikante. Gevinsten kom hovedsageligt fra almindelige retter, som de nye tabeller beskriver på klart engelsk, såsom lasagne, cappuccino eller græsk yoghurt. Vi udelod én kandidattabel, fordi dens licens har en share-alike-betingelse, som kunne gælde for vores sammenlagte base.

Tabellerne er skrevet på engelsk eller på deres lands sprog, så navnene på de andre sprog måtte laves. De engelske navne er de oprindelige; navnene på de andre sprog blev skabt ved maskinoversættelse og delvist senere rettet af sprogmodel-agenter med automatiske kontroller (en validator afviser et svar, der ændrer tal, enheder eller navnets struktur). Tal i navne bruger et decimalpunktum på alle sprog, både i basen og i forespørgslen, så en forespørgsel med en fedtprocent kan foretrække produktet med netop den procent.

2. Fire lister og én rangering

Designet, vi bruger, er enkelt at beskrive. Hver forespørgsel søges i fire steder:

Hver liste returnerer sin egen rangering, og rangeringerne slås sammen med reciprok rangfusion (RRF) [3]. Et produkt, der optræder højt på flere lister, slår et produkt, der kun er først på én liste:

score(d)  =  ∑s ∈ {A,B,C,D}wsk+ranks(d)(1)\mathrm{score}(d) \;=\; \sum_{s\,\in\,\{A,B,C,D\}} \frac{w_s}{k + \mathrm{rank}_s(d)} \tag{1}

hvor ranks(d)\mathrm{rank}_s(d) er produktets dd placering på listen ss, wsw_s er listens vægt, og kk er en lille konstant, der forhindrer første plads i at dominere. Metoden kræver ingen scorer fra listerne, kun deres rækkefølge, hvilket betyder noget, fordi listerne kommer fra forskellige systemer med ikke-sammenlignelige scorer. Vi valgte den netop af den grund; Cormack et al. rapporterer, at den er konkurrencedygtig med mere avancerede rank-learning-metoder i deres eksperimenter [3].

RRF er en publiceret metode, og vores bidrag er målingen: hvilke lister der skal med, hvordan forespørgslen oversættes, og hvor meget hver liste skal stoles på i hvert sprog.

3. Sådan målte vi

Protokollen:

Nøjagtigheden af hele søgningen

Tallet i resuméet kommer fra en test af søgningen præcis, som den kører i appen. Vi skrev ti forespørgsler på hvert af de ni sprog, appen understøtter ud over engelsk, to af hver type, 90 forespørgsler i alt. Hver forespørgsel gik gennem de samme trin som på en telefon: oversættelse med ordbogen, vores database på engelsk og på forespørgslens sprog, Open Food Facts på begge sprog, hvor produkter, der sælges i landet for det sprog, rykkes frem, og fusionen med appens vægte. Vi læste hele den flettede liste for hver forespørgsel, i gennemsnit omkring tres resultater, og markerede i hånden det første resultat, som en bruger ville acceptere som den fødevare, de mente, efter de samme regler som den blinde bedømmer.

Den søgte fødevare findesAlle forespørgsler (90)Enkelte produkter (65)Retter (25)
et sted på listen92.2%93.8%88.0%
blandt de første ti90.0%90.8%88.0%
blandt de første fem85.6%86.2%84.0%
på førstepladsen66.7%67.7%64.0%

Nøjagtigheden af hele søgningen. Ti forespørgsler på hvert af ni sprog, søgt som i appen. Enkelte produkter er fødevarer, emballerede produkter og drikkevarer; retter omfatter også sammensatte måltider som en ostemad eller havregryn med mælk.

Den søgte fødevare står et sted på listen for 92% af forespørgslerne, blandt de første ti resultater for 90%, blandt de første fem for 86% og på førstepladsen for 67%. Enkelte produkter findes lidt oftere end retter (94% mod 88% et sted på listen). Fejlene er mest mærkevarer, som ingen liste indeholder, og snacks af flere fødevarer, hvor listerne tilbyder ingredienserne men ikke selve snacken. Ti forespørgsler pr. sprog er et lille grundlag: én forespørgsel flytter resultatet for et sprog ti point, så tallene beskriver søgningen som helhed og siger lidt om det enkelte sprog. De følgende afsnit skiller søgningen ad og måler hvert trin på større sæt af forespørgsler på tysk og ukrainsk.

4. Hvad en korrekt oversættelse gør for søgningen

Før vi beskriver vores forsøg på at bygge en god oversætter, målte vi, hvad en god oversættelse er værd. Vi skrev 100 fødevareforespørgsler på ukrainsk (20 hver af almindelige fødevarer, retter, drikke, mærker og uformelle forespørgsler) og oversatte hver i hånden til de andre ni sprog, så oversættelsen er korrekt pr. konstruktion. For hvert sprog søgte vi i Open Food Facts med forespørgslen på det sprog og slog listerne sammen med reciprok rangfusion (ligning 1, lige vægte). Den første konfiguration er kun ukrainsk, den anden tilføjer engelsk, og derefter tilføjede vi fransk, spansk, tysk, italiensk, hollandsk, polsk, rumænsk og dansk, i rækkefølge efter hvor mange produkter sproget har i OFF (figur 2). Relevans blev bedømt blindt af en sprogmodel efter reglerne i afsnit 3, over de samlede top fem for hver konfiguration.

Linjediagram over gevinsten i forhold til en søgning kun på ukrainsk, i point, efterhånden som sprog tilføjes: engelsk, fransk, spansk, tysk, italiensk, hollandsk, polsk, rumænsk og dansk. Top fem: +61, +61, +64, +64, +59, +59, +57, +56, +53. Førstepladsen: +24, +25, +28, +30, +30, +34, +36, +35, +34.
Figur 2. Hundrede ukrainske forespørgsler med korrekte oversættelser til de andre sprog; kun Open Food Facts. Hvert punkt tilføjer et sprog mere til sammenlægningen, i rækkefølge efter sprogets størrelse i OFF, og viser gevinsten i point i forhold til søgningen kun på ukrainsk.

Det første trin er langt det største. Søgning i OFF kun på ukrainsk finder ofte intet: OFF har få ukrainsksprogede produkter (figur 1), og for 47 af de 100 forespørgsler var den ukrainske liste tom. Tilføjelse af den engelske oversættelse øger andelen af forespørgsler med det rigtige produkt i top fem med 61 point og på førstepladsen med 24 point, med 61 forespørgsler vundet og ingen tabt.

De næste sprog ændrer lidt. Fransk lader top fem være uændret (5 forespørgsler vundet, 5 tabt). Spansk og tysk lægger 3 point mere til, inden for støjen. Derefter falder top fem med 11 point fra toppen med alle ti sprog, mens førstepladsen kravler op med yderligere 10 til 12 point. Faldet fra fire til ti sprog i top fem er signifikant på disse forespørgsler (2 vundet, 13 tabt, fortegnstest p = 0.007); stigningen i førstepladsen fra to til ti sprog er ikke (20 vundet, 10 tabt, p = 0.10). Mærkenavne opfører sig anderledes end almindelige fødevarer: med flere lister findes en mærkeforespørgsel oftere (15 point mere i top fem med spansk tilføjet end med engelsk alene), mens almindelige fødevarer findes sjældnere (25 point færre med ti sprog end med engelsk). Tyve forespørgsler pr. type er et lille grundlag, så disse opdelinger er vejledende.

En korrekt oversættelse til engelsk bærer effekten. Hvert yderligere sprog er endnu en forespørgsel til OFF og fortynder, efter de første få, rangeringen.

Retter fra et andet køkken

Skridtet til engelsk betyder mest, når retten kommer fra et andet køkken. Et særskilt sæt med 100 forespørgsler, ti på hvert af de ti sprog, nævnte en velkendt udenlandsk ret, sådan som en bruger ville skrive den: Borschtsch for en tysk bruger, paella, pierogi, tiramisu, stroopwafel, sarmale. Dette er et ældre eksperiment, og forespørgslerne blev oversat af den neurale oversætter, appen dengang brugte (afsnit 5). For de 90 ikke-engelske forespørgsler øgede oversættelse af forespørgslen til engelsk andelen med retten i top fem med 34 point i forhold til en søgning i Open Food Facts på brugerens eget sprog (47 forespørgsler vundet, ingen tabt, p < 0.001). At tilføje flere sprog efter engelsk ændrede intet i top fem, selv når vi på forhånd valgte sproget i det land, retten stammer fra.

Vores lokale base hjalp her: uden dens engelske liste faldt førstepladsen med 8 point på disse forespørgsler (7 tabt, ingen vundet, p = 0.016), fordi basen kender paella, ratatouille eller lasagne og rangerer dem først. For almindelige fødevarer viste den ingen sådan fordel, men at fjerne den gjorde heller ikke søgningen bedre (afsnit 10), så vi beholder den. De resterende fejl var retter, som ingen OFF-liste har under noget navn, såsom sarmale. Sættet har kun omkring tyve forskellige retter, så det beskriver velkendte retter og siger lidt om sjældne.

Matchning betød mere end sprogene

Den enkeltstående største forbedring i hele studiet kom fra at matche ord i den lokale base, uden oversættelse involveret. Den lokale base søges med sin egen matchning, og funktionsord, kasusendelser og decimalkommaer ødelagde den: “soup with mushrooms” på ukrainsk gav intet resultat, fordi matchningen krævede, at hvert ord i forespørgslen blev fundet, som det var skrevet. Ved at vægte forespørgselsord efter hvor sjældne de er (IDF), en Snowball-stemmer for de sprog, der har en, og ét talformat forbedrede vi top-5 på standardsættet med omkring 9% siden studiets start (fortegnstest p = 0.008), og på forespørgsler med præpositioner og ordformer med omkring 12%.

5. Hvorfor vi udskiftede oversætteren

Vi fjernede ML Kit, fordi den oversætter fødevarenavne dårligt. Det er en generel oversætter bygget til sætninger, og et fødevarenavn er få ord uden kontekst: et mærke, en tilstand for produktet, en ret opkaldt efter et sted. Vores base blev først oversat med den, og disse er rigtige poster (de ukrainske og franske oversættelser, med en forklaring for læsere, der ikke taler sproget):

Engelsk navnML Kit-outputHvad gik galt
plain, refrigeratedрівнина, холодильна (ukrainsk)“plain” betyder her usødet, som i plain yoghurt, og blev oversat som “plain” i betydningen landskab; “refrigerated” blev til et adjektiv, der betyder “af et køleskab”
bonelessбезкімнатний (ukrainsk)betyder “uden værelser”; den tilsigtede betydning er “uden ben”
Pad ThaiПодушка тайська (ukrainsk)navnet på retten blev læst som ord: “Thai cushion”
Rice flour, brownРисова борошно, коричневий (ukrainsk)adjektiverne stemmer ikke overens med substantivet “flour”, hvilket er ugrammatisk på ukrainsk
Meringue with chocolate; Ham salad spreadefterladt delvist eller helt uoversat (ukrainsk)de engelske ord bliver i navnet
bunchignon (fransk)en hårknold (frisuren), hvor brødbollen var ment
sauerkrautchouchoune (fransk)et andet ord; det franske ord for sauerkraut er choucroute

Den samme svaghed rammer forespørgsler, hvor et forkert ord betyder et manglende produkt, og den kan ikke rettes lokalt: man kan ikke rette ét ord i en neural model. Der var to mindre grunde: modellerne fylder omkring 40 MB pr. sprog, og SDK'en er en tredjepartskomponent.

De data, vi ejer, peger på et bedre værktøj. Vores base har par af et engelsk navn og dets navn på hvert sprog, en parallel korpus i netop det domæne, vi har brug for. En ordbog kan læres ud fra sådan et korpus.

6. En ordbog lært ved ordjustering

At lære en ordbog ud fra parallel tekst er det gamle problem med ordjustering: at afgøre hvilket ord i den ene sætning der svarer til hvilket ord i den anden. Den klassiske familie er IBM-modellerne fra statistisk maskinoversættelse [1]. Model 1, den simpleste og vores udgangspunkt, behandler et navn på ét sprog som genereret fra ordene i det andet, uden hensyn til rækkefølge. For et engelsk navn e=e1…eme = e_1\ldots e_m og et navn f=f1…flf = f_1\ldots f_l på et andet sprog (med et tomt ord tilføjet) er sandsynligheden for parret

P(e∣f)  =  ϵ(l+1)m∏j=1m∑i=0lt(ej∣fi)(2)P(e \mid f) \;=\; \frac{\epsilon}{(l+1)^m}\prod_{j=1}^{m}\sum_{i=0}^{l} t(e_j \mid f_i) \tag{2}

og tabellen over ordoversættelsessandsynligheder t(e∣f)t(e\mid f), ordbogen, estimeres ved forventnings-maksimering: i hver runde får hvert ordpar i et navnepar en andel af tællingen proportional med den aktuelle sandsynlighed, og andelene normaliseres til nye sandsynligheder. For et kort fødevarenavn er dette en god pasform, fordi der er lidt ordrækkefølge at modellere. Dens kendte svaghed blev beskrevet af Moore [2]: et sjældent ord kan få enhver sandsynlighed, der passer til dets ene sætning, så sjældne ord bliver til “skraldeindsamlere”, der justeres til for mange ord. Moore foreslog at udjævne tællingerne og en bedre initialisering; en bayesiansk prior på oversættelsessandsynlighederne, anvendt ved variationel inferens, er et andet middel [7].

Hvad vi overvejede og målte

Vi sammenlignede vores aligner med dens ablationer, med referenceimplementeringer af to publicerede aligners og med en metode, der slet ingen justeringsmodel har. Hver metode fik de samme navnepar, de samme 5% holdout og den samme måde at gøre justeringer til en ordbog (et ordpar tæller, hvis det er forbundet mindst to gange; hvert ord får sin hyppigste oversættelse). Kvalitet er F1 af ordstammer mellem holdout-navnets ordbogsoversættelse, ord for ord, og dets engelske navn, gennemsnittet over ni sprog (tabel 1). Forskellene er små, så vi rapporterer også i hvor mange af de ni sprog en forskel er tydelig (95% bootstrap-interval af den parrede forskel udelukker nul).

MetodeHvad det erGennemsnitlig F1Mod vores
Dice-koefficientingen justeringsmodel, hvert ord forbindes med det ord, det oftest optræder sammen med0.812dårligere i 7 af 9
IBM Model 1 [1], EMordoversættelsessandsynligheder, ingen ordrækkefølge0.817dårligere i 6 af 9
Model 1 med en Dirichlet-prior [7]variationel Bayes på oversættelsessandsynlighederne0.822dårligere i 4 af 9
Diagonal justeringsprior, EMModel 2 i fast_align-parameteriseringen [5], uden den bayesianske prior0.822dårligere i 6 af 9
Voresdiagonal prior og Dirichlet-prior, to retninger, fællesmængde0.825–
Vores, grow-diag-final-andden samme, forbindelser i begge retninger kombineret med den standardheuristik0.828bedre i 5 af 9, dårligere i 1
fast_align [5]forfatternes implementering, fællesmængde / grow-diag-final-and0.826 / 0.8313 bedre, 2 dårligere / 7 bedre
eflomal [8]HMM med fertilitet, bayesiansk, MCMC-sampling; fællesmængde / grow-diag-final-and0.825 / 0.8282 bedre, 2 dårligere / 7 bedre
SimAlign [10]flersproget BERT-indlejringer, ingen træning på vores navne; tre matchningsmetoder (bedste / iterativ / fællesmængde)0.824 / 0.822 / 0.8122 bedre, 2 dårligere / 1 bedre, 3 dårligere / dårligere i 8

Tabel 1. Justeringsværktøjer sammenlignet på holdout-navne fra vores base, ni sprog. Den sidste kolonne tæller de sprog, hvor forskellen til vores er tydelig. fast_align og eflomal er forfatternes implementeringer.

Den bare Dice-koefficient ligger kun 0.013 bagefter vores, og SimAlign, som ikke kræver træning på vores navne, er på niveau med vores i sin bedste indstilling. På korte, næsten parallelle navne betyder valget af aligner lidt, og det meste af kvaliteten kommer fra selve navnene. Hver af vores ingredienser tilføjer lidt, og den rigtige fast_align med samme fællesmængde giver samme resultat (0.826 mod 0.825), hvilket vi forventer fra en metode med samme design. At kombinere de to retninger med den standardiserede grow-diag-final-and-heuristik i stedet for fællesmængden hjælper omtrent lige så meget som valget af model: mellem en fjerdedel og en halv F1-point for alle tre. Det er en lille gevinst, der er tydelig i de fleste sprog, og vi planlægger at bruge den, næste gang ordbøgerne genopbygges.

At reducere ord til Snowball-stammer før justering sænker F1 (0.818, dårligere i 6 af 9 sprog), og at beholde kun de første fire bogstaver i hvert ord, som Östling og Tiedemann rapporterer som en nyttig tilnærmet stammeføring til maskinoversættelse [8], sænker den langt mere (0.743). Opgaven forklarer forskellen: Östling og Tiedemann måler oversættelsessystemer bygget på justeringerne, mens vi slår enkelte ord i et fødevarenavn op i en ordbog, og her betyder sammenlægning af ordformer, at forskellige fødevarer bliver til én.

Vi kørte ikke Gibbs-samplet fra Mermer og Saraçlar [9] (en fuldt bayesiansk Model 1), IBM-modellerne 3–5, eller de probabilistiske strukturerede forespørgsler fra Darwish og Oard [4], som beholder flere oversættelser pr. ord. Den sidste er et muligt næste skridt, da vores ordbog kun beholder den bedste kandidat.

Hvad vores aligner er

Vores aligner er vores egen implementering af en IBM Model 2 i fast_align-parameteriseringen [5]: sandsynligheden for at et ord justeres til en given position falder med afstanden fra diagonalen (i Model 1 er den ensartet), fordi fødevarenavne har en tendens til at bevare deres ordrækkefølge mellem sprog. Oven på det får oversættelsessandsynlighederne for ord en sparsom Dirichlet-prior med variationel inferens [7], som i fast_align, hvilket forhindrer sjældne ord i at tage sandsynlighed til sig. De faste konstanter (sandsynligheden for at justere et ord til ingenting, styrken af prioren og den indledende stejlhed af diagonalen) er dem, som Dyer et al. rapporterer; fast_align estimerer også stejlheden igen under træningen, og det gør vi ikke. Den trænes i begge retninger, og kun de forbindelser, som begge retninger er enige om, beholdes (fællesmængde), hvilket hæver præcisionen på bekostning af recall. Ord justeres i deres nøjagtige former uden stammeføring: at reducere ord til stammer, hvilket er almindeligt for sprog med rige ordendelser, tabte præcision i vores første forsøg, så sammensatte ord og ord med bindestreg håndteres gennem fraser.

Resultatet er en ordbog i tre lag, som oversætteren anvender fra det længste match på op til tre ord: taksonomiposter, fraser justeret i vores base og enkeltord justeret i vores base. Et ord, der ikke er i ordbogen, såsom et mærke eller en tastefejl, sendes uændret videre, fordi OFF ofte kender det. Hvert sprog er en fil på nogle hundrede kilobyte, mod omkring 40 MB pr. sprog for de neurale modeller. Den virker offline, og hver oversættelse kan spores til en linje i ordbogen og rettes.

Hvor god er oversættelsen

Vi måler oversætteren på to måder. På 5% af navnepar holdt ude fra træningen, oversættes det udenlandske navn ord for ord, og resultatet sammenlignes med det engelske navn via ordstammer; det giver en F1 mellem 0.78 og 0.90 på tværs af de ni sprog. På evalueringsforespørgslerne, hvor vi skrev en engelsk referenceoversættelse sammen med hver forespørgsel, er F1 af ordstammer 0.94 for tysk (88 af 100 forespørgsler identiske i stammer) og 0.96 for ukrainsk (89 af 100).

Disse tal beskriver oversættelsen af korte, almindelige forespørgsler til engelsk. Søgningens egen kvalitet er lavere og måles separat (afsnit 3 og 9). Vi kørte ikke den gamle neurale oversætter på de samme forespørgsler, så vi påstår ikke, at ordbogen er bedre end ML Kit; den er nøjagtig nok på disse forespørgsler, lille, offline og kan rettes.

7. Open Food Facts-taksonomierne: hvad de giver, og hvad de koster

OFF vedligeholder offentlige taksonomier over ingredienser og kategorier: hierarkiske lister, hvor hver post har et engelsk navn og navne og synonymer på mange sprog, skrevet af frivillige. De rummer tusindvis af poster med et engelsk navn, og de er attraktive af tre grunde: oversættelserne er lavet af mennesker og i fødevaredomænet, de indeholder ord, som vores egne navne aldrig bruger (sjældne ingredienser), og de er uafhængige af den maskinoversættelse, der lavede vores navne.

Vanskelighederne:

Træning på taksonomien: en test, der ikke kunne se effekten

Vores første test af at tilføje taksonomiparrene til justeringstræningen viste intet. Vi målte på holdout-navne fra vores egen base og på vores forespørgsler, og oversættelseskvaliteten bevægede sig højst et par tusindedele. Vi konkluderede næsten, at taksonomien kun var nyttig som opslag. Den test kunne ikke se effekten: begge sæt indeholder ord, som vores base allerede kender, mens pointen med taksonomien er at tilføje ord, den ikke har.

Den rimelige test fjerner en tiendedel af taksonomiposterne fra opslagslaget og fra træningen, bygger ordbogen med og uden taksonomitræning og oversætter navnene på de fjernede poster. For sprogene med en stor taksonomi giver træningen to til fire point F1 på alle holdout-navne og fire til fem point på navne med et ord, som vores base mangler, uden tab på navne bestående af kendte ord (figur 3). For sprogene med en lille taksonomi, såsom ukrainsk og rumænsk, ændrer intet sig. Vi tog vores tidlige anbefaling tilbage, og ordbøgerne i appen bygges med taksonomitræning.

Parrede søjler for gevinsten i F1 af ordstammer, i point, fra taksonomitræning. Alle holdout-taksonominavne: tysk +3.7, hollandsk +3.9, polsk +2.1, dansk +2.8. Navne med et ord, som basen mangler: tysk +5.2, hollandsk +4.6, polsk +3.5, dansk +3.9.
Figur 3. Oversættelse af holdout-taksonomiposter (F1 af ordstammer mod det engelske hovednavn), gevinst i point fra at tilføje taksonomipar til justeringstræningen.

Hvor den kan skade. Taksonominavne er kategorilignende, og deres synonymer kan fortrænge en idiomatisk frase, lært fra vores base (“home fries” for en stegt kartoffelret). På de tyske forespørgsler kostede det omkring et point F1 og intet for ukrainsk, en pris vi accepterede for gevinsten på sjældne ord.

8. Vægte for de fire lister efter sprog

I ligning (1) har hver liste en vægt. Vores første vægte var ens for alle sprog, indstillet på ét forespørgselssæt. Men listernes kvalitet varierer mellem sprog. Den indbyggede OFF-liste C er rig på fransk eller tysk og tynd på ukrainsk, hvor den engelske liste D bærer mere af læsset. Det er en naturlig idé at give hvert sprog sine egne vægte, og spørgsmålet er, hvor vi skal få dem fra for ti sprog, når vi har testforespørgsler for to.

Vi overvejede to mål. Det første var andelen af taksonomiposter, der har et navn på sproget. Det er let at beregne, men det måler, hvor godt frivillige har oversat ordforrådet, hvilket påvirker ordbogen, og siger lidt om, hvor mange produkter der har et navn på sproget; dets to kolonner er endda uenige med hinanden (italiensk: 75% af ingredienserne og 28% af kategorierne). Vi brugte det ikke. Det andet var antallet af OFF-produkter pr. sprog i forhold til engelsk, tilgængeligt fra søgetjenesten (figur 1). Det er en proxy, fordi et produkts hovedsprog kan afvige fra sproget i et navnefelt, og det følger stadig det, vi har brug for: hvor sandsynligt det er, at den indbyggede liste kender produktet. Ud fra det udleder vi en vægt for hvert sprog med en glat formel, der giver den indbyggede liste mere vægt, efterhånden som sproget vokser, og vi fastlægger værdierne i en lille opslagstabel i appen.

På de 200 bedømte tyske og ukrainske forespørgsler er effekten tydelig for tysk og fraværende for ukrainsk (figur 4). Tysk MRR stiger med .062 (95% bootstrap-interval af forskellen +.030 til +.099), og førstepladsen med 7 point, mens top fem stiger med 3 point, hvilket er inden for støjen. Ukrainsk MRR falder med .002, fordi de nye vægte ligger tæt på de gamle fælles vægte. Gevinsten for tysk holder i begge halvdele af forespørgslerne, når de deles i ulige og lige.

Søjler for ændringen i MRR med vægte sat pr. sprog i forhold til ét fælles vægtsæt: tysk +0.062, ukrainsk −0.002.
Figur 4. Ændring i MRR på 100 tyske og 100 ukrainske forespørgsler, når ét vægtsæt for alle sprog erstattes af vægte udledt af antallet af OFF-produkter pr. sprog. Formlens konstanter blev valgt på netop disse forespørgsler, så gevinsten er optimistisk; se begrænsningerne.

Formlens konstanter blev sat på netop disse forespørgsler, og vægtene for de andre sprog følger af formlen og er ikke blevet målt.

9. Skrivefejl og ordformer

Ordbogen kender de nøjagtige former af ord. Et ord med en skrivefejl, eller en kasusform den ikke har set, passerer uændret og når de engelske lister som et ord, der ikke betyder noget der. Søgningen i vores lokale base reparerer allerede fejl med et SymSpell-indeks, et indeks over redigeringsafstand, hvor antallet af tilladte rettelser vokser med ordets længde. Det åbne spørgsmål var oversættelsestrinnet, så vi målte, hvad fejlene koster, og hvad en reserveløsning giver.

Trin 1: fejl og ordformer, ord for ord

Vi genopbyggede ordbøgerne for de ni sprog ud fra vores navne og tog fra holdout-navnene de ord, der har en kendt oversættelse. Hvert fik én tilfældig rettelse (et bogstav slettet, indsat, erstattet eller to nabobogstaver byttet). Et opslag inden for den tilladte redigeringsafstand gav oversættelsen af det oprindelige ord for 92.5% af de beskadigede ord, mod 0.3% for det nøjagtige opslag. Hvis det første bogstav skulle matche, som søgningen i den lokale base kan kræve, faldt det til 77%, fordi fejl på første bogstav så overses.

For ordformer tog vi de holdout-ord, som ordbogen ikke kender, og hvis Snowball-stamme er lig med stammen af et kendt ord (for det meste en anden kasus eller et andet tal for et kendt ord). Redigeringsafstand gav en rigtig oversættelse for 55% af dem, en fælles begyndelse af ordet for 63%, og samme stamme for 69%. Kasusendelser ændrer ofte flere bogstaver, hvilket redigeringsgrænsen ikke tillader. De resterende ukendte ord (mærker, sjældne ord, tal) er en risiko: redigeringsafstand svarer for en fjerdedel af dem og har ret i en tredjedel af svarene. Vi bruger kun stammer ved opslag; under træningen sænkede de kvaliteten (afsnit 6).

Trin 2: reserveløsningen på de rigtige ordbøger

Ordbøgerne i appen udelader ord, der skrives ens på begge sprog, så et sådant ord er “ukendt” for reserveløsningen. En simpel reserveløsning ændrede derfor ord, der var rigtige: pizza blev til nicoise, pils blev til mushroom, mærkeordet Krönung blev til curd. På forespørgsler som skrevet faldt ordets F1 for oversættelsen med 3 point. Tre vagter fjerner det meste af skaden: et ord, der selv er et engelsk ord i ordbogen, lades urørt; meget korte ord lades urørt; og den tilladte redigeringsafstand holdes lille. Rækkefølgen er: nøjagtigt opslag, samme stamme, én redigering. Med vagterne skrumper tabet på forespørgsler som skrevet til 1.5 point, og på forespørgsler med en fejl stiger F1 med 30 point.

Trin 3: hele søgningen

Ord-F1 sammenligner en oversættelse med en reference, men en søgning har andre lister, der kan opfange en dårlig oversættelse. Vi kørte derfor hele søgningen, som i afsnit 3, på 200 forespørgsler (100 tyske og 100 ukrainske): som skrevet, og med én tilfældig tastefejl i et ord i hver forespørgsel (195 forespørgsler ændret). Hver forespørgsel blev oversat på fire måder: den korrekte oversættelse (en øvre grænse), ordbogen som den var, ordbogen med den simple reserveløsning og ordbogen med vagterne. De fire rangerede lister blev slået sammen med appens vægte, og en sprogmodel bedømte blindt de samlede øverste resultater.

OversættelseForespørgsler som skrevet
første / top fem, point
En fejl pr. forespørgsel
første / top fem, point
Korrekt (øvre grænse)+0.5 / −1.0+15.0 / +11.5
Ordbog, simpel reserveløsning+1.5 / +1.0+8.5 / +4.5
Ordbog, reserveløsning med vagter+2.0 / +0.5+7.5 / +4.0

Tabel 2. Ændring i forhold til ordbogen som den var, i point af andelen af forespørgsler med det rigtige produkt først og i top fem.

Grupperede søjler med ændringen i point i forhold til ordbogen som den var, for førstepladsen og top fem. Forespørgsler som skrevet: korrekt oversættelse +0.5 og −1, ordbog med fuzzy-reserveløsning +2 og +0.5. En tastefejl pr. forespørgsel: korrekt oversættelse +15 og +11.5, ordbog med fuzzy-reserveløsning +7.5 og +4.
Figur 5. Hele søgningen på 200 tyske og ukrainske forespørgsler, som skrevet og med én tastefejl hver: ændring i point i forhold til ordbogen som den var.

På forespørgsler som skrevet er ordbogen lige så god som den korrekte oversættelse (et halvt point bagud på førstepladsen, et point foran i top fem), og reserveløsningen ændrer ikke noget, vi kan måle (4 forespørgsler vundet og ingen tabt på førstepladsen, p = 0.13). Med en tastefejl taber ordbogen som den var 15 point på førstepladsen; reserveløsningen med vagter genvinder 7.5 af dem (30 forespørgsler vundet, 15 tabt, p = 0.04) og 4 af de 11.5 point i top fem (11 vundet, 3 tabt, p = 0.06). Søgningen, der kun bruger den engelske liste i Open Food Facts, vinder langt mere, 22 point på førstepladsen, fordi den ikke har en indbygget liste at falde tilbage på. Den simple og den vagtede reserveløsning kan ikke skelnes i hele søgningen; vi beholder den vagtede, fordi den ændrer færre korrekte ord. Gevinsten varierer efter sprog: ukrainsk giver 15 point på førstepladsen, tysk ingen, og vi undersøgte ikke, hvorfor.

Trin 4: målingens begrænsninger

Fejlene er syntetiske: én tilfældig redigering i næsten hver forespørgsel, langt oftere end folk faktisk skriver forkert, og uden nabotast-fejlene fra et rigtigt tastatur. To hundrede forespørgsler og én model som dommer giver p-værdier omkring 0.05, så resultatet med tastefejl viser retningen, og den præcise størrelse kræver rigtige forespørgsler. Gevinsten pr. rigtig forespørgsel er gevinsten ovenfor ganget med andelen af forespørgsler med en fejl, som vi ikke kender; med omkostningen på korrekte forespørgsler tæt på nul betaler selv en lille andel sig.

10. Hvad der ikke virkede, eller ikke var nødvendigt

Sådan bruger vi det i MuscleTiger

Fødevaresøgningen i MuscleTiger virker som beskrevet: din forespørgsel går til vores egen base og til Open Food Facts, på dit sprog og på engelsk; forespørgslen oversættes af en ordbog, der ligger på din telefon, og de fire rangeringer slås sammen med vægte, der afhænger af dit sprog. Resultaterne vises på appens grænsefladesprog, og produkter, der sælges i dit land, rangeres foran resten. Ordbogen virker uden netværk, så en forespørgsel i fitnesscentret uden signal finder stadig fødevarer i vores lokale base.

Se MuscleTiger

Konklusioner

Begrænsninger. Forespørgslerne blev skrevet af os og bedømt af en sprogmodel, så marginerne er brede (omkring ±7\pm 7 point ved 200 forespørgsler). Tallene gælder for tysk og ukrainsk; vægtene for de andre sprog er ekstrapoleret. Vi sammenlignede ikke med den neurale oversætter eller med andre apps. Næste skridt er en kontrol mod rigtige brugerforespørgsler.

Data og licenser

Produktdata og taksonomier kommer fra Open Food Facts, stillet til rådighed under Open Database Licence (ODbL); ordbøgerne beskrevet her er delvist afledt af OFF-taksonomierne og bærer samme tilskrivning. Vores lokale base er bygget på åbne nationale næringsstoftabeller, udgivet af offentlige myndigheder; deres kilder og licenser er angivet i appen. Vi takker Open Food Facts-bidragyderne og vedligeholderne af de nationale tabeller.

Kilder

  1. Brown PF, Della Pietra SA, Della Pietra VJ, Mercer RL. The mathematics of statistical machine translation: parameter estimation. Computational Linguistics 1993;19(2):263–311. ACL Anthology
  2. Moore RC. Improving IBM word-alignment Model 1. Proceedings of ACL 2004:518–525. ACL Anthology
  3. Cormack GV, Clarke CLA, Büttcher S. Reciprocal rank fusion outperforms Condorcet and individual rank learning methods. Proceedings of SIGIR 2009. doi:10.1145/1571941.1572114
  4. Darwish K, Oard DW. Probabilistic structured query methods. Proceedings of SIGIR 2003.
  5. Dyer C, Chahuneau V, Smith NA. A simple, fast, and effective reparameterization of IBM Model 2. Proceedings of NAACL-HLT 2013:644–648. ACL Anthology
  6. Open Food Facts: taxonomies of ingredients and categories and product data, world.openfoodfacts.org, under the Open Database Licence (ODbL).
  7. Riley D, Gildea D. Improving the IBM alignment models using variational Bayes. Proceedings of ACL (short papers) 2012:306–310. ACL Anthology
  8. Östling R, Tiedemann J. Efficient word alignment with Markov chain Monte Carlo. The Prague Bulletin of Mathematical Linguistics 2016;106:125–146.
  9. Mermer C, Saraçlar M. Bayesian word alignment for statistical machine translation. Proceedings of ACL (short papers) 2011:182–187. ACL Anthology
  10. Jalili Sabet M, Dufter P, Yvon F, Schütze H. SimAlign: high quality word alignments without parallel training data using static and contextualized embeddings. Findings of EMNLP 2020.