Verslag Conferentie van de European Association for Machine Translation - 2024

Elk jaar organiseert de European Association for Machine Translation (EAMT) een conferentie rond ontwikkelingen op het gebied van machinevertaling. Door de opkomst van allerhande AI-toepassingen is creatief (en dus ook literair) vertalen ineens een hot topic. Niet alleen prijkte het thema ‘literatuur’ menigmaal op het algemene programma van de EAMT-conferentie, er werd ook uitgebreider aandacht aan het onderwerp besteed tijdens een workshopdag (1st Workshop on Creative-text Translation and Technology [hieronder: CTT], 27 juni 2024). Reden genoeg om deze vreemde wereld van de taalautomatisering te betreden en na te gaan wat de taaltechnologie voor literair vertalers in petto heeft.

Tijdens de EAMT-conferentie lag vooral de term ‘LLMs’ (Large Language Models) in de monden van sprekers en toehoorders bestorven. Wetenschappers die zich jarenlang over vertaaltechnologie hebben gebogen, waren er rotsvast van overtuigd dat met domeinspecificatie de beste resultaten konden worden geboekt. Zo worden vertaalmachines tegenwoordig vaak gevoed of verrijkt met parallelle vertaalcorpora uit specifieke domeinen (dus ook corpora met literaire teksten) om de kwaliteit van machinevertalingen binnen dat domein te verbeteren. LLMs kennen geen domeinspecifieke focus: de inhoud van LLMs oogt vaak zelfs vrij willekeurig. Toch zien we, zo meldde Alexandra Birch tijdens een keynote, dat deze ‘algemenere’ LLMs, die bijvoorbeeld de drijvende kracht achter ChatGPT, Gemini en Claude vormen, de meest geavanceerde vertaalmachines naar de kroon steken, zeker als het aankomt op creatieve en idiomatische oplossingen. Toch kleven er ook aan LLMs grote nadelen: zo slaat zo’n model de plank vaak mis in zeer (domein)specifieke contexten, komt ook sociale en culturele vooringenomenheid veel sneller aan de oppervlakte en worstelt de technologie met de wanverhouding tussen de verschillende taaldata waarmee de systemen gevoed worden (meer dan de helft van grote taalmodellen is getraind op Engelstalige tekst, waardoor een anglocentrisme op de loer ligt). Het blijft daarom koffiedik kijken hoe de technologie zich zal ontwikkelen. Worden vertaalmachines in de toekomst aangevuld met Generatieve AI? Zullen we de beste resultaten boeken door Generatieve AI te ‘customizen’ met domeinspecifieke instructies en taaldata?

Hoe vertaalmachines en taalmodellen omgaan met creatieve teksten 

Tijdens de driedaagse werd er ook veel aandacht besteed aan de fundamentele problemen waar al jaren mee wordt geworsteld. Zo stelde Antoni Oliver de LitPC-toolkit (voluit: Literary Parallel Corpus Toolkit) voor. Deze toolkit zou het mogelijk maken om parallelle corpora van literaire teksten samen te stellen. De toolkit is bedacht om het probleem van data-armoede in bepaalde domeinen, in dit geval het literaire domein, tegen te gaan. Diezelfde gedachte lag ten grondslag aan het project dat Bojana Mikelenić (samen met Antoni Oliver) ten uitvoer heeft gebracht. Mikelenić vertelde tijdens de CTT-workshop over een meertalig en multidirectioneel parallel corpus dat ze hadden samengesteld in zes verschillende talen. Het literaire tekstmateriaal hebben ze vervolgens gebruikt om een eigen neurale vertaalmachine te bouwen. Uit metingen kwam naar voren dat het systeem soms zelfs beter presteerde dan Google Translate. De meerwaarde van het initiatief was gelegen in het feit dat er zeldzame(re) talencombinaties werden bediend.  Andere collega’s stelden dan weer het GeFMT-project (voluit: Gender-Fair Machine Translation-project) voor dat gericht is op het waarborgen van gendergelijkheid in vertalingen: Lardelli en collega’s hebben methoden ontwikkeld om genderbias in machinevertaling te detecteren en te remediëren. Ze willen een gender-fair woordenboek ontwikkelen, datasets met machinevertalingen analyseren en annoteren en vervolgens professionele vertalers vragen de machinevertalingen te corrigeren. De gecorrigeerde versies of ‘post-edited machine translations’ kunnen dan weer worden ingezet om taalmodellen te voeden en te trainen. Ook uit dit initiatief bleek maar weer dat gelijkwaardigheid, diversiteit en inclusie speerpunten blijven van hedendaags onderzoek naar taalautomatisering. Dat is niet gek: taaltechnologie staat erom bekend dat ze de neiging heeft maatschappelijke vooroordelen (die onder andere tot uitdrukking komen in stereotypen) in haar output te versterken.

Eerder gericht op de specifieke teksteigenschappen van creatieve en literaire teksten waren de presentaties van Esther Ploeger, Lieve Macken en Antonio Castaldo. Mijn eigen bijdrage, die ik samen met Onno Kosters en Christophe Declercq heb verzorgd, paste ook in het rijtje presentaties die gericht waren op specifieke teksteigenschappen. Ploeger vertelde over haar onderzoek naar lexicale variatie in machinevertaling. Een van de kenmerken van machinevertalingen is dat ze teksten lexicaal verarmen. Daarom wordt er al enige tijd gesleuteld aan methoden om lexicale variatie te verhogen. Toch wijst Ploeger erop dat literaire teksten hier niet altijd om vragen: een auteur als Hemingway heeft weinig baat bij machineoutput met grote lexicale variatie. Daarom spitst haar onderzoek zich toe op die lexicale verhouding en de weergave daarvan in machinevertaling. Macken en ik bestreken in onze presentaties een vergelijkbaar gebied: we gingen na of LLMs ook in staat zijn om machinevertalingen automatisch te post-editen. Macken vergeleek de ingrepen van ChatGPT met die van literair vertalers die aan verwant onderzoek hadden deelgenomen. Opvallend was dat ChatGPT met een grovere borstel door de machinevertaling heen ging en ook met creatieve vondsten kwam, maar dat er bij ChatGPT ook meer fouten in de teksten slopen. Ikzelf had me met mijn collega’s verdiept in prompt engineering en had ChatGPT met drie verschillende prompts gevraagd om zeven machinevertalingen van literaire teksten te post-editen. Hoewel een simpele post-editinginstructie aanvankelijk nog enig effect had, werden de vertalingen in hun algemeenheid alleen maar slechter, vooral door een steeds gebrekkigere afstemming op literaire stijl. Wisselend succes bleek ook Antonio Castaldo te ervaren. Hij had met verschillende prompts gewerkt om idiomatische output te versterken. Hoewel de resultaten hier en daar meer vragen dan antwoorden opriepen, bleek het interessant om met prompts te experimenteren: soms kwam er gewenste en soms zelfs verrassend creatieve output uit de taalmodellen gerold. 

Wat vertaaltechnologie doet met vertalers

Met al deze bijdragen over de mogelijkheden en beperkingen van machinevertaling en LLMs, konden bijdragen over professionele werkstromen niet uitblijven. De laatste jaren wordt er naarstig gezocht naar manieren om vertaalwerkstromen efficiënter in te richten en ze af te stemmen op de noden van gebruikers. Zelfs literair vertalers hebben de laatste jaren te maken gekregen met wetenschappers en softwareontwikkelaars die ineens gingen leuren met projecten die gericht waren op ‘mens-computerinteractie’ (ofwel: human-computer interaction). Tijdens de conferentie werd er uiteraard door menig spreker (sprekers die hierboven staan vermeld) aan praktische toepassingen gerefereerd. Toch was de praktische component misschien nog wel het beste vertegenwoordigd in de presentaties van Joke Daems, Ana Guerberof-Arenas en Andy Rothwell. Zo stelde Lieve Macken (bij monde van Daems) een onderzoek voor waarin er gekeken werd naar de impact van werkstromen op het eindproduct van vertalers. Op welke wijze verschillen literaire teksten die geproduceerd zijn met een simpele tekstverwerker van teksten die bijvoorbeeld in CAT-tools zijn geproduceerd? Er werden slechts voorzichtige tipjes van sluiers gelicht. De echte resultaten laten jammer genoeg nog even op zich wachten. Guerberof-Arenas richtte de aandacht op de invloed van technologie op de creativiteit van vertalers. Uit haar onderzoek was immers gebleken dat bewerkte machinevertalingen veel minder creatieve ingrepen bevatten dan ambachtelijke vertalingen. Saillant is dan weer wel dat receptieonderzoek in Nederland lijkt uit te wijzen dat die handmade teksten de lezer (helaas, zou ik zo zeggen) niet meer weten te boeien dan bewerkte machinevertalingen die in de regel wat nauwer aansluiten op de brontekst. De keynote van Rothwell was misschien wel de meest praktische bijdrage. Nu hij met emeritaat is, experimenteert hij duchtig met taaltechnologische hulpmiddelen. Hij heeft zich ontpopt tot een heus pleitbezorger van ‘computer-aided literary translation’. Zo vertelde hij honderduit over zijn recente vertaling van Zola’s Joie de vivre (The Bright Side of Life), die hij had geproduceerd met behulp van een ‘contemporary translation’ als vertaalgeheugen. Hij legde uit dat de vertaling van een tijdgenoot van Zola hem in staat had gesteld om de vertaling ‘in stereo’ te beleven: met aandacht voor de eigenaardigheden en gevoeligheden van zowel de tijd waarin Zola leefde, zoals ze doorsijpelden in de vertaling van een tijdgenoot van Zola, als die waarin Rothwell als vertaler met de tekst in de weer was. Ook ging Rothwell in op zijn meest recente vertaalopdracht: een Proust-vertaling. Tijdens de vertaling had Rothwell gebruikgemaakt van de gebruikelijke hulpmiddelen, maar hij had ook de mogelijkheden van Wordscope verkend. Wordscope is een van die tools waarin de interface van een vertaaltool wordt gecombineerd met AI-toepassingen. Andere tools die die mogelijkheden ook bieden, zijn CoTranslatorAI, BureauWorks en CoPilot (als CAT-plugin). De functie die Rothwell zelf het meest nuttig vond, was de koppeling van het vertaalgeheugen en een resem machinevertalingen. Bij problematische passages ging hij te raden bij verschillende machine-oplossingen die in een oogopslag werden aangereikt. Aan het einde van de presentatie werd de loftrompet gestoken over de creatieve en cognitieve voordelen van dit soort tools. Het blijft echter de vraag, zo merkte ook iemand uit het publiek op, of die creativiteit wel bevorderd wordt, aangezien vertaalmachines bekendstaan om hun letterlijkheid en veel verschillende ‘letterlijke’ parallelvertalingen je misschien in de richting van een letterlijke oplossing duwen. Bovendien heeft het er juist veel van weg dat de cognitieve inspanning toeneemt: waar je als technologiegebruiker behoefte hebt aan een ‘rustige’ werkomgeving, daar zorgen de AI-applicaties voor extra venstertjes en, in het geval van de automatische vertaalsuggesties, voor flinke (extra) lappen tekst. Misschien moet ik bij de presentatie van Rothwell dan ook maar de kanttekening plaatsen dat het misschien niet de wetenschapper is maar wel de individuele gebruiker die moet bepalen of de technologie nuttig is. 

Al bij al laat deze samenvatting zien dat er veel gebeurt op het snijvlak van technologie en literair vertalen. Het zal me dan ook niets verbazen als literatuur ook volgend jaar weer een prominente plek in het programma zal innemen en als de workshopdag rond creatieve vertaling een gevolg zal kennen. 

Bijdragen zijn gebundeld in de Proceedings:

Song, X. [et al.] (2024). Proceedings of the 25th Annual Conference of the European Association for Machine Translation Volume 1: Research And Implementations & Case Studies. https://eamt2024.github.io/proceedings/vol1.pdf

Song, X. [et al. (2024). Proceedings of the 25th Annual Conference of the European Association for Machine Translation Volume 2: Products & Projects. https://eamt2024.github.io/proceedings/vol2.pdf 

Vanroy, B., Lefer, M.A., Macken, L., Ruffo, P. (2024). 1st Workshop on Creative-text Translation and Technology. https://ctt2024.ccl.kuleuven.be/proceedings