Literaire automatische vertaling? Enkele inzichten uit het onderzoeksveld

Geplaatst op: 01 november 2022

Tijdens de studiemiddag 'Literair vertalen en technologie: geen match made in heaven, maar toch een relatie?' kwamen er meerdere soorten technologie aan bod. Van al die soorten is het gebruik van automatische vertaling (“machine translation”) voor literair vertalen misschien wel het meest omstreden. Hoog tijd dus om even bij deze controversiële relatie stil te staan. In deze bijdrage licht ik toe hoe het staat met onderzoek naar literaire automatische vertaling.

Kwaliteit

Hoe goed is de kwaliteit van die automatische vertaalsystemen eigenlijk? De instinctieve reactie is ‘zeker niet goed genoeg voor literaire vertaling’, maar wat als we die kwaliteit proberen meten? In onderzoek kan er op een aantal manieren naar vertaalkwaliteit gekeken worden. Bij automatische metrieken wordt de output van een automatisch vertaalsysteem vergeleken met een (‘menselijke’) referentievertaling. Dat kan een algemeen idee geven, maar is weinig informatief. Een vertaling is immers niet noodzakelijk slecht als die anders is dan een referentievertaling (meerdere vertalingen van eenzelfde zin zijn mogelijk) en de ene fout is ook de andere niet (een woord als ‘niet’ weglaten is maar een verschil van vier letters, maar de betekenis wordt wel volledig omgedraaid). Om een beter beeld te krijgen van wat voor fouten er precies in een tekst zitten wordt er dan ook vaak voor foutenanalyse gekozen.

In eerste instantie kan er bijvoorbeeld gekeken worden naar het aantal foutloze zinnen in een automatisch vertaalde literaire tekst. Hierbij zien we al meteen dat er grote verschillen zijn tussen gekozen systemen, talenparen, en teksttype. Bij een talenpaar als Engels-Sloveens is er geen enkele zin die niet om een aanpassing vraagt.1 Onderzoekers die zelf systemen bouwen en deze ook specifiek trainen op literaire teksten boeken vaak betere resultaten. Zo is voor Engels-Catalaans tot 47% van de zinnen goed genoeg en voor Spaans-Catalaans tot 60%.2 Die laatste twee talen tonen uiteraard veel overeenkomsten, wat automatische vertaling vaak eenvoudiger maakt. Voor Engels-Nederlands zitten we rond 44% foutloze zinnen voor een detectiveroman, maar bij het vertalen van pakweg Pride & Prejudice van Jane Austen zakt dat percentage al snel tot slechts 5%.3

Om de soorten fouten te bestuderen zijn er verschillende soorten categorisaties mogelijk. In onze onderzoeksgroep kijken we naar fouten in twee stappen: eerst bekijken we enkel de vertaling en beoordelen we de vlotheid van de tekst (‘volgt de tekst de regels van de doeltaal?’), vervolgens vergelijken we de vertaling met de brontekst en beoordelen we de accuraatheid van de vertaling (‘brengt de vertaling de inhoud van de brontekst correct over?’). De voornaamste problemen met vlotheid hebben, in het geval van literaire teksten, te maken met samenhang of coherentie en stijl of register.4 Vaak worden coherentieproblemen echter veroorzaakt door een gebrekkige accuraatheid: een woord dat verkeerd vertaald werd kan immers ook voor verwarring zorgen in de doeltekst. Automatische vertaalsystemen maken nog steeds veel fouten bij woorden die meerdere mogelijke betekenissen hebben en bij idiomatische uitdrukkingen.

Stijl en structuur

Bij de kwaliteitsanalyse moet er een belangrijke kanttekening gemaakt worden: het is niet omdat een zin foutloos is, dat die zin ook aangenaam leest. Naast kwaliteit wordt er daarom ook steeds vaker naar andere aspecten van automatisch vertaalde teksten gekeken. Zo vertonen automatisch vertaalde literaire teksten minder lexicale variatie dan de ‘menselijke’ vertaling, vertonen zinnen in automatische vertalingen minder samenhang en blijven ze dichter bij de structuur van de oorspronkelijke bronzin.5

Vaak is een automatische vertaling van een tekst echter niet de finale vertaling van een tekst. Hoe zit het met de stijl en structuur wanneer de tekst door een menselijke vertaler verbeterd (oftewel: gepost-edit) wordt? Hier wordt het verhaal heel wat complexer. Ten eerste is het belangrijk om te weten dat het onderzoek naar post-editing van literaire automatische vertalingen nog in de kinderschoenen staat. Er zijn een aantal onderzoekers met dit onderwerp bezig, maar het is gevaarlijk om te veralgemenen op basis van slechts enkele studies. Bovendien zien we erg grote verschillen tussen verschillende teksten, wat het moeilijk maakt duidelijke conclusies te trekken. Wat voorlopig blijkt, is dat gepost-edite teksten vergelijkbare lexicale variatie kunnen vertonen met menselijke vertalingen, maar dat ze wel lager scoren op creativiteit.6 Wat daarvan de impact op leesplezier en narratieve betrokkenheid is, is wat moeilijker in te schatten. In het project CREAMT probeert onderzoeker Ana Guerberof-Arenas op die vragen een antwoord te geven. Voorlopige bevindingen die gepresenteerd werden op een congres in Luik lijken aan te geven dat de talenkennis van de lezers een rol kan spelen: Catalaanse lezers die een vertaling lazen van een Engelse tekst gaven de voorkeur aan de menselijke vertaling, Nederlandstalige lezers gaven dan weer de voorkeur aan de gepost-edite tekst of de oorspronkelijke Engelse tekst, vermoedelijk omdat zij vaker Engelse teksten lezen en de invloed van het Engels mogelijk als minder storend ervaren.

Hoe zit het met de vertalers?

Literaire vertalers zijn wel op de hoogte van het bestaan van automatische vertaalsystemen, maar zijn minder op de hoogte van recentere ontwikkelingen in het veld, zoals de evolutie naar neurale automatische vertaalsystemen of het feit dat automatische vertaalsystemen bijkomend getraind kunnen worden op literaire teksten om de kwaliteit te verbeteren. De meeste literaire vertalers gebruiken dan ook nooit automatische vertaling (al geeft 18% aan het toch soms te gebruiken). Er zijn verschillende redenen om geen automatische vertaling te (willen) gebruiken:

  • de vertaler verliest de controle, aangezien de output de vertaling al in een bepaalde richting stuurt
  • automatische systemen hebben geen gevoel voor humor, stijl of context
  • de systemen zouden een negatieve invloed kunnen hebben op het eigen taalgevoel
  • de vertaler heeft simpelweg geen ervaring met het gebruik.

Het bewustzijn en de attitudes van vertalers ten opzichte van technologie heb ik in meer detail geanalyseerd in enkele bijdragen die online geraadpleegd kunnen worden en ook andere collega’s hebben gelijkaardige onderwerpen behandeld.7 Wat uit deze studies vooral blijkt is dat literaire vertalers niet noodzakelijk technologie-avers zijn, maar dat ze het wel belangrijk vinden dat de mens centraal blijft staan. Vooral eenvoudige raadpleging van uitdrukkingen, eerdere vertalingen, synoniemen en alternatieven kunnen een meerwaarde hebben voor literaire vertalers.

Waar gaat het met de technologie naartoe?

Of we dit nu willen of niet, in de vertaalwereld wordt er steeds vaker gekeken naar het potentieel van automatische vertaling – zelfs in het literaire circuit. Zo maakt boekvertaalbedrijf Nuanxed reeds gebruik van een vertaalproces waarbij een tekst eerst gepost-edit wordt en vervolgens door een revisor verbeterd wordt. Wat we daar zien is dat de post-editor vooral de fouten van de automatische vertaling verbetert, maar daarnaast ook heel veel voorkeursaanpassingen doorvoert, en dat de revisor hoofdzakelijk voorkeursaanpassingen doorvoert.8 Een revisor let ook sterk op de leesbaarheid: in de revisiestap worden te lange zinnen opgesplitst of worden te letterlijke vertalingen herwerkt. (Of dit een goede ontwikkeling is, blijft de vraag: bij literaire teksten zijn lange zinnen niet zelden een stijlkenmerk.)

Ook wordt er gekeken naar een betere afstemming tussen vertaler en technologie. In onderzoek naar mens-computerinteractie wordt bijvoorbeeld gekeken naar de aansluiting van automatische suggesties op de stijl van de vertaler. In mijn eigen (nog ongepubliceerde) onderzoek heb ik zo enkele automatische vertaalsystemen bijkomend getraind op vertalingen van een specifieke tekst. Daaruit blijkt dat de getrainde systemen inderdaad betere vertalingen kunnen produceren voor eenzelfde teksttype, maar dat dit er ook voor zorgt dat de fouten moeilijker te detecteren worden (als een zin vlot leest is het moeilijker om fouten te zien).

Enkele dilemma’s & toekomstperspectieven

Die laatste bevinding is meteen een eerste dilemma op vlak van het gebruik van automatische vertaling van literaire teksten. Enerzijds willen we technologie die beter werkt voor literaire vertalingen, om zo de vertalers beter te ondersteunen, anderzijds zien we dat betere kwaliteit er ook voor kan zorgen dat de fouten die er wel nog zijn minder eenvoudig te detecteren zijn, wat de cognitieve belasting dan weer zou kunnen verhogen.

Een ander dilemma heeft te maken met de vertaalindustrie: het is duidelijk dat er steeds meer ingezet wordt op automatische vertaling, zelfs voor het vertalen van literaire teksten, anderzijds geven vertalers aan dat ze bij literaire vertaling de voorkeur geven aan andere vormen van technologische ondersteuning.

Als onderzoeker vind ik het dan ook erg belangrijk om deze evoluties te blijven bestuderen en om de uitwisseling tussen onderzoek, ontwikkelaars en vertalers te versterken. Momenteel begeleid ik samen met Lieve Macken een postdoctoraal onderzoeksproject van Paola Ruffo (Dual-T), waarbij literaire vertalers actief betrokken worden bij het evalueren van technologische ondersteuning zoals automatische vertaling voor literair vertalers.

 

Voetnoten en leestips

  1. Zie Kuzman, T., Vintar, Š., & Arčan, M. (2019). Neural Machine Translation of Literary Texts from English to Slovene. Literary Machine Translation Workshop, 10.
  2. Voor Engels-Catalaans, zie: Toral, A., Oliver, A., & Ballestín, P. R. (2020). Machine Translation of Novels in the Age of Transformer. In J. Porsiel (Ed.), Maschinelle Übersetzung für Übersetzungsprofis: Sammelband. BDÜ, Weiterbildungs- und Fachverlagsgesellschaft.Voor -Spaans-Catalaans, zie: Toral, A., & Way, A. (2015). Translating Literary Text between Related Languages using SMT. Proceedings of the Fourth Workshop on Computational Linguistics for Literature, 123–132.
  3. Zie Fonteyne, M., Tezcan, A., & Macken, L. (2020). Literary Machine Translation under the Magnifying Glass: Assessing the Quality of an NMT-Translated Detective Novel on Document Level. Proceedings of the 12th Conference on Language Resources and Evaluation, 9. Voor klassieke Engelstalige werken (en dus ook Austen), zie: Webster, R., Fonteyne, M., Tezcan, A., Macken, L., & Daems, J. (2020). Gutenberg goes neural: Comparing features of Dutch human translations with raw neural machine translation outputs in a corpus of English literary classics. INFORMATICS-BASEL, 7(3), 21.
  4. Zie Tezcan, A., Daems, J., & Macken, L. (2019). When a `sport’ is a person and other issues for NMT of novels. In Hadley, James and Popović, Maja and Afli, Haithem and Way, Andy (Ed.), Proceedings of the Qualities of Literary Machine Translation (pp. 40–49). European Association for Machine Translation. Geraadpleegd van https://www.aclweb.org/anthology/W19-7306 (31 oktober 2022).
  5. Zie: Webster, R., Fonteyne, M., Tezcan, A., Macken, L., & Daems, J. (2020). Gutenberg goes neural: Comparing features of Dutch human translations with raw neural machine translation outputs in a corpus of English literary classics. INFORMATICS-BASEL, 7(3), 21.
  6. Zie: Guerberof-Arenas, A., & Toral, A. (2020). The impact of post-editing and machine translation on creativity and reading experience. Translation Spaces, 9(2), 255–282, alsook: Castilho, S., & Resende, N. (2022). Post-Editese in Literary Translations. Information, 13(2), Article 2.
  7. Zie: Daems, J. (2021). Wat denken literaire vertalers echt over technologie? WEBFILTER, 24/01/2021. Geraadpleegd van https://www.tijdschrift-filter.nl/webfilter/dossier/literair-vertalen-en-technologie/januari-2021/
    wat-denken-literaire-vertalers-echt-over-technologie/ (31 oktober 2022). Zie ook: Daems, J. (2022). Dutch literary translators’ use and perceived usefulness of technology: The role of awareness and attitude. In Hadley, James and Taivalkoski-Shilov, Kristiina and Teixeira, Carlos and Toral, Antonio (Ed.), Using Technologies for Creative-Text Translation (pp. 40–65). Routledge. Zie ook: Ruffo, P. (2021). In-between role and technology: Literary translators on navigating the new socio-technological paradigm. Heriot-Watt University. Zie ook: Guerberof-Arenas, A., & Toral, A. (2022). Creativity in translation: Machine translation as a constraint for literary texts. Translation Spaces.
  8. Zie: Macken, L., Vanroy, B., Desmet, L., & Tezcan, A. (2022). Literary translation as a three-stage process: Machine translation, post-editing and revision. Proceedings of the 23rd Annual Conference of the European Association for Machine Translation, 101–110.