ACL 2020 Student Research Workshop paper is now out

Sjá íslenska þýðingu neðar

Last week ACL hosted their 2020 ACL conference. It was supposed to be in Seattle, Washington. But due to COVID-19 it has been moved online, including their satellite events like the ACL 2020 Student Research Workshop (SRW).

This means their proceedings have now been published, including a paper by our very own student, Steinþór Steingrímsson: Effectively Aligning and Filtering Parallel Corpora under Sparse Data Conditions. He wrote about his methods for preparing parallel text for machine translation.

Í síðustu viku hélt ACL árlegu ráðstefnuna sína. Upprunalega átti að halda ráðstefnuna í Seattle en vegna COVID-19 var hún öll færð yfir í netheima, einnig vinnustofur eins og ACL 2020 Student Research Workshop (SRW).

Þetta þýðir að allar innsendar greinar hafa verið gefnar út, þar á meðal grein eftir nemenda okkar Steinþór Steingrímsson. Heiti greinarinnar er Effectively Aligning and Filtering Parallel Corpora under Sparse Data Conditions. Þar skrifar Steinþór um aðferðir til að undirbúa samhliða texta fyrir vélþýðingu.

Abstract

Parallel corpora are key to developing good machine translation systems. However, abundant parallel data are hard to come by, especially for languages with a low number of speakers. When rich morphology exacerbates the data sparsity problem, it is imperative to have accurate alignment and filtering methods that can help make the most of what is available by maximising the number of correctly translated segments in a corpus and minimising noise by removing incorrect translations and segments containing extraneous data. This paper sets out a research plan for improving alignment and filtering methods for parallel texts in low-resource settings. We propose an effective unsupervised alignment method to tackle the alignment problem. Moreover, we propose a strategy to supplement state-of-the-art models with automatically extracted information using basic NLP tools to effectively handle rich morphology.

You can check out the paper on the ACL website: https://www.aclweb.org/anthology/2020.acl-srw.25/

Seattle photo via Good Free Photos

Learn about our TTS process as described by Atli Thor

At the end of June 2020, Atli Thor Sigurgeirsson went on the local Icelandic radio station Rás 2 to give an interview about the state of our text-to-speech synthesis and data collection process. As this was an interview with Síðdegisútvarpið the interview is in Icelandic.

Description from Rúv: Við forvitnumst um nýjan talgervil sem er í þróun hjá Háskólanum í Reykjavík. Atli Þór Sigurgeirsson er umsjónarmaður þess verkefnis hann kemur til okkar.

Practical information about the radio program is below:

Name of show: Síðdegisútvarpið
Station: Rás 2
Date: 26. 06. 2020
Air time: 16:30
Interviewer: Guðmundur Pálsson
Duration: approximately 10 minutes
Topics discussed: The work carried out at LVL, specifically w.r.t. speech synthesis and speech data collection
Language of interview: Icelandic
Interviewee: Atli Thor Sigurgeirsson

The full episode is available at ruv.is. However, we have also extracted and transcribed the interview. They are both available below. The transcription was made by the ASR at tal.tiro.is with minor edits and diarization added.

íslenska frá MT okkur: Í heild sinni er aðgengilegt á ruv.is. Hins vegar höfum við einnig dregin út og yfirfærð á viðtalinu. Þau eru bæði fyrir hendi hér. Umritun var tekin af ASR á tal.tiro.is með minniháttar breytingar og diarization bætt við.

Fréttir, fróðleik og tónlist. Síðdegisútvarpinu á Rás 2.
Talgervill: Komið þið heil og sæl, og velkomin í Síðdegisútvarpinu.
Guðmundur Pálsson: Þetta er sem sagt nýr íslenskur talgervill sem talar þarna og þetta er hluti af mjög viðamiklu verkefni sem að það snýst um að þjálfa tauganets módel, sem kunni að tala. Hann er kominn til okkar, Atli Þór Sigurgeirsson, sem er Hvað húsið umsjónarmaður, þessa verkefnis eða hvað?
Atli Thor Sigurgeirsson: Já ég hér sé um þetta verkefni á haskólunam.
Guðmundur Pálsson: Og hvað erum við að hlusta á hana? Um hvað snýst málið? Við höfum heyrt talgerla talað áður.
Atli Thor Sigurgeirsson: uhm
Guðmundur Pálsson: og þá. Það var alveg ágætt og ekkert ekkert ofboðslega sannfærandi kannski. Erum við að taka næsta skref?
Atli Thor Sigurgeirsson: Já. Þetta- Þessi tegund af talgervlum módelum komu til sögunnar fyrir þremur árum síðan, og módelin sem við þekkjum til dæmis inn á rúv.is spilar sem sjóndaprir getað notað til að lesa fréttir. Það er önnur tegund af talgervlum sem hefur verið mikið notuð, og þeir talgervla gervlar virka þannig að þeir klippa mikið af gögnum niður, taka þeir litlar einingar og púsla þeim aftur saman. Vandamálið með þannig talgervla er að maður heyrir samskeytin þegar þeir tala eins og þegar tveir litlir hljóðkútar hefur púslað saman. þessi tegund, á módeli talgervilið verka öðruvísi vegna þess að hann býr til sjálfur, klippir ekki hljóðið og finnur það í gagnasetti sem býr til hljóðið, að þegar svona módel fara heyra helling af þjálfun á gögnum, mód-módelið sjálft það keyrir í gegnum fimmtán þúsund þjálfunar setningar sem manneskja hefur setið í hljóðveri og hlustað á í hvert skipti sem að fara að heyra setningu verður mótið aðeins betra í að skilja hvernig textinn breytist í tal módelið. Þá fara að sjá textann til dæmis, Halló, ég heiti Atli. og svo hljóðið sem röddin sem sat í hljóðverinu bjó til þegar hún las setninguna: Fyrst var hún ekki mjög röddin, ekki mjög góða skilja hvernig átti að segja, Halló, en þegar hún kannski búnir að sjá orðið halló fimmtíu sinnum
Guðmundur Pálsson: Já.
Atli Thor Sigurgeirsson: þá var orðinn ansi góðir.
Guðmundur Pálsson: Það er nefnilega halló
Atli Thor Sigurgeirsson: Já.
Guðmundur Pálsson: um hinn eiginlega fyrsta drafaðan, eitthvað hálf þreytt, þreyttur talgervill sem var að tala.
Atli Thor Sigurgeirsson: Einmitt.
Guðmundur Pálsson: að heyra hvernig þróunin var síðan.
Talgervill: að þetta í frétt allir er þetta allir. Hvað er eiginlega að frétta? Halló allir. Hvað er eiginlega að frétta? Halló allir. Hvað er eiginlega að frétta? Halló allir. Hvað er eiginlega að frétta? Halló allir. Hvað er eiginlega að frétta?
Guðmundur Pálsson: Já, þetta eru eggin smámunur frá þarna í byrjun þar sem maður er bara eitthvað svona. Hann segir óskiljanlegt eitthvert rugl.
Atli Thor Sigurgeirsson: Bara Er einhver læti í bakgrunninum? Já, þetta er hérna. Maður heyrir rosalega mikið. Sko þarna undir lokin að þar fer svona blæbrigði raddarinnar sem sat í hljóðverinu kom í ljós þetta módel, var sem sagt búið að þjálfa á tölvu sem við erum með niður í Háskóla Reykjavíkur í níu daga, minnir mig, fyrsta daginn sem sagt fyrsta hljóði sem við heyrðum var að spila eftir hálfan dag. urðum við næstu næsta, var bara eftir einn dag, svo seinasta var eftir níu daga. Það var eitthvað mikið sem gerðist þarna á milli dags, átta og níu vandamálið fyrir okkur getur stundum verið að þessi módel eru það flókin að það getur verið erfitt fyrir okkur að vita nákvæmlega hvað módelið er að gera hverju sinni, af hverju það var svona mikil breyting skyndilega á áttunda degi miðað við alla dagana á undan. Þetta snýst bara rosalega mikið um að módelið er að skoða gögnin og það er að reyna bara það sem við gerum með módelið er að það býr til útkomna, það giskar og ég held að þessi setning eiga eigi hljómar svona: sýnum við módelinu? Nei, nei. Það á að hljóma svona sínum venjum sínum, módelinu, hvernig setningin var í raun og veru borið fram. Berum saman sýnaspá og raunveruleikann, segir: ókei. Ég þarf aðeins að færa til hérna, þetta var aðeins meira svona hægt og rólega. Þá þá verður röddin náttúrulegri og líkari raunverulegur röddinni.
Guðmundur Pálsson: Einmitt. Og hvernig-hver er tilgangurinn með, eins og við heyrum oft einmitt þörf á því að Ísland íslenskan einhvern veginn þróist með þessum tæknibreytingum eða ekki. Tungumálið þróist ekki heldur tækniþróuðust með tungumálinu þannig að það sé hægt að nota af
Atli Thor Sigurgeirsson: Akkurát.
Guðmundur Pálsson: Maður heyrir náttúrlega börn tala ensku við tæki nú þegar. Er þetta liður í því einhvern veginn að bregðast við þessum breytingum.
Atli Thor Sigurgeirsson: Klárlega, að við höfum mikinn áhuga á að gera íslensku gjaldgenga í stafræna heiminum og að Íslendingar geti notað tækin sín á íslensku. Svona eitt af markmiðum í talgervingu er líka sem sagt. Þá er einn af markhópunum okkar eru sjóndapri því það eru margir sjónvarpið sem nota talgervla til að nota tölvur og skoða vefsíður og svo framvegis. En svona langtíma markmið hjá okkur líka er að stóru tækni risarnir, geti mögulega notað þessi gögn, eins og Google með Google assistant eða Apple með Siri eða Amazon með Alexu að þau fara að búa til íslenskar raddir sem geta talað við okkur og svarað spurningunum okkar og skilið spurninguna okkar. Við bíðum spenntir eftir því.
Guðmundur Pálsson: Já Er nú talað um að Ísland sé lítið markaðssvæði, einhvern veginn svona breytingar, einhvern veginn og þess háttar séu lengi að einhvern veginn skila sér hingað og við erum ekki efst á listanum kannski en en eru einhvern veginn tæknin orðin þannig og með þessu. Þetta er gervigreind einhvern veginn að verða miklu hraðari og erum við bara að tala um einhvern veginn? Er hún komin yfir einhvern þröskuld? Þá er þetta bara mjög einfalt mál, einhvern veginn að tengja þetta einhvern veginn við tækin eins og hvað annað?
Atli Thor Sigurgeirsson: Já, í raun og veru, kannski bara fyrst varðandi þurft þessa staðsetningu okkar í heiminum. Við erum lítið málsvæði og oft eru tungumáli okkar ekki stutt tækninni hefur verið tekið virkilega vel tekið í þetta erlendis og mikið fylgst með okkur máltækni áætluninni, áætlanir sem við vinnum eftir og hvað við höfum verið framarlega miðað við hvað við erum fá. En varðandi tæknina þá já, þá hefur hún svolítið breyst undanfarin ár að þetta hefur verið að færast meira og meira yfir í gervigreind og sem sagt gömlu módelin voru notuð. Þau þurftu rosalega mikið af sérstakri þekkingu sem kannski mjög fáir bjuggu yfir til að búa til módelin og hannaði. Núna er þetta farið að vera meira svona almenn gervigreind sem þeir sem taka til dæmis reiknigreindar áfanga í háskóla í meistaranámi geta komið inn í og sem sagt að mínu mati, gervigreind og reiknigreind mjög framarlega í máltækni á Íslandi erum við að beita henni í að hafa raunverulegar breytingar. Það er mjög spennandi fyrir þá sem hafa áhuga á gervigreind og reiknigreind þetta svið, máltækni.
Guðmundur Pálsson: Um Þetta er runnið, þú ert í Háskólanum í Reykjavík.
Atli Thor Sigurgeirsson: Já
Guðmundur Pálsson: og þetta hefur unnið hér að hluta hér innan húss hjá Rúv
Atli Thor Sigurgeirsson: Já
og nú yrði að fara. Er það ekki í eitthvert ferðalag að sækja?
Atli Thor Sigurgeirsson: Já. Við verðum að fara sem sagt: við tökum upp átta raddir í heildina, tuttugu klukkutíma á um öllum ræddum þannig að hundrað og sextíu klukkutíma heildina. Sex raddir voru teknar upp hérna fyrir sunnan. Nokkuð langar að bæta við tveimur norðlenskum röddum og þá ætluðu að fara að taka upp í Háskólum í á Akureyri byrjun þar bara á mánudaginn. Þá erum við að leita að karli og konu og það væri bara ótrúlega góð viðbót í þetta safn á röddum sem við erum komin með núna. Já, okkur hlakkar til að kíkja norðurs.
Guðmundur Pálsson: Já, yrðu er búið að velja fólk til að lesa eitthvað svona?
Atli Thor Sigurgeirsson: Já, við, við vorum að velja bara í dag.
Guðmundur Pálsson: Fólk er ekki, ekki biðröð. Hann var að vanda mig við.
Atli Thor Sigurgeirsson: Við eigum fyrst að reyna að hafa samband norður og gekk frekar erfiðlega, fengum lítið litla svörun þetta inn á einhverja tvo, þrjá fjölmiðla, árnar fyrir norðan og þá bara hrundi og mikill áhugi.
Guðmundur Pálsson: Já. Það byrjar á mánudaginn.
Atli Thor Sigurgeirsson: Já við erum með einar rödd frá Ólafsvík og svo vorum við með eina frá Akureyri.
Guðmundur Pálsson: um það. Atli Þór, takk fyrir þetta. Já. Þetta er mjög skemmtilegt verkefni. Gangi ver vel í verkefni og takk talgervill fyrir hjálpina líka.
Talgervill: Takk sömuleiðis. Við skulum heyra lag með sálinni hans Jóns míns
Tónlist: í dag, hugleysi hvernig lífi.


Eydís has successfully defended her PhD thesis!

eydisphd-3
Eydís and the LVL members at her celebration.

 

We are pleased to announce that Eydís has successfully defended her PhD thesis on “Cognitive workload classification with psychophysiological signals for monitoring in safety critical situations” on 18th of January. Over the past few years, Eydís has worked on a dissertation studying the effect an increased cognitive workload has on acoustic and cardiovascular signals. She collected data from over 100 participants in a simulated environment, which she analyzed quantitatively and qualitatively. The key contribution of her thesis is in using a signal processing approach and showing that an involuntary response of the cardiovascular system can very accurately reflect one’s mental effort during a task. The thesis is a result of her cooperation with Isavia, and their effort to improve management of people working in an air traffic control environment.

Congratulations Eydís!

Using language technology to assist the hard of hearing

The Nordic association of the hard of hearing (Nordiska Hörselskadades Samarbetskommitté, NHS) had a seminar at Hotel Selfoss last week. On Friday, Anna gave a talk there on how language technology might assist people hard of hearing to communicate and access information in a predominately hearing world. Automatic transcription of live communication and automatic caption of video material is already working for English and some other languages, and the Nordic participants of the seminar were eager to see this technology advance in their languages. At LVL, we are working on open ASR systems, making the development of technology like this possible for Icelandic.

The rest of the slides can be viewed by selecting the first slide below.

NHS_cover_icon

Featured in BBC 4 Tech: Cognitive Workload Research

Last fall Michal was interviewed by a broadcast journalist for the BBC Arabic segment, BBC 4 Tech. The interview was regarding some early research he did with the Cognitive workload monitoring using voice project. The BBC 4 Tech segments have been uploaded onto YouTube with voice-overs in Arabic.

cropped20171003_132534
Above is Michal explaining his part in the research to the interviewer, Anees.

Thanks to the BBC team you’ll get the distinct pleasure of seeing one of our own speaking Arabic, albeit dubbed, if you select play:

 

Does the future understand Icelandic? – UTMessan Talk

On Friday, LVL will be at the UTMessan conference being held here in Reykjavik. UTMessan is a IT conference presented in both Icelandic and English. The talk, “Skilur framtíðin íslensku? (Does the future understand Icelandic?)” will be presented by Anna Björk. This will be our first time presenting at UTMessan so we are very excited.

If you are interested in attending, below are the talk details:

Abstract: In recent years language technology and artificial intelligence have made a giant leap forward. The revolution becomes clear in the development of intelligent assistants like Siri, Alexa, Google Assistant and Cortana, that in ever more households are becoming a part of the family. In the discussion about language technology for Icelandic, the most prominent subject has been how and when we are going to speak Icelandic with those assistants.

But what about language technology for the purpose of increasing efficiency and service quality of companies and institutions? This talk discusses language technology in this context and what is needed so that Icelandic companies can join the rapid development in the field.

Watch the talkhttps://www.youtube.com/watch?v=IaOYG23R7_k
Date: 2 February, 2018
Location: Tækjatal – Chatbot Talks, Silfurberg B, Harpa, Reykjavík, Iceland
Language: Icelandic (perfect opportunity to brush up on your Icelandic)
Time: 11:55am – 12:25pm
Speaker:

AnnaUTMessanTalk

More details at UTMessan

We hope to see you there!

Interspeech 2017 Conference Summary

Yu-Ren gave a really good talk about measuring voice severity.

Image uploaded from iOS2

Then, on Wednesday Anna, Inga, Matthías, and Jón answered questions about their posters to conference attendees.

Image uploaded from iOS15

During the conference, welcome reception, and the banquet we reconnected with many old colleagues and met many new  in the speech processing and speech recognition world. For anyone who didn’t get a chance to attend Yu-Ren’s talk or to see the posters by Jón and Inga, we have links at the bottom of the post.

This slideshow requires JavaScript.

Anna’s data is also available on Malfong now.

Inga’s Icelandic Parliament ASR Corpus

Yu-Ren’s slides

Jón’s Eyra Speech Corpora Poster

We hope to see you next year!

LVL goes to Hungary

Eydisphoto

In September Eydís will be representing our group at the CogInfoCom 2017 Conference. This will be LVL’s second time at CogInfoCom in Hungary, and we hope it will be an exciting conference with valuable insights. She will be presenting her paper “Cognitive workload classification using cardiovascular measures and dynamic features.” This will be Eydís’ last conference and paper before her study abroad semester starts later this year. So we hope she stays healthy and enjoys her time in Hungary.