Vecajai drukai – jauna elpa

Iespējams kāda mūsu lasītāja vecmāmiņas grāmatu plauktā vēl atrodamas vecas grāmatas, apdzeltējušām lapām, kas sarakstītas dīvainām rakstu zīmēm. Pie tam, atbildot uz jautājumu “kas tā par valodu?”, vecmāmiņa apgalvo, ka grāmata sarakstīta latviski. Ļoti iespējams jūsu vecmāmiņas īpašumā ir vecās rakstības (gotikas, fraktūras – kā nu kurā avotā pieņemts saukt) teksti. Piemēram, K. Herdera 1795. gadā izdotā “Ta pirma pawaru grahmata“:

Lai arī varbūt sākumā grūti pierast pie dīvainajām burtu formām, tomēr mazliet piešaujoties, tekstus var lasīt samērā raiti.

Šis , piemēram, ir burts “s”, bet šis  ir “ņ”.

Pāreja no vecās drukas uz jauno Latvijā notika diezgan ilgā laika periodā 20. gs. 20.-30. gados. Pie tam dažādi izdevumi tika galā ar jaunās drukas ieviešanu dažādos tempos. Piemēram, žurnāls “Ekonomists” jau 1923. gadā tika drukāts pilnībā jaunajā drukā:

kamēr laikraksts “Jaunākās ziņas” vēl 1930. gadā bija acīmredzamā pārejas procesā un tika iespiests joprojām dominējoši vecajā drukā:

Latvijas Nacionālās bibliotēkas (LNB) krājumos ir liels daudzums dažādu materiālu vecajā drukā: gan grāmatas, gan laikraksti un žurnāli. Daļa no vecās drukas materiāliem ir arī digitalizēti un pieejami Digitālajā bibliotēkā, taču tie nav apstrādāti tik detalizēti kā, piemēram, jaunās drukas avīzes, kas pieejamas atpazītā, segmentētā un meklējamā formātā “Periodikas” projekta lapā.

Tomēr LNB plāno rūpīgāk pievērsties arī vecās drukas materiālu apstrādei un tālāk – neliels apraksts par to, kā plānots apstrādāt gotikas tekstus un kādi iespējamie izaicinājumi sagaidāmi darba procesā.

1. Saburtošana

Tāpat kā jaunās drukas materiālu gadījumā, arī vecās drukas teksti vispirms tiks atpazīti ar kādas OCR programmas palīdzību. Gotikas tekstu atpazīšanu nodrošina gan ABBYY Finereader standartversijas, gan speciāli gotikas tekstu atpazīšanai veidotais ABBYY Finereader XIX.

Gotikas tekstu saburtošanas procesā teksts tiek atpazīts burtu pa burtam, nemēģinot uzminēt kāds varētu būt bijis kopējais vārds, respektīvi, netiek lietotas nekādas vārdnīcas, tāpēc, piemēram, no sekojoša teksta fragmenta:

tiktu iegūts šāds saburtojums:

Daudzās fabrikās strahdneeki paraduschi fabrikas administracijai un meistareem pasneegt dzimschanas, wahrda u. c. deenās dahwanas. Par scho jautajumu peeņemta sekoscha rezolucija: “Walde leek preekschā wiseem beedreem atteiktees no wisām tamlihdzigām dahwanu pasneegschanam administracijai. Tahda atteikschanās jaizdara caur rakztisku proteztu.”

Protams šāds te saburtojums tiktu iegūts tikai tad, ja atpazīšanas programmatūra darbotos absolūti nekļūdīgi, jo, piemēram, burtiem “s”, “z” un “f” atbilstošie simboli ir savstarpēji tik līdzīgi, ka pat nedaudz pabalējuša teksta gadījumā kļūdīties varētu arī speciāli apmācītas OCR programmas. Konkrētajā piemērā vārds , visticamāk, tiktu saburtots kā “peeņemia” vai pat “peeņemiu”, jo laika zobs to krietni pabojājis.

Papildus sarežģītību konkrēti latviešu valodas tekstu atpazīšanā rada tas fakts, ka mūsu gotikas simboli ir īpaši sarežģīti atšķirībā, piemēram, no vācu gotikas simboliem, ar kuriem ABBYY Finereader programmatūra tiek galā samērā labi. Tātad jau pirmajā gotikas tekstu apstrādes posmā – saburtošanā ir gaidāms liels kļūdu apjoms, ko ceram samazināt zem 20% robežas (arī nekas izcils, jo uz katriem 5 burtiem – 1 var būt atpazīts nepareizi).

Lai gūtu kaut kādu iespaidu par pašreizējo OCR kvalitāti, piedāvājam salīdzināt divus PDFus: oriģinālo teksta fragmentu un atpazīto rezultātu, kas iegūts ar ABBYY Finereader bez īpašas trenēšanas, norādot vien, ka tiek atpazīts gotikas teksts.

2. OCR kļūdu automatizēta labošana

Lai arī saburtošanas procesā noteikti radīsies OCR kļūdas, tomēr ir liela cerība daudzas no tām automatizēti salabot, ja izdosies izveidot tipiskos OCR kļūdu šablonus. Piemēram, latviešu valodas gotikas tekstos vārdu beigās konsekventi tiek lietots īpašs “s” burta apzīmējums, kas atšķiras no “s” apzīmējuma, ja tas atrodas vārda ietvaros.

OCR programmas mēdz kļūdīties un atpazīt augstāk redzamo vārdu kā “atteikschanāS”. Šajā gadījumā varētu automātiski vārda beigās samazināt burtu “S”. Citos gadījumos, iespējams, pēc nepareizas saburtošanas var iegūt rakstībā neeksistējošas burtu kombinācijas un aizstāt tās ar eksistējošām, piemēram, “kf” pārveidot par “kl”.

3. Ortogrāfijas translācijas likumu pielietošana

Kā noteikti jau esat pamanījuši, vārdi tekstā ir atpazīstami, taču praktiski neviens no tiem mūsdienās tā vairs netiek rakstīts. Zinātniski izsakoties, atšķiras jaunās drukas un vecās drukas tekstos lietotā ortogrāfija. Daži piemēri:

• strahdneeki – strādnieki
• paraduschi – paraduši
• meistareem – meistariem
• sekoscha – sekojoša

Ir situācijas, kad pielietojot īpašus ortogrāfijas translācijas likumus, vecās rakstības vārdu var pārveidot (vai vismaz tuvināt) jaunās ortogrāfijas formā.

Burtu kombinācijas “sch” vietā mūsdienās tiktu rakstīts “š”, bet burtu kombinācija “ah” vienmēr ir pārveidojama par burtu “ā”.

Diemžēl ne visi likumi izpildās ar garantiju. Piemēram, burtu kombinācija “ee” gandrīz vienmēr mūsdienās tiktu rakstīta kā “ie”, taču dažos gadījumos “ee” var nozīmēt arī “ē”. Īpaši amizanta šī situācija ir vārdā “meistareem“, kuru pat no teksta konteksta nevar viennozīmīgi atšifrēt, kas te oriģināli ir bijis domāts – “meistareem” tikpat labi varētu nozīmēt kā “meistariem”, tā “meistarēm”.

Pavisam skumīgi ir ar vārdu “sekoscha“, kas pēc ortogrāfijas translācijas likumu pielietošanas tiktu pārveidots par “sekoša”, kas ir diezgan tāls no mūsdienu rakstībā pareizā – “sekojoša”.

Šis ir kārtējais veco tekstu apstrādes posms, kur kļūdas diemžēl ir neizbēgamas.

4. Vārdnīcu pielietošana

Pat tad ja izdevies novērst visas OCR kļūdas un vārdam nevainojami pielietoti ortogrāfijas translācijas likumi, rezultātā tik un tā var iegūt vārdus, kādi mūsdienās netiek lietoti jeb, vienkārši izsakoties, vecvārdus.

Laika gaitā mainījušies gan amatu apzīmējumi (melderis, virēja, skroderis, u.c.), gan dažādi apzīmējumi (kamieši, avis, cunfte, u.c.), gan vietu apzīmējumi (Venden, Mittau, Konstantinopole, u.c.).

Vecvārdi rada divu tipu problēmas:

1. Lasītājam, kas neorientējas vecvārdu nozīmēs, var būt grūtības uztvert vecos tekstus.
2. Slikti darbosies atslēgvārdu meklēšana vecajos tekstos, jo, piemēram, meklējot atslēgvārdu “nieres” teksta fragments netiks atrasts kaut arī saturēs atbilstošo vecvārdu “īkstis”.

Vecvārdu un novecojušu vietvārdu radītās problēmas var risināt piesaistot vārdnīcas. Šeit gan nav pārāk plaša izvēle, jo praktiski vienīgā vārdnīca, kas ir pietiekami bagāta ar vecvārdiem, ir Mīlenbaha-Endzelīna vārdnīca. Par laimi, šī vārdnīca ir pieejama gan bibliotēkās, gan arī digitalizēta un apstrādāta LU Matemātikas un informātikas institūta (MII) Mākslīgā intelekta laboratorijā.

Šobrīd LNB sadarbojas ar LU MII, lai izstrādātu visas augstāk aprakstītās metodes vienotā rīkā.

Kāds no tā labums?

Gala lietotājam labums izpaudīsies pavisam vienkārši – varbūt kaut kad netālā nākotnē būs iespējams atrast teksta fragmentu pēc atslēgas vārda “tusiņš” pat tad, ja pašā tekstā būs minēta tikai .