Skok na sadržaj
Pregled Pregled Vesti Vesti
Podeli
Tehnologija 24. oktobar 2022. 8 min

Korišćenje regularnih izraza REGEX za automatizovano prikupljanje i ekstrakciju podataka (deo 2)

Zahvaljujući OCR-u, AI i REGEX-u u PaperOffice-u, moguće je potpuno osigurati inteligentnu obradu dokumenata.

Poverenje vodećih kompanija širom sveta

Svi članci Tehnologija

U tekućem članku pokazati ćemo vam kako možete koristiti regularne izraze da biste uživali u prednostima automatizovane obrade dokumenata. Ovo je posebno važno za dokumente kompanija iz svih industrija.

Prikazaćemo vam tačne primere regularnih izraza i objasniti korak po korak šta oni znače i kako ih možete koristiti.

Na ovaj način možete povećati poslovnu efikasnost, smanjiti ljudske greške putem veće tačnosti, smanjiti trenutne troškove, čuvati celovitost podataka i poboljšati bezbednost podataka.

Ovaj trenutni članak proširuje prvi deo o inteligentnoj obradi dokumenata, ovde možete direktno pristupiti članku.

Izdvajanje određenih elemenata podataka iz dokumenata može biti vrlo skupo i vremenski zahtevno. Skenirani dokumenti se često šalju velikim spoljnim (outsourcing) kompanijama za unos podataka, gde se podaci ručno unose.

Međutim, ovaj pristup ima nekoliko nedostataka, kao što su:

  • Bezbednost dokumenta može biti ugrožena
  • U radne procese se uvodi kašnjenje
  • Ručno indeksiranje je spor proces u poređenju sa automatskim izvlačenjem
  • Ručno indeksiranje nije lako skalabilno za velike projekte
  • Ručno indeksiranje može uneti greške u podatke
  • Ako se dokument promeni, ceo proces se mora ponovo pokrenuti

Kao i mnogi drugi.

Usred širenja skeniranja, veći deo poslovnih transakcija i dalje se zasniva na papirnim dokumentima. Približno 85% računa još uvek se šalje na papiru.

Takođe postoji gomila papira koja mora biti čuvana u ogromnim skladištima!

Šta je regularni izraz?

Regularni izrazi, takođe poznati kao "Regex", su moćan alat za pretragu i manipulaciju tekstom. Omogućavaju prepoznavanje i menjanje kompleksnih obrazaca u tekstu.

Regularni izraz sastoji se od kombinacije običnih slova i posebnih meta-karaktera koji imaju posebne funkcije.

Regularni izrazi mogu se koristiti i za zamenu ili manipulaciju teksta. Na primer, regularni izraz može se koristiti.

Oni su veoma moćan alat za obradu teksta i automatizaciju zadataka.

Kako regularni izrazi mogu pomoći automatizaciji kompanije?

Povećanje digitalnih dokumenata sa različitim tipovima, različitim pravilima naziva i nedostatkom sistema pretrage usložnjava proces pretrage i izvlačenja informacija iz dokumenata o određenim sadržajima, posebno kada su u pitanju neklasifikovani dokumenti, pretraga je netačna i dugotrajna.

Regularni izrazi (Regex) pružaju brz i moćan način pretraživanja, izvođenja i zamene određenih podataka u dokumentima. Regularni izrazi su u osnovi specijalni nizovi karaktera koji opisuju obrasce pretrage.

Na ovaj način se pretražuje i izvlači sadržaj dokumenta nakon definisanog niza karaktera.Regularni izrazi su način da se definišu obrasci u informacijama pomoću specijalnih simbola.

Metoda regularnih izraza najbolje se primenjuje na dokumente čiji se položaji vrednosti koje treba izvući mogu varirati i jednostavne obrasce dokumenta ne mogu uspeti.

Spisak jednostavnih izraza možete pronaći na našem ComDesk.

PaperOffice zbirka primera za Regex

Kako mogu napraviti regularni izraz?

Regularni izrazi mogu se sklapati na različite načine, u zavisnosti od tipa obrasca koji se pretražuje.

Koriste meta-karakteri kao što su ., *, +, ?, ^, $, [] i [a-z], da bi predstavili određene tipove karaktera ili obrazac.

Koriste opcionalne delove: Koristite znake pitanja (?) ili zvezdicu (*), da bi delovi obrasca bili opcionalni.

Koriste grupe: Koristite zagrade da bi grupisali delove obrasca i tretirali ih kao jedinicu.

Važno je napomenuti da pravila za regularne izraze mogu varirati od jezika do jezika programiranja. Stoga je bitno pročitati dokumentaciju o korišćenim alatima. Regularni izrazi napisani za PaperOffice moraju biti kompatibilni sa ECMAScript i PCRE2.

Savet

Na YouTube-u takođe postoji video koje jednostavno i razumljivo objašnjava postupak automatskog arhiviranja / regularnih izraza i promenljivih / avtomatsko obrada računa:

PaperOffice: Regularni izrazi (REGEX) u praksi

Kako da ekstraktujem informacije iz mog dokumenta sa REGEX?

Praktični primeri

U ovom članku prikazujemo kako pomoću višeelementnih regularnih izraza u PaperOffice-u možete ekstrahovati bilo koje podatke iz dokumenta i automatski ih označiti kao metapodatke dokumenta.

U nastavku smo kreirali primer dokumenta koji sadrži određeni datum. Reč je o računu. Format datuma u našem primeru je sledeći:

PaperOffice račun se čita pomoću Regex-a

Naziv meseca se sastoji od slova, pri čemu je prvo slovo uvek veliko, nakon čega sledi razmak, zatim dan, zarez, još jedan razmak i godina.

Naprimer: Sep 20, 2019 ili Mär 05, 2022

Da bismo ovaj datum izdvojili, mogli bismo koristiti sledeći regularni izraz (REGEX):

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

Razložimo izraz na pojedinačne grupe. Ove grupe su odvojene jednostavnim zagradama ().

U prvoj grupici tražimo 3 slova meseca: ([A-Z][a-zä]{2})

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

Ekstrakcija naziva meseca

  • [A-Z] Ova niz karaktera znači da tražimo veliko slovo od A do Z. Na primer, slovo „S“ iz „Sept“. Imajte na umu da se razlikuje velika i mala slova.
  • [a-zä]{2} Ova niz karaktera znači da tražimo dva mala slova od a do z, kao i ä (za nemački naziv meseca „März“). To će biti ep iz „Sep“ ili är iz „Mär“.

Zatim tražimo razmak sa ovom sekvencom: \s

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

Ekstrakcija naziva dana

U drugoj grupici tražimo oznaku dana u brojevima: (0[1-9]|[12][0-9]|3[01])

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

Oznaka dana mora biti odvojena sa tri različite instrukcije.
Budući da ne znamo koji datum se može pojaviti u dokumentu, moguće je da je naveden prvi dan (01) ili poslednji dan (31) meseca, stoga moraju biti navedene različite varijante.
Razdvajaju ih simbol “|”.
Primer: (1|2|3) = 1 ili 2 ili 3.

Uglaste zagrade sadrže popis važećih znakova. Više uglastih zagrada odgovara skupu znakova.Ako izraz treba da opiše više znakova, oni se jednostavno postavljaju jedan za drugim. Tada se unos upoređuje sleva na desno sa vašim izrazom.

Naravno, nije potrebno uvek navoditi sve brojeve. Ceo fragment u zagradama označava samo jedan znak.

  • 0[1-9]Ova linija znači da broj može početi sa „0“, a zatim sledi broj od 1 do 9. Iz toga proizilici svaki broj od 01 do 09.
  • Ova linija traži numerički obrazac koji počinje nulom. Ako vaš dokument obično sadrži datum poput „5. mart 2022“, ovo vodeće „0“ ispred broja „5“ u liniji nije navedeno ako nema prefiksa.
  • [12][0-9]Ova linija znači da broj može početi sa „1“ ili „2“, a zatim sledi bilo koji broj od 0 do 9. Iz toga može nastati svaki broj od 10 do 29.
  • 3[01]Ova linija znači da broj može početi sa „3“, a zatim sledi „0“ ili „1“. Iz toga mogu nastati 30 ili 31.

Nakon što su definisane opcije za dan, treba odrediti izraz za godinu.

Sada tražimo zarez i razmak: ,\s

([A-Z][a-zä]{2})\s(0[1-9]|[12][0-9]|3[01]),\s(20\d{2})

Izdvajanje godine

U poslednjoj grupi tražimo godinu: (20\d{2})

([A-Z][a-zä]{2})\s(0[1-9]|[12

Izdvajanje broja na nalogu koristeći REGEKS

Kao još jedan primer, želeli bismo da izdvojimo broj naloga iz dokumenta.

Varijable se čitaju iz dokumenta i pripremaju

Broj naloga na našem dokumentu ima sledeći format:

Uvek započinje glavnim slovima XYB, zatim sledi crtica, zatim 8 cifara, još jedna crtica i na kraju 3 slučajna glavna slova.

Primeri brojeva naloga bili bi:

XYB-12316723-LSH

XYB-98456723-JRD

Za izdvajanje ovog broja naloga, možemo koristiti sledeći regularni izraz:

XYB-\d{8}-[A-Z]{3}

Dozvolite nam da razbijemo izraz na delove.

Prvo tražimo precizno prvih 3 glavna slova sa svestranim simbolom: XYB-

XYB-\d{8}-[A-Z]{3}

Zatim tražimo 8 cifara, za njima još jedna crtica: \d{8}-

XYB-\d{8}-[A-Z]{3}

Znak \d, kao što je već opisano, predstavlja cifru između 0 i 9, ponovo znak \d{8} traži digit iz osam cifara.

Na kraju tražimo 3 proizvoljna glavna slova: [A-Z]{3}

XYB-\d{8}-[A-Z]{3}

Na ovaj način bi PaperOffice izdvajao sledeće brojeve naloga:

XYB-12316723-LSH

XYB-98456723-JRD

XYB-975432671829

ZYB-12342176-ZHD

primetio bi XYB-12316723-LSH i XYB-98456723-JRD od ovih brojeva naloga

.

Pripremili smo lank na Regex101 za ovaj primer, gde su navedeni regularni izraz i četiri primera. Vidićete da samo dva od navedenih brojeva dospevaju u naše zahteve.

Izdvajanje broja artikla pomoću REGEKSa

Broj artikla na našem dokumentu formatiran je na sledeći način:

Uvek započinje sa dva glavna slova, zatim sledi crtica, za njima je 6 cifara.

PaperOffice račun se čita pomoću Regex-a

Primeri brojeva artikla bili bi:

MS-863398

DS-452829

Za izdvajanje ovih brojeva artikla možemo koristiti sledeći regularni izraz:

[A-Z]{2}-\d{6}

PaperOffice može digitalizovati vaše dokumente i integrisati ih u vaše sisteme kako bi automatizovao ekstrakciju podataka sa računa i drugih dokumenta, bez pisanja i održavanja beskrajnih kodova.

Kontaktirajte nas da razgovaramo o vašim slučajevima upotrebe i da saznanje kako PaperOffice može pomoći da ostanete konkurentni u digitalnom dobuć.

Počne prevaljivati lakše nego što mislite.

Da li se i dalje bojite da ne možete uspeti? Pročitajte studije slučajeva naših korisnika o integraciji PaperOffice u poslovni život i uverite se sami o njenoj jednostavnosti, ili zahtevate besplatnu instalaciju testiranice.

Za kogo je prilagođena bezpapirna kancelarija?

Brzo i jednostavno pitanje je: za svaku kompaniju. Sve industrijske i veličine kompanija, od MMS (mala i srednja drugacija) preko početnih kompanija do velikih preduzeća, mogu da imaju koristi od bezpapirne kancelarije. Međutim, prelaz na bezpapirnu kancelariju najvredniji je za MMS to je: Smanjujući vreme i trošake obrade, budžet za poboljšanje rastućih poslova osobodi.

Da li mogu da koristim cloud-program pokaranice provajdera za digitalni DMS provajdera u svom „bezpapirnom” ofisu?

Ne. Još jedan faktor koji se nalazi u ustama, Kako je postalo jasno poslezanjima GDPR-a, koje su poslednji put ulažavali 2018. godine, jeste zaštita podataka. DMS rešenje i vozačka sopstveni korisnički sadržej, upravljanje i skupljanje dokumentacije koja često sadrži osetljive, lične podatke. U slučaju kršenja GDPR, zahtevi imaju visoke kazne.

  • Prednosti opravdavaju ulaganje i trošak
    Digitalni rad i pretvaranje starih dokumenata u novo doba je najbolja investicija koja će ubuduće štedeti neverovatno mnogo vremena, novca i nervoze.
  • Potreban vam je neko ko se razume
    Vama neće biti potreban IT stručnjak da biste iskoristili sve prednosti digitalizacije.
    Ono što vam je potrebno je pravi partner uz vas, koji možete da se naslonite na njegovo iskustvo da biste ostvarili onu stvar koja vam je potrebna. Izbegavajte ljude koji izazivaju paniku i umesto toga radite testiranja, umesto da se samo uživite u lepe PowerPoint prezentacije.
  • Većina hardvera je već na raspolaganju
    Iskustvo pokazuje da svaki pretprijatije, firma ili kompanija već ima veliki kopir da nije iskoristio svoj potencijal. Ovi aparati vole velike skenove, tolerantni su na sprajs, i mogu koristiti kao osnova za digitalni početak bez ulaganja u skenere.
  • Jeftinije nego što se očekuje sa pravim DMS-om
    Izbegavajte zamke u vezi DMS/ECM sistema, gde ste potpuno pod kontrolom proizvođača. Ne pravite kompromise u vezi vaših mogućnosti upravljanja, kao što je učitavanje dokumenta i postavljanje parametara. Ako vam je potrebna pomoć, proizvođač će vam rado pomoći, ali ostanite samostalni i nezavisni.
  • Digitalna automatizacija je budućnost
    Procesi će se u budućnosti odvijati isto, ali potpuno automatski.
    Došla vam je faktura? Automatski će se pokrenuti radni ciklus i sve će ići prema predhono definisanom putu.
    Pretraživanje svih 1000 ficija? Nije problem, jer imate svoju ličnu Google pretragu!

O autoru

PaperOffice AI Tim

Sadržaj i istraživanje

Naš stručni tim AI stručnjaka, inženjera i industrijskih eksperata izvještava o najnovijim razvojem u AI, AI-IDP i inteligentnoj automatizaciji dokumenata – sa preko 24 godine iskustva.

Podelite ovaj članak LinkedIn

Nemojte propustiti sledeći članak

Dobijajte najnovije uvide o AI i automatizaciji dokumenata direktno u vašu poštansku kutiju.

Spremni za budućnost?

Otkrijte kako PaperOffice AI može revolucionizirati vaše dokumente.

Gde želite da isprobate PaperOffice?

Računar i pametni telefon su povezani: radni prostor na računaru, prikupljanje na telefonu.

Vaš probni period je spreman

Gde želite da počnete?

Puna verzija radnog prostora optimizovana je za računare. Mobilna verzija je pogodna za prikupljanje, proveru i odobravanje dokumenata.

app.paperoffice.ai

Započnite na računaru

Poslaćemo vaš lični link za pristup na vašu e-mail adresu.

Otvorite PaperOffice Mobile

Prikupljajte i obrađujte dokumente direktno putem pametnog telefona.

Otvori mobilnu verziju
Registrovati se besplatno Otvori aplikaciju Aplikacija PaperOffice Kompletan proizvod: veb, računar i mobilni uređaj. Snimajte, organizujte, pretražujte dokumente i radite na njima sa timom. Potreban je besplatan nalog Otvori Playground Playground Izabrane funkcije odmah — bez registracije, sa ograničenim demo API ključem. Bez registracije, ali sa ograničenim demo API ključem