Com extreure metadades amb AI Builder?
Què és AI Builder?
Durant els darrers anys, especialment el darrer any, s’ha notat un gran augment en l’interès sobre l’automatització de processos i la intel·ligència artificial.
Gràcies a la Power Platform, Microsoft ens ha donat diverses eines, com Power Automate i Power Automate Desktop per ajudar-nos a definir fluxos automatitzats que ens permetin eliminar del nostre dia a dia aquests processos repetitius que ens fan perdre productivitat.
La majoria dels processos que ens podem trobar dia a dia estan relacionats amb l’extracció de dades, de diferents tipus de documents, per imputar-los en diferents sistemes.
És aquí on entra en joc AI Builder, un servei dins de la Power Platform que ens proporciona diferents funcionalitats d’intel·ligència artificial, no només relacionada amb l’extracció de dades d’un document, sinó amb funcionalitats de reconeixement d’objectes en imatges, per exemple. detectar opinions positives o negatives sobre un text o detectar l’idioma d’un text i traduir-lo automàticament.
Però en aquest article, ens centrarem en les funcionalitats que treballen sobre documents.
Quins models predefinits podem trobar a AI Builder?
Per a l’extracció de dades de documents, hi ha una sèrie de models predefinits. Però què són aquests models predefinits i quins són? Passarem a veure cadascun d’ells i intentarem definir-los:
Extreure Informació de factures
Aquesta funcionalitat ens permet passar-li una factura qualsevol i que ens extregui la informació següent:
- Adreça del client
- Destinatari de la direcció de client
- Aneu del client
- Nom de client
- Data de venciment
- Data de factura
- Aneu de la factura
- Subtotal
- Impost total
- Adreça del proveïdor
- Destinatari de la direcció del proveïdor
- Nom del proveïdor
- Elements de línia
Extreure tot el text en fotos i documents PDF
Aquesta funcionalitat ens permet, com diu el títol, extreure tot el text d’una imatge o d’un document PDF.
Podeu veure-ho més clar a la imatge d’exemple:
Extreure informació de rebuts
Aquesta funcionalitat ens permet passar-li un rebut qualsevol i que ens extregui la informació següent:
- Nom del comerciant
- Adreça del comerciant
- Número de telèfon del comerciant
- Data de la transacció
- Hora de la transacció
- Articles adquirits
- Subtotal
- Impostos
- Total
Extreure informació de documents d’identitat
Aquesta funcionalitat ens permet passar-vos una imatge d’un document d’identitat qualsevol i que ens extragui la informació següent:
- Cognoms
- Nom de pila
- País
- Data de naixement
- Data de venciment del document d’identitat
- Número de document d’identitat
- Zona de lectura mecànica
- Nacionalitat
- Gènere
Extreure informació de targetes de visita
Aquesta funcionalitat ens permet passar-vos una imatge d’una targeta de visita qualsevol i que ens extragui la informació següent:
- Nom complet
- Cognoms
- Nom de pila
- Lloc
- Correu electrònic
- Adreça completa
- Nom de l’empresa
- Telèfon de treball
- Telèfon mòbil
- Fax
- Carrer de la direcció
- Ciutat de la direcció
- Codi postal de l’adreça
- País o regió de la direcció
Models Personalitzats
En el punt anterior hem vist que hi ha una sèrie de models predefinits que ens treuen certa informació sobre diferents tipus de documents, però hi ha dues situacions que normalment es presenten quan volem utilitzar aquests models.
La primera és la mala qualitat de les respostes per a alguns documents en concret, hi ha vegades que per exemple ens adonem que alguns documents amb certa estructura no ens tornen les dades esperades o directament ens torna les dades buides.
Un altre cas molt comú és que vulguem obtenir alguna dada diferent de les que ens tornen aquests models predefinits, per exemple, en un rebut d’un taxi els KMs que s’han recorregut.
En aquests casos, AI Builder ens dona la possibilitat de definir el nostre propi model personalitzat, farem un recorregut en la seva creació:
Com crear Models Personalitzats?
El primer que farem serà definir els camps que voldrem obtenir dels documents, aquests camps poden ser de 3 tipus diferents:
- Camp: Un text
- Casella
- Taula amb les seves columnes respectives
A la següent pàgina podrem afegir col·leccions, és possible que, si estem fent un model de factures, tinguem factures amb diferents estructures, en aquest cas podem crear diferents col·leccions per entrenar a continuació.
A la imatge a continuació podem veure que s’han generat una col·lecció per a dos tipus de factures diferents:
En el següent pas utilitzarem els documents pujats a les col·leccions per marcar les diferents dades dins de cadascun dels documents:
Per últim, entrenarem el model perquè es pugui utilitzar amb els connectors d’AI Builder.
Un cop entrenat veurem el resum del nostre model amb algunes mètriques de confiança.
Al botó de “Prova ràpida” podrem fer proves, passant-li algun document del nostre dispositiu i veient els resultats que aquest retorna.
Podeu conèixer més detalls sobre com crear models personalitzats de processament de documents aquí.
Com integrar AI Builder amb Power Automate?
Ara que ja coneixem tant els models predefinits com els models personalitzats, vegem com podem utilitzar cadascun dins d’un flux de Power Automate.
En afegir una acció en un flux de Power Automate ens trobarem el conjunt d’accions d’AI Builder següent:
Vegem, per exemple, l’acció de “Extreure informació de factures” (Model predefinit), on haurem de passar-li el contingut d’un document i l’interval de pàgines que volem passar-li del document. Si ho deixem buit, per defecte enviarà totes.
Fixem-nos que el contingut de l’arxiu el podem obtenir de diferents maneres, si és un document que tenim desat al núvol, ja sigui a una biblioteca de Sharepoint Online o a Onedrive, ja disposem de diferents accions que ens extreuen el contingut d’un fitxer concret :
En cas de conèixer l’extensió del fitxer i el contingut a Base64 d’un fitxer, també podríem generar una variable que accepti l’AI Builder amb l’acció Redactar, generant un Json amb el tipus de contingut del fitxer i el contingut a base64.
Vegem a continuació el resultat d’executar l’acció d’AI Builder:
Veiem totes les dades que ens treuen i a més ens dona un valor de confiança en el resultat obtingut, permetent així aplicar una lògica d’acceptació dels resultats en funció d’aquest valor.
Vegem ara com fer servir un model personalitzat.
Hi ha una altra acció anomenada “Extreure informació de documents”, on podrem passar-li el Model personalitzat que vulguem utilitzar, l’extensió de l’arxiu i el contingut del fitxer, a més, podrem indicar quines pàgines volem processar:
Com podem veure, els resultats són tornats de la mateixa manera.
Quines conclusions podem treure de l’ús d’AI Builder i la seva integració amb Power Automate?
Amb aquestes noves funcionalitats que ens brinda AI Builder, podem integrar-nos amb Power Automate per automatitzar processos, per exemple, la recepció de certs documents, extreure’n les dades utilitzant AI Builder i imputar-los a qualsevol tipus d’origen de dades, estalviant així temps i realitzar-lo tasques repetitives a diferents usuaris, que podrien emprar aquest temps en tasques que aportin més valor a la nostra empresa.