Itequia

Creación de modelos personalizados y aprendizaje semi-automático con ai builder

AI Builder dashboard showing a list of prebuilt and custom models for tasks like document processing, sentiment analysis, and object detection.

Dentro de la creación de procesos automáticos en el entorno de Microsoft 365, encontramos herramientas como Power Automate y AI Builder. Estas herramientas nos ayudan en la creación de procesos automáticos. En este artículo, descubriremos como podemos utilizar una nueva acción dentro de AI Builder. Esta acción permite entrenar automáticamente nuestros modelos a medida utilizando resultados anteriores. 

INTRODUCCIÓN a LOS MODELOS PERSONALIZADOS 

Dentro de la web de la herramienta Power Platform, en el menú de la parte izquierda, podemos viajar a la opción Centro de IA. En la parte inferior, podremos ver los modelos a medida que hemos creado o han compartido con nosotros. 

List of recently created AI models with details such as name, owner, permissions, status, and last training date.

cREACIÓN DE MODELOS PERSONALIZADOS 

Vamos a ver los pasos que se han de seguir para crear un modelo personalizado. Partiremos de un ejemplo de modelo de facturas de taxi que he creado.

En la primera página, podremos elegir el tipo de documento que vamos a tratar. Nosotros optaremos por “Documentos de plantilla fija”.

Interface for selecting document types to process, including templates, general documents, and invoices, with a sample form from the School of Fine Art.

La segunda pantalla, nos permitirá seleccionar los campos, asignándoles un nombre y un tipo. En este caso, intentaremos extraer la hora, el importe y el número de kilómetros.

Field selection interface for document processing, allowing users to define text, number, date, checkbox, table, and signature fields.

El tercer apartado nos permite crear colecciones para cargar documentos de prueba para el entrenamiento. Fijémonos en un origen especial que se nos da, el “Bucle de retroalimentación”. En este momento, tenemos 0 elementos disponibles.

Document collection interface showing a group named 'Colección 1' with five uploaded documents for model training.

Por último, la última página nos permite marcar los distintos campos y asociarlos a los que hemos creado.

Close-up of a taxi receipt used for training, displaying fields like license number, start and end time, distance, service charge, and total amount.

EXTRACCIÓN DE DATOS USANDO EL MODELO PERSONALIZADO 

En nuestros flujos de Power Automate, podremos utilizar nuestros modelos personalizados para extraer información de documentos. En nuestro caso de ejemplo, podremos extraer información de facturas de taxis usando la acción “Extraer información de documentos”. Marcaremos el uso de nuestro modelo de facturas de taxi, el tipo del documento y el contenido del documento.

AI Builder interface for extracting data from JPEG-format taxi invoices using a custom model.

CONFIANZA EN LOS VALORES DEVUELTOS POR AI BUILDER 

Para cada uno de los valores devueltos, AI Builder nos dará una puntuación del 0 al 100% de la confianza que tiene en que el dato es correcto. Esto nos permite fiarnos y automatizar el proceso aplicando un umbral mínimo para esta confianza. En nuestro caso, hemos establecido un valor del 85%. Es decir, si la confianza supera el 85%, nos fiaremos del dato y seguiremos con el proceso automático. Si no, lo dejaremos para el procesamiento humano.

Extracted data preview showing a time field with a confidence score of 0.995.
Conditional workflow in Power Automate based on AI confidence score, triggering different actions depending on the result.

MEJORA AUTOMÁTICA DEL ENTRENAMIENTO 

Tal y como hemos visto en el punto de entrenar a nuestro modelo, no podemos automatizar totalmente el entrenamiento de estos modelos a partir de resultados extraídos del uso de nuestro modelo en nuestros flujos. Sin embargo, Power Automate ahora ofrece una nueva acción que añade valor al entrenar nuestros modelos. Esta acción se llama “Guardar archivo en el bucle de comentarios de AI Builder”.

En esta acción, enviaremos el archivo al apartado que he nombrado previamente como “Bucle de retroalimentación” en la edición de nuestro modelo. Este punto es interesante si lo combinamos con el tema de la confianza comentado anteriormente. Cuando los resultados de la extracción con nuestro modelo sean positivos, los enviaremos a este apartado. Así, de manera sencilla, una persona podrá reentrenar de nuevo el modelo solo con archivos que estén dando resultados positivos.

AI Builder configuration window for saving a file in the feedback loop, showing selected model 'taxi invoices' and source fields like body and title.

Si queremos seguir mejorando el funcionamiento de nuestro modelo, debemos seguir reentrenándolo. Y qué mejor manera de hacerlo que con casos reales que se han ido procesando. Por eso, es importante que el encargado de mantener el modelo lo reentrene periódicamente con estos archivos enviados directamente desde los flujos. Al entrar a la lista de modelos, lo verá marcado de este modo.

List of AI models including 'taxi invoices' and a document processing model, with details such as owner, status, and last training date.

Una vez que entramos en la edición y vamos a la parte de añadir nuevos documentos a las colecciones, veremos lo siguiente:

Interface for managing document collections in AI Builder, showing a notification about new feedback loop documents and an existing collection named 'Colección 1'.

Y si hacemos clic en la colección para añadir un nuevo documento, veremos que ya tenemos N elementos. N será el número de documentos procesados con éxito por nuestro modelo.

Data source selection screen in AI Builder with options like My Device, Feedback Loop, SharePoint, and Azure Blob Storage.

CONCLUSIÓN 

Si bien aún no podemos realizar un entrenamiento totalmente automático dentro de nuestros modelos de AI Builder, hemos logrado un gran avance. Podemos mejorar la eficacia de nuestros entrenamientos y enviar archivos a nuestros modelos de forma automática. Esto evita subir archivos de poca calidad que bajen el rendimiento de nuestros modelos.

Veamos si en el futuro aparece la única acción que nos falta para automatizar completamente este paso. Esta acción nos permitiría ahorrarnos el último paso de ir al modo de edición del modelo, añadir, entrenar y publicar la nueva versión del modelo.

¿Te gustaría mejorar la automatización de tus procesos con Power Automate y AI Builder? ¡Empieza hoy mismo y descubre cómo estas herramientas pueden transformar tu flujo de trabajo! Contáctanos.

Adrian Cano Esteban – Architecture Team – Lead Developer at Itequia