Microsoft Fabric: Un nou paradigma en les dades

La innovació contínua (frenètica, però controlada, m’atreviria a dir) és una marca de la casa de Microsoft en aquests últims anys. Una vegada passada l’explosió de la IA a la fi del primer trimestre d’enguany i de la seva integració en Bing, Azure Open AI i tots els copilots que estan per arribar, la companyia de Redmond fa un volt més a la gestió de les Dades cobrint assignatures que tenia “arracades” dins de la seva oferta de prestacions amb la presentació de Microsoft Fabric.

“Totes les dades. Tots els equips. Tot en un sol lloc”, és el lema amb el qual Microsoft ens resumeix Fabric, una suite que ens permet:

• Unificar la nostra estructura de dades el centre únic de les quals són els data lakes.

• Administrar models de IA sobre aquesta única estructura.

• Capacitar i ajudar a tots en la nostra companyia en el procés de presa de decisions a partir de les conclusions que ens brinda Fabric després de l’anàlisi de les dades.

• I, per descomptat, tot això amb seguretat, compliance i governance de dades integrada.

Fabric ens permet treure partit d’aquests 4 punts oferint-nos aquesta arquitectura:

Un únic origen, una millor col·laboració

Podem veure que la base fonamental, el centre de tot l’ecosistema Fabric és OneLake: un data lake únic i unificat per a tota l’organització. De manera similar al que ocorre amb OneDrive i els tenants de Microsoft, cada tenant de Microsoft Fabric té el seu propi OneLake que ha de ser l’únic lloc on emmagatzemar totes les analítiques i dades. 

Aquesta unificació de dades millora notablement la col·laboració entre tots els professionals de dades de la nostra organització. Enllaça entre si totes les eines adaptades a cadascun dels rols dels nostres experts de dades, experiències i tecnologies. Per això, permet que les persones treballin amb elles de manera instantània:

D’aquesta manera Microsoft Fabric fica a la nostra disposició: 

• Synapse 

• Power BI 

• Data Factory 

• Data Advisor (de moment en versió preliminar) 

Al llarg de l’article aprofundirem en cadascun dels punts anteriors.

Capacitats basades en IA

En Microsoft Fabric disposem de totes les característiques de IA disponibles, tant en Azure OpenAI com Copilot. Utilitzant llenguatge natural per a operacions des d’integració de dades fins a informes. D’aquesta manera podem centrar-nos en treure valor de les nostres dades. Copilot juga un rol crucial: Ajuda en DataFlows, Data Pipelines i guia en la creació de models ML.

En aquest vídeo podem observar algunes pinzellades d’aquestes característiques:

I sobretot, el més important, la premissa i el mantra més important és que és un entorn de confiança:

• Les nostres dades són nostres i només nostres

• Les nostres dades no són utilitzats per a entrenar, reentrenar o millorar els models de Microsoft ni de terceres companyies.

• Les dades estan protegides mitjançant els controls més exhaustius de seguretat i de compliance.

• Compromís d’emmagatzemar i tractar les dades dins de la UE (EU Data Boundary)

Microsoft Synapse 

Un altre dels elements que constitueixen Microsoft Fabric és Synapse que, al seu torn, es divideix en 4 aspectes important:

• Enginyeria de dades: Transformació de dades a gran escala:

• Crear i administrar les dades mitjançant un magatzem de llac 

• Dissenyar canalitzacions per a copiar dades en el magatzem de llac 

• Usar definicions de treballs de Spark per a enviar un treball per lots o streaming a un clúster de Spark

• Usar quaderns per a escriure codi per a la ingesta, preparació i transformació de dades 

• Emmagatzematge de dades: oferint un rendiment SQL màxim acompanyat la capacitat d’escalar la computació i l’emmagatzematge de manera independent. 

• Data Science: Creació de models predictius sense perdre el poder de la col·laboració en l’entrenament, la implementació i l’administració de models de machine learning. Acompanyant-nos en tot el procés des de la formulació del problema fins al resultat.

• Anàlisi en temps real: Això és, tenir les conclusions de les nostres dades en temps real a partir d’una anàlisi de grans volums de dades d’aplicacions, llocs web i IoT. Aquest punt, té el seu pic d’utilitat en què responen a preguntes com:
  • Necessito una actualització alta de la ingesta de dades per a realitzar consultes?
  • Vull transformar les dades de streaming? 
  • Tinc un servei que necessiti accedir a les dades amb baixa latència de consulta (en qüestió de segons)? 
  • Necessito buscar o accedir a dades en diferents formats, com a dades estructurades, dades semiestructurades (incloses dades complicades com JSON o altres matrius) o dades no estructurades (per exemple, text lliure)? 
  • Vull la capacitat de consultar grans quantitats de dades? 
  • Les meves dades tenen un component de temps que pot beneficiar-se de l’estructura de base de dades optimitzada per a sèries temporals? 
  • Vull la capacitat de crear consultes ad hoc en qualsevol camp o fila sense optimització prèvia?

Microsoft Power BI

De tot l’univers Fabric potser l’actor més conegut. En aquesta nova iteració de Power BI podrem disposar de: 

• Hub de dades: creació d’un repositori de dades segur i de confiança que brindi l’oportunitat a tota l’organització de trobar i analitzar les dades adequades. 

• Creació d’informes que ens permetin treure conclusions clau alhora que visualment atractives mitjançant un dissenyador d’informes de molt fàcil ús:

• Copilot per a la creació i l’anàlisi d’informes

• Integració amb Microsoft 365

Microsoft Data Factory 

Podríem resumir Microsoft Data Factory com l’eina ETL de Fabric. 

Les seves funcionalitats van des de la Integració de dades recopilant dades de diferents orígens (tant locals com On Cloud), amb més de 100 connectors disponibles; passant per la ETL autònoma i sense codi dels Data Flows i els Data Pipelines fins a la gestió de la canalització en la consolidació de dades híbrides per a ser supervisats i administrats.

Data Activator 

Data Activator és un producte sense necessitat de codi en Microsoft Fabric que monitora dades i activa accions quan es compleixen condicions comercials. 

Per exemple, pots enviar alertes per correu electrònic quan les dades d’ingressos per vendes en el teu informe de Power BI cauen per sota d’un llindar. De manera similar, pots enviar una notificació en Microsoft Teams quan la temperatura d’un paquet perible supera un llindar. 

Podem entreveure doncs que Data Activator ens ofereix: 

• Supervisió de dades en temps real 

• Creació d’alertes configurables 

• Desencadenar accions humanes i automatitzades com a resposta a aquestes alertes 

Tot sense necessitat de codi. 

Microsoft Fabric és un gran pas en l’evolució de la gestió i anàlisi de dades al mateix temps que aprofitem les, cada dia millors, capacitats de la IA. 

En aquests moments Microsoft Fabric encara està en preview. Per això us animem que ho proveu i pugueu veure de primera mà totes aquestes característiques que hem repassat en aquest article: Prova Fabric.

Microsoft Fabric respon a la Gestió Unificada de Dades i Potència de la IA

En resum, Microsoft Fabric integra data lakes, IA i seguretat en una única plataforma. Permet a les organitzacions consolidar la seva informació, impulsar anàlisis profundes i prendre decisions fonamentades. Amb eines com Synapse, Power BI, Data Factory i Data Activator, Microsoft no sols demostra el seu compromís amb la innovació, sinó que també facilita el camí cap a un futur on la gestió i anàlisi de dades es fusionen de manera cohesiva.

Si desitges obtenir més informació sobre Microsoft Fabric o si tens alguna pregunta addicional, no dubtis a contactar-nos. Estarem encantats d’ajudar-te i proporcionar-te la informació que necessitis.

Oriol Fernandez – Product Owner at Itequia