Descubra la información de los datos con la IA generativa

Llegan nuevas herramientas a diestra y siniestra. Como probablemente sepas, la IA es la nueva palabra de moda en la ciudad. Constantemente surgen nuevas oportunidades para usar la IA en nuevas áreas. Esta es una de ellas.\ Es bastante común querer crear paneles con gráficos, estadísticas y todo lo que necesita para entender sus datos. Ya sabes: «¿Cuánto gastamos en X?» , «¿Cómo es el comportamiento estacional de nuestras ventas?» , ese tipo de cosas. Los consumidores de estos paneles suelen incluir personas sin conocimientos técnicos, como los gerentes. Solo quieren saber cómo va la empresa. Existe una desconexión entre los fabricantes de estos paneles (personal técnico) y los consumidores (personas sin conocimientos técnicos). Con los LLM podemos cerrar la brecha. Deje que los gerentes simplemente pedir preguntas y obtenga sus tramas, sus métricas o incluso nuevas preguntas interesantes para explorar.

Esa es la esencia principal. Suena genial, pero está lejos de ser perfecto. Un error común con todas las palabras de moda de la IA es no tener una canalización adecuada para poder aprovecharla.

Necesitas ordenar tus datos

Querer hacer IA está bien, pero no es tan sencillo. Tener los datos listos para el consumo es lo más importante. Las opciones que presentamos a continuación lo necesitan. No hay atajos. ¿Tienes siquiera los datos? ¿Dónde está? ¿Está en varias bases de datos? ¿Se usa con fines operacionales/transaccionales? \ Todo esto y mucho más son requisitos previos antes de que puedas pensar en añadir la IA a tus análisis. No es una tarea fácil. Necesita ingenieros de datos para configurar las canalizaciones a fin de integrar sus fuentes y realizar las transformaciones pertinentes. Ahí es donde entra en juego la pila de datos moderna.

La pila de datos moderna

Si bien cada negocio es único, hay patrones repetitivos que en realidad no cambian demasiado. Las empresas suelen utilizar los datos por dos motivos.

• En primer lugar, los datos transaccionales que se utilizan con fines operativos. Es decir, para gestionar realmente el negocio (almacenar las imágenes, guardar la información de inicio de sesión de los usuarios, los pedidos, ese tipo de cosas).
• Luego, aprovechar los datos para mejorar u obtener una mejor comprensión del negocio. Aquí encontrará sus algoritmos de visualización de datos y aprendizaje automático.

Sin embargo, por lo general, no es una buena idea que estos dos casos de uso utilicen los mismos datos directamente. Los análisis a gran escala pueden reducir el rendimiento de sus operaciones de transacción. La pila de datos moderna consiste en la colección habitual de recursos y procesos que necesita para gestionar los datos de su empresa con el fin de utilizarlos en el análisis. Es la infraestructura que necesita, sus almacenes de datos, sus transformaciones, sus visualizaciones y su flujo de trabajo.

Tenemos nuestra propia versión de la pila de datos moderna. Ya hemos hablado de ello ([1], [2]). Pero, ¿cómo encaja nuestra visualización asistida por IA en la pila de datos?

Por lo general, debe hacer que su OLAP ingiera datos de sus fuentes principales y procesarlos. El hecho de hacerlo cada x veces o de forma continua depende de la aplicación. Para nuestros propósitos, diariamente debería ser suficiente. Es una buena idea copiar algunos patrones prediseñados para esto. Una vez que tenemos los datos procesados, simplemente es cuestión de dirigirlos a la fuente adecuada. La parte más difícil es canalizar todos estos datos y encontrar la transformación adecuada

Bien, tenemos nuestra canalización de datos lista, ahora a nuestro objetivo real: hacer BI con IA

Hay diferentes opciones

Hemos comprobado un par de opciones para hacerlo. Aún tendrías que explorar tu caso de uso particular. Podemos dividirlos en 3 categorías principales. Todas las alternativas aún son nuevas, por lo que aún no son opciones maduras.

• SaaS. Al utilizar opciones prefabricadas enlatadas que existen, suelen ser más fáciles de usar y no tienes que preocuparte por su comportamiento interno. El precio varía pero, por lo general, no es barato
• Llamadas a la API: aprovechar las llamadas a LLM de terceros para hacerlo por su cuenta
• Totalmente local: haga que todo funcione en su propia infraestructura

En las siguientes secciones, ejemplificamos cada categoría y profundizamos en sus ventajas y desventajas.

AWS Q en QuickSight

AWS lanzó recientemente un nuevo servicio llamado AWS Q, que utiliza la magia del LLM para ayudar a las personas con sus preguntas sobre AWS. Todavía está en versión preliminar, por lo que es bastante nuevo. También tienen AWS Q en QuickSight, que permite a los usuarios hacer esto de la inteligencia artificial y la inteligencia empresarial. Haces preguntas en lenguaje natural y obtienes un resultado. Lo bueno de esto es que no tienes que preocuparte demasiado por cómo hacer que funcione. Es una función tipo plug and play. Es compatible con varios tipos de fuentes, tanto de AWS (como S3 o Redshift) como de sus propias bases de datos locales,

Sin embargo, es posible que las respuestas de la IA sigan siendo incorrectas. Debes tener cuidado y puedes verificar las respuestas. Además, es posible que tengas que asignar manualmente nombres descriptivos a las columnas y sinónimos para que el trabajo de LLM sea más fácil y preciso. Ahora, hablando de precio, no es particularmente barato, pero esto puede cambiar mucho con el tiempo. Tienen diferentes planes de precios pero, haciendo algunas suposiciones, según esto costaría alrededor

34 por autor al mes + 0,33 USD por sesión de lector

Los autores son los que hacen la configuración (conectan los datos, hacen los nombres descriptivos, etc.). Los lectores son tus gestores y demás. Es evidente que puede exagerarse desmesuradamente si su organización tiene muchos lectores.

Lo mejor de esta opción, creo, es que es fácil para configurar y usar. No te importa cómo funciona. Es accesible.

Usa una API de LLM

Los modelos de LLM están en todas partes ahora. ChatGPT, Cohere, Gemini, por ejemplo. Podrías intentar «hacerlo tú mismo» y hablar con un LLM usando su API. Esto tiene algunas ventajas con respecto a Quicksight. ,

• Es independiente de la nube.
• Podrías cambiar fácilmente la llamada a la API de LLM subyacente y no cambiaría nada.

Sin embargo, las herramientas para hacer su BI mediante el LLM aún no están tan maduras. Realizar las consultas, crear paneles de control y demás no es una tarea trivial. Sin embargo, esto puede cambiar con el tiempo. Pero a día de hoy, no hay un camino claro y obvio sobre cómo hacerlo.

Otro problema es la privacidad de los datos, aunque tú no necesidad para mostrar sus datos al LLM, es probable que el LLM necesite (al menos) conocer sus esquemas de datos. De lo contrario, ¿cómo podría realizar consultas?

En términos de costo, depende del proveedor de LLM, ¡pero es bastante barato! Es probable que necesites una instancia, pero el trabajo pesado se realiza mediante la API, por lo que puedes hacerte con una de nivel inferior y no habrá problema. Solo para tener una estimación aproximada , a partir de marzo de 2025, al hacernos con una instancia de AWS barata, obtenemos

0,0208 USD por hora por instancia + coste de consulta

Estimar el costo de la consulta es más difícil. ¿Cuántos tokens está utilizando? ¿Cuántas llamadas? ¿Qué modelo? Probablemente sea necesario estimarlo para el caso de uso específico.

La escalabilidad de este enfoque está limitada por la API que utilizamos. Puede alcanzar los límites de velocidad si se usa de forma masiva.

Un LLM local

De manera similar al enfoque de la API, puede eliminar la llamada a la API y hospedar el LLM usted mismo. La mayoría de las consideraciones de la sección anterior siguen siendo válidas, con algunas excepciones. En primer lugar, todos los datos nunca salen de su organización. La gran ventaja de hospedar localmente tu LLM es que puedes

• Hazte con el último modelo abierto de vanguardia disponible
• personalízalo completamente para su organización con los datos de su organización de forma privada. Esto puede mejorar la calidad de sus generaciones

Por otro lado, no es en absoluto aclara cómo hacerlo. Y definitivamente no es barato. Los buenos LLM necesitan GPUs robustas que los soporten. Solo para dar un ejemplo, usar una GPU equivale a 16 GB de VRAM (en el extremo más bajo cuando se trata de ejecutar LLM)

0,7520 USD por hora por instancia

En términos de escalabilidad, puede resultar muy caro si se dirige a una gran cantidad de usuarios. Necesitarías muchas GPU. Gestionar correctamente el escalado automático sigue siendo complicado. Requiere mucho esfuerzo y tiempo, así que hazlo y, por lo tanto, dinero. Dicho esto, siempre que solo lo usen unas pocas personas, esto no es un problema.

La discusión anterior también asume que tienes una instancia dedicada. Hay algunos servicios que ofrecen opciones de GPU sin servidor, pero eso es otro lata de lombrices. Y los arranques en frío conllevan problemas de latencia, por lo que probablemente no sea una buena alternativa.

También parece, según algunas personas que trabajan en esto, que generalmente no es necesario realizar ajustes. Basta con hacer unos pocos disparos, así que parte si los beneficios de la personalización se diluyen

Finalizando

Exploramos un par de alternativas para combinar la inteligencia empresarial con la IA. Analizamos los costos, los problemas de escalabilidad y cómo conectarlos a su pila de datos. Estas soluciones son todavía bastante nuevas. Con el tiempo, madurarán y se convertirán en alternativas realmente confiables que ayudarán a los administradores a entender sus datos. Conectarlos con su organización facilitará (con suerte) toda la experiencia para los gerentes.