De 1 día a 4 horas: entrega de información más rápida sobre emergencias para RapidSOS

Resumen ejecutivo

RapidSOS, líder en soluciones de seguridad, contrató a Mutt Data para modernizar su infraestructura de datos, preparándose para la innovación impulsada por la IA y, al mismo tiempo, mejorando de inmediato la frescura, la calidad y la eficiencia operativa de los datos.

Mediante una migración estratégica a Databricks y la optimización de las canalizaciones de ingesta, redujimos el retraso de los datos de 1 día a 4 horas y logramos importantes ahorros de costos, lo que mejoró la capacidad de respuesta de los servicios de emergencia. También establecimos procedimientos más sólidos de validación de datos, monitoreo y seguimiento del linaje para mejorar la confiabilidad de los análisis, la gobernanza y la calidad de los datos.

Acerca de la empresa

SOS Rápido es una plataforma de seguridad que conecta de forma segura los datos que salvan vidas de más de 540 millones de dispositivos, aplicaciones y sensores conectados directamente al 911 y a los socorristas de todo el mundo. Fundada en 2012, la empresa tiene como objetivo modernizar los sistemas de respuesta a emergencias mediante la entrega de datos específicos sobre los incidentes en tiempo real que mejoren el conocimiento de la situación y reduzcan los tiempos de respuesta en todo el mundo.

Introducción

En 2024, RapidSOS inició una importante transformación para mejorar su infraestructura de datos y mejorar la eficiencia de la respuesta a emergencias. Reconociendo la necesidad de un sistema de datos sólido y en tiempo real capaz de integrar los datos de más de 540 millones de dispositivos conectados, RapidSOS se asoció con Mutt Data, combinando la ejecución práctica con la experiencia estratégica en ingeniería de datos. Estas mejoras fueron fundamentales para reforzar el liderazgo de RapidSOS en los servicios de respuesta a emergencias.

El desafío

RapidSOS enfrentó desafíos críticos para mantener la calidad, confiabilidad y puntualidad de los datos. Su sistema de ingesta actual estaba fragmentado, con más de 20 procesos que a menudo dependían de flujos de trabajo complejos, lo que aumentaba el riesgo operativo y la latencia.

La actualización de los datos varió ampliamente, y algunos conjuntos de datos críticos tardaron entre 24 y 72 horas en actualizarse, lo que dificultó la capacidad de tomar decisiones oportunas durante las emergencias.

Los orquestadores antiguos añadían complejidad operativa, lo que provocaba errores de ingestión ocasionales y dificultaba la escalabilidad para nuevas fuentes de datos y geografías.

La solución

Mutt Data lideró una modernización integral de la infraestructura de datos de RapidSOS, implementando un sistema robusto y escalable para mejorar la frescura, la calidad, la gobernanza y la rentabilidad de los datos, al tiempo que sentó las bases para futuras aplicaciones de IA. La nueva arquitectura admite flujos de datos en tiempo real y por lotes con mayor confiabilidad y rendimiento.

Paralelamente, Mutt Data se centró en dos vías clave: migrar y estabilizar los flujos de trabajo heredados y, al mismo tiempo, desarrollar nuevas canalizaciones de ingesta para los proveedores entrantes. Recogimos datos sin procesar de las llamadas al 911 de varios centros de llamadas de emergencia (ECC) de varios estados y condados de EE. UU., los obtuvimos del almacenamiento de AWS, limpiamos archivos, agregamos nuevos campos de metadatos y enriquecimos los datos de la tabla de llamadas de CDR.

La migración de los ETL clave a los flujos de trabajo de Databricks fue un paso fundamental en este proceso, ya que redujo significativamente las fallas en la ingesta de datos, mejoró la observabilidad y redujo el retraso de actualización de los datos de 24 horas a menos de 4 horas. Al aprovechar la orquestación de tareas, las transacciones de Delta Lake, la aplicación de esquemas y el cargador automático de Databricks para una ingesta escalable e incremental, mejoramos la confiabilidad y la visibilidad de las operaciones de datos de RapidSOS.

En todos los procesos, implementamos mejoras para aumentar la calidad y la confiabilidad: * Validaciones de actualización de datos casi en tiempo real. * Controles de calidad de los datos en las etapas de ingestión y transformación. * Paneles de monitoreo exhaustivos y notificaciones de alerta para detectar anomalías, valores incorrectos y datos inconsistentes de manera temprana.

Más allá de la reestructuración de los procesos, optimizamos el almacenamiento y el procesamiento de los datos mediante el perfeccionamiento de las estrategias de partición y la eliminación de las transformaciones innecesarias, lo que permitió una recuperación de datos más rápida y eficiente.

También reforzamos el linaje y la gobernanza de los datos, garantizando la trazabilidad total de las transformaciones de los datos y reforzando los controles de calidad en cada etapa del proceso.

Además, mediante la introducción de estrategias de etiquetado de recursos, la aplicación de políticas de clústeres, la promoción de arquitecturas sin servidor para trabajos breves y el ajuste del tamaño de los recursos informáticos para las tareas que consumen mucha memoria, logramos una reducción de costos anual proyectada del 5 al 15%.

Estas mejoras no solo mejoraron la velocidad y la precisión de la inteligencia de respuesta a emergencias, sino que también fomentaron un entorno de ingeniería de datos más integrado y colaborativo dentro de RapidSOS.

Modernizamos su infraestructura, reforzamos los flujos de trabajo operativos y sentamos las bases para el análisis impulsado por la IA, lo que permitió a RapidSOS ofrecer información en tiempo real a los socorristas y ampliar las capacidades de sus productos.

Nuestra estrecha colaboración con el equipo de RapidSOS fue clave para el éxito del proyecto. Al adaptarnos a su flujo de trabajo e integrarnos en sus rutinas, nos convertimos en algo más que asesores externos: trabajamos codo con codo para lograr un objetivo común.

Impacto

Las mejoras logradas a través de nuestra colaboración tuvieron beneficios tanto técnicos como empresariales inmediatos: reducción del retraso en la actualización de los datos: el tiempo de actualización de la tabla de llamadas se redujo de 1 día a menos de 4 horas, lo que proporcionó a RapidSOS datos de emergencia más actualizados y confiables.

• Flujos de trabajo operativos más sólidos: La migración a los flujos de trabajo de Databricks mejoró la resiliencia de la orquestación, redujo las fallas y mejoró la visibilidad a lo largo del ciclo de vida de la ingestión.
• Mejora de la gobernanza y la calidad de los datos: Implementamos procesos mejorados de validación de datos, monitoreo y seguimiento del linaje, lo que permitió una gobernanza más sólida y una mayor confianza en los resultados de los análisis.
• Optimización de costos: La adopción de la computación sin servidor y las iniciativas de dimensionamiento correcto de los clústeres redujeron los costos de procesamiento entre un 5 y un 15% aproximadamente.
• Base de datos para futuras iniciativas de IA: Con una mejor calidad, tasas de actualización más rápidas y una cobertura de datos más amplia, RapidSOS ahora está en condiciones de escalar el desarrollo de agentes de inteligencia artificial y análisis predictivo.

Estas mejoras no solo mejoraron la eficiencia operativa, sino que también reforzaron la preparación de RapidSOS para ampliar los análisis impulsados por la IA y la información predictiva, garantizando que la empresa se mantenga a la vanguardia de la innovación en seguridad inteligente.

Resumen

Al modernizar la infraestructura de datos de RapidSOS, optimizar las cargas de trabajo y sentar las bases para el análisis impulsado por la IA, Mutt Data mejoró de manera fundamental la precisión, la velocidad y la confiabilidad de la respuesta de emergencia. Estas mejoras no solo refuerzan el liderazgo de RapidSOS en tecnologías de respuesta a emergencias, sino que también contribuyen a salvar vidas al garantizar que los socorristas tengan acceso a la información más actualizada cuando más importa.

¿Está listo para aprovechar todo el potencial de su empresa? Programa una llama con nosotros para descubrir cómo nuestra experiencia puede mejorar sus capacidades.