ClassDojo impulsa el crecimiento con una nueva plataforma de datos moderna

Acerca de la empresa

Clase Dojo es una comunidad global de Más de 50 millones de profesores y familias que se reúnen para compartir los momentos de aprendizaje más importantes de los niños en la escuela y en el hogar, a través de fotos, videos, mensajes y más.

Su aplicación es utilizada por maestros, niños y familias en el 95% de las escuelas de preescolar a octavo grado en los Estados Unidos, así como en otros 180 países, recaudando más de 191 millones de dólares en fondos hasta la fecha.

Desafío

Classdojo necesitaba una plataforma de datos moderna de autoservicio que permitiera a los ingenieros y analistas realizar cambios de manera eficiente. La empresa se enfrentaba a una deuda técnica, problemas de ETL, procesos de extracción duplicados, problemas para la ingestión de datos y una falta general de capacidad de comprobación, ya que no disponía de un sistema de supervisión en las tablas de entrada y salida. Además, la plataforma implementada debía alinearse con las mejores prácticas y principios de la industria, siguiendo las DataOps metodología.

El objetivo era otorgan a cada equipo integrado verticalmente la propiedad de sus métricas, tablas y datos.

Solución

Datos de Mutt desplegó un equipo experto y práctico de Mutters de ingeniería de datos interna de alto rendimiento para diseñar e implementar una pila de datos moderna, sus herramientas, canalizaciones, componentes e integraciones hecho a la medida de sus necesidades, que podría beneficiar a toda la empresa.

Classdojo necesario para resolver su desafío de manera efectiva teniendo en cuenta el tiempo de comercialización, la implementación de las mejores prácticas de la industria, las restricciones presupuestarias y la capacitación de sus usuarios.

El proyecto Mutt Data implementado como socio estratégico de datos de ClassDojo incluyó: - Implementación Flujo de aire para administrar sus canalizaciones de datos, sustituyendo su programador de flujos de trabajo por una solución escalable. - Uso de plantillas DAG de Airflow para simplificar la creación de DEUDA flujos de trabajo basados que son idempotentes de forma predeterminada para permitir un reprocesamiento más sencillo y tienen operaciones de reversión definidas de forma predeterminada por tabla. - Configuración de flujos de trabajo simplificados con Manguera Kinesis a S3 y Correso al rojo. - Uso DEUDA para crear, documentar y probar vistas y tablas. - Trabajos de encolado, Lambdas y EMR para aplicar transformaciones específicas a grandes conjuntos de datos. - Configurar y ajustar las capacidades de los clústeres de Redshift para gestionar diferentes programas y comportamientos de cargas de trabajo intensivas. - Mejorar la escalabilidad, la capacidad de mantenimiento y el rendimiento de Redshift al desvincular el almacenamiento de datos sin procesar y mejorar las capacidades de monitoreo para hacer frente a un número creciente de usuarios y cargas de trabajo de datos. - Equilibró Redshift Spectrum y Athena para habilitar las fuentes del lago de datos CI/CD para probar automáticamente las cargas incrementales y los pasos de reversión. - Configurar la supervisión y la detección de anomalías para datos sin procesar, tablas intermedias y KPI finales. - ECR y ECS para administrar y usar el contenedor Docker con diferentes servicios para combinar las herramientas de gobierno de datos.

Estamos Socios avanzados de AWS, y este proyecto utilizó las herramientas y la tecnología de AWS.

Impacto

Classdojo vi un:

• Reducción del 30% en el procesamiento de la canalización de datos y los tiempos de entrega de datos.
• Aumento de 10 veces en la eficiencia del almacenamiento de datos, lo que permite más conexiones, operaciones y formas de crear modelos de datos

¡Se logró el objetivo del proyecto! El Modern Data Stack, recientemente implementado, gestiona todo el procesamiento de datos, las transformaciones, el linaje, la gobernanza, los flujos de trabajo autónomos y las alertas y la supervisión mediante IA de todos los terabytes de datos de la empresa. Todos los equipos integrados verticalmente son dueños de sus métricas, tablas y datos. Échale un vistazo lo que ClassDojo dijo en su estudio de caso, donde mencionan nuestro trabajo como sus socios estratégicos de datos.. También puede leer nuestro estudio de caso publicado por Amazon Web Services (AWS) ¡aquí!

¿Quieres bucear más profundo?

Datos de Mutt puede ayudarlo a cristalizar su estrategia de datos mediante el diseño y la implementación de las capacidades técnicas y las mejores prácticas. Estudiamos los objetivos empresariales de su empresa para comprender qué es lo que debe cambiar y, de este modo, ayudarle a lograrlo mediante una estrategia técnica sólida con una hoja de ruta clara y un conjunto de hitos. Hable con uno de nuestros representantes de ventas en hi@muttdata.ai o echa un vistazo a nuestra folleto de ventas y blog.

¿Quiere leer más sobre operaciones de datos y pilas de datos modernas?

Eche un vistazo a nuestro artículos recomendados sobre Modern Data Stacks y nuestras publicaciones de blog: - Modern Data Stack: tu restaurante con 3 estrellas Michelin - Lleve su pila de datos moderna al siguiente nivel - 5 beneficios de DataOps - 5 de nuestras herramientas favoritas de ingeniería de datos

Eche un vistazo a nuestro último testimonio en vídeo: