Cómo evitar los cuellos de botella al crear equipos de datos

Las ventajas y desventajas de las diversas estructuras de equipos de datos

October 4, 2024

👉 Introducción

👉 Creación de un equipo de datos

👉 Equipo centralizado

👉 Modelo Hub and Spoke

👉 Adaptabilidad

Introducción

Esta publicación analizará los diversos desafíos de coordinar y crear un equipo de datos dentro de una empresa. Según lo que hemos visto en diferentes organizaciones, se pueden aplicar varias metodologías, cada una con sus ventajas y desventajas. Cada tipo de organización ofrecerá ciertas características que otras no ofrecerán. La única conclusión definitiva es que ninguna de ellas es perfecta. Cada equipo o empresa tomará decisiones en función de sus perfiles, niveles de antigüedad, necesidades, plazos, cultura y políticas.

Creación de un equipo de datos

Para crear un equipo de datos, es esencial comprender las diferentes funciones disponibles dentro de esos equipos de datos. Cada miembro desempeña un papel fundamental en las distintas etapas del ciclo de vida de los datos.

En primer lugar, Ingenieros de datos son responsables de ingerir y gestionar los datos a medida que fluyen desde diferentes fuentes hasta su destino final, preparados para su análisis.

Una vez que los datos estén listos para el análisis, Analistas de datos e ingenieros de aprendizaje automático tomar el relevo. Preparan visualizaciones, análisis, informes y modelos que añaden valor a los datos explotables.

Por último, Científicos de datos tienen la tarea de realizar investigaciones y experimentos con datos procesados y sin procesar. Desarrollan modelos de IA, descubren patrones, hacen predicciones y proporcionan información que va más allá de lo que se puede derivar de informes simples.

Lo primero que hay que tener en cuenta es el nivel de madurez del equipo. Al determinar su estructura, es importante tener en cuenta el tiempo que el equipo lleva trabajando en conjunto, además de su desempeño y la cultura de la empresa.

Si se determina que la estructura del equipo puede modificarse sin afectar significativamente la moral o los hábitos establecidos, esta podría ser una opción viable.

Equipo centralizado

Por lo general, el enfoque inicial se inclina por tener un equipo centralizado, dirigido por un líder fijo, ya sea un director, un ejecutivo de nivel C o un líder, según el tamaño del equipo. Este equipo suele seguir rutinas: reuniones periódicas (posiblemente siguiendo metodologías ágiles), un trabajo atrasado priorizado internamente y muchas necesidades internas, al tiempo que recibe las solicitudes de los equipos a los que atiende.

UN equipo de datos centralizado se organiza en torno a un estructura y flujo de trabajo únicos. Por lo general, esta arquitectura implica un equipo central como fuente principal para todas las partes interesadas y las necesidades de datos. Este equipo central está compuesto por varios miembros que trabajan juntos para lograr un objetivo común. Algunas de las ventajas de este enfoque incluyen el aumento de la eficiencia gracias a la simplificación de los procesos y la mejora de la colaboración al tener a todos en el mismo equipo. Sin embargo, también hay desventajas a tener en cuenta, como la posibilidad de que se produzcan interrupciones importantes si el núcleo central falla o sufre un tiempo de inactividad. Además, escalar los equipos centralizados a medida que crecen puede ser un desafío.

Ventajas

La principal ventaja de un equipo centralizado es el trabajo pendiente unificado, que se puede redistribuir y priorizar de acuerdo con las necesidades de la organización. Además, permite el seguimiento individual del progreso y el desarrollo personal de cada miembro del equipo. Por encima de todo, brinda la capacidad de inculcar la cultura y las mejores prácticas del equipo de manera consistente en todos los ámbitos.

Desventajas

A menudo, los tiempos de respuesta de los equipos centralizados a los equipos a los que apoyan no cumplen con las expectativas. Lo que debería ser ágil a menudo puede convertirse en burocracia.

Según mi experiencia personal, me he encontrado con este problema con equipos centralizados de seguridad o DevOps que prestaban servicios al equipo de datos. Por ejemplo, cuando necesitábamos obtener un permiso o hacer un cambio en la tecnología, teníamos que enviar una solicitud, esperar a que se incluyera en la planificación, priorizarla y, a continuación, resolverla. Como resultado, algo tan simple como obtener acceso a un recurso en particular podría tardar hasta dos semanas. Esto no se debió a la falta de voluntad de las personas involucradas, sino más bien a la rígida cultura y estructura bajo las que suelen operar los equipos centralizados.

Equipos descentralizados

Cada departamento de la empresa tiene su propio equipo de datos dedicado. Esto permite a cada departamento determinar y priorizar su cartera de trabajo de acuerdo con sus necesidades específicas de ingestión de datos.

Ventajas

La ventaja clara y evidente es que todo el equipo está a tu disposición, por pequeño que sea. Puedes definir el trabajo pendiente y priorizar las tareas de acuerdo con las necesidades específicas de tu equipo. También es más fácil insertar tareas y priorizarlas a mitad del sprint si surge algo urgente.

Desventajas

Creo que los desafíos superan los beneficios. En este modelo, el primer problema es la falta de reutilización de plataformas y tecnologías, ya que cada equipo tiende a operar dentro de su propia base de conocimientos. Esto a menudo lleva a debates sobre las mejores prácticas, sin que exista un estándar unificado. Es probable que cada equipo implemente las soluciones como mejor le parezca, sin buscar un consenso más amplio. Este enfoque dificulta la reutilización de los desarrollos y conocimientos de otros equipos. Además, complica el movimiento del personal entre equipos o la prestación de apoyo a otro equipo, ya que el trabajo de cada equipo es en gran medida ad hoc, sin un marco estandarizado que todos puedan seguir.

También tuve la experiencia de observar a los equipos descentralizados en el trabajo. Si bien no formaba parte de estos equipos, era un cliente que tenía que colaborar con ellos. Las diferencias eran notables. Encontré dos plataformas de datos diferentes que utilizaban tecnologías diferentes, junto con múltiples herramientas de explotación de datos. Lo más difícil fue ver áreas que ni siquiera tenían acceso a los datos ni sabían qué hacer con ellos porque carecían de su propio equipo de datos dedicado.

Además de eso, está la cuestión de los costos. No es lo mismo negociar licencias para 10 usuarios que para 100. La falta de economías de escala tanto en tecnología como en personal es un inconveniente importante en los equipos descentralizados.

Modelo Hub and Spoke (centralización un poco descentralizada)

Por otro lado, un equipo de datos «centralizado» opera a través de un «centro» central que administra los activos y las operaciones de datos compartidos. Al utilizar los datos del centro, la modelización y el análisis específicos se pueden dirigir a uno o más sistemas «divididos», que son miembros del equipo distribuidos que trabajan en dominios específicos de la empresa.

Ventajas

Cada equipo «hablado» se especializa en un dominio empresarial en particular y trabaja con un grupo específico de partes interesadas, lo que brinda flexibilidad y capacidad de respuesta a las necesidades específicas de cada dominio. Esto permite una mayor escalabilidad y flexibilidad, ya que los equipos pueden añadir o cambiar funciones sin afectar a otras partes de la empresa.

Sin embargo, es esencial no perder de vista la importancia de tener un equipo unificado bajo las mismas pautas, usar la misma plataforma y seguir un conjunto coherente de mejores prácticas, lenguajes y tecnologías. La cultura del equipo es crucial en este sentido, ya que garantiza que todos estén alineados y trabajen para lograr el mismo objetivo. Esta cohesión es clave para mantener el «espíritu de equipo» dentro del equipo de datos y garantizar que todos avancen en la misma dirección.

Desventajas

Sin embargo, esta arquitectura también presenta desafíos, como la necesidad de una planificación cuidadosa. El equilibrio del equipo también es un problema potencial. El agotamiento podría ser un problema debido a la dependencia de un doble gerente. Además, cualquier cambio realizado en el hub debe replicarse en todos los sistemas conectados para mantener la coherencia.

La coordinación es claramente el punto débil de esta estructura de doble mando, ya que requiere mantenerse alineado tanto con el equipo central como con el equipo del área de negocios. Esto genera una carga de trabajo adicional y una sobrecarga de coordinación que no existiría en un modelo totalmente centralizado o descentralizado.

No he visto este enfoque en acción, pero lo he visto planificado y organizado. Una preocupación que surgió fue la cuestión de encerrar a las personas en funciones específicas. Una vez que alguien se convierte en experto en un dominio empresarial determinado, resulta más difícil rotarlo para que pase a otras áreas, a menos que esté muy bien planificado y organizado. Con el tiempo, esto puede hacer que un puesto parezca monótono o menos desafiante, y la falta de rotación interna puede resultar problemática para los equipos.

Además, dado que se trata de equipos interdisciplinarios, los equipos «hablados» pueden variar mucho en cuanto a dinámica, demandas, modales, cultura y ambiente general. Esto puede llevar a percepciones muy diferentes sobre el funcionamiento del sistema.

La adaptabilidad es clave

En resumen, si bien hay diferentes maneras de organizar los equipos de datos, el factor más importante es que las personas que dirigen el proyecto, ya sea un gerente de proyecto o un ejecutivo de nivel C, puedan adaptarse a las necesidades de cada proyecto a medida que surjan esas necesidades. Un equipo centralizado ofrece eficiencia y claridad en cuanto a las funciones, mientras que un enfoque centralizado proporciona flexibilidad y escalabilidad, pero requiere una administración cuidadosa para garantizar la coherencia e integridad de los datos.