La vida en Muttdata: ¡Un adelanto!

Al responder a la pregunta común: ¿Qué haces? Los científicos de datos, los ingenieros y los expertos suelen recibir una serie de consultas de seguimiento. Dejando a un lado las ocasionales solicitudes de hackeo 🐱 ‍ 💻 o las misiones de recuperación de información (gracias Hollywood... 🎥), recibimos algunas preguntas interesantes:

• ¿Cómo es realmente trabajar en ciencia de datos?
• ¿Qué haces en un día normal?
• ¿Cuánta comunicación real con los clientes y las personas requiere el trabajo? (No, no todos codificamos en cuartos oscuros sin interacción humana)

Esto es solo la punta del iceberg. El propósito de esta entrada de blog es informar a los lectores sobre nuestra línea de trabajo y ayudar a los aspirantes a científicos de datos a imaginarse a sí mismos desempeñando un puesto de ciencia o ingeniería de datos. Para ello, nos centraremos específicamente en el trabajo en Mutt Data.

Trabajar en Muttdata implicará el uso de prácticas modernas de ingeniería de datos en la nube y de las nuevas escuelas, así como herramientas y tecnologías como Athena, Airflow, Spark, Pytorch, Kubernetes, AWS Sagemaker y MLFlow. Pero ese es solo el aspecto técnico. ¿Qué pasa con nuestra vida cotidiana?

Bueno, un día puede ser demasiado específico, y nuestra cultura de trabajo remoto flexible y asíncrono significa que el día a día de cada nerd de los datos puede variar ligeramente, por lo que optamos por una semana normal y agregamos algunos eventos importantes en la vida de un nerd de los datos que trabaja en Muttdata.

Una semana típica en Muttdata

Un poco de contexto...

En cualquier día del año, siempre nos comprometemos a trabajar de forma remota y asincrónica. Nuestro equipo es libre de planificar y distribuir sus tareas diarias como mejor le parezca. ¿Es madrugador? Puedes empezar el día a primera hora de la mañana. Configure su lugar de trabajo y su plan diario. ¿Un poco trasnochador? Eso también está bien, tal vez prepares tu agenda la noche anterior.

La conclusión es que, mientras estés presente en las reuniones programadas, cumplas con los plazos asignados y te mantengas verbal, compartiendo el estado y el progreso durante las reuniones diarias, todo está bien. Nuestra cultura gira en torno a la confianza y la propiedad. Nos guían los resultados en lugar de obsesionarnos con las horas.

Dicho esto, también nos centramos en la colaboración y utilizamos herramientas y sistemas colaborativos para que nuestro trabajo esté fácilmente disponible para que los miembros pertinentes del equipo colaboren en él.

Una semana en Mutt 🐕

¡Vamos a entrar en ello! A modo de argumento, imaginemos que ya te has incorporado y actualmente no estás iniciando ni implementando un proyecto.

La mayoría de las semanas se centrarán en la acumulación de trabajos pendientes, y cada uno de los atrasos variará según su puesto. Echemos un vistazo a un científico de datos.

Su jornada laboral común incluirá mucho de manipulación y limpieza de datos, es una tarea rutinaria pero muy relevante para nuestra línea de trabajo. Sin embargo, hay más que suficiente literatura sobre el tema en Internet, por lo que le ahorraremos los detalles y pasaremos a las partes buenas.

Al avanzar rápidamente hasta el inicio del proyecto, comprenderá las necesidades, la infraestructura y los datos del cliente, entre otros aspectos clave. Las cosas se están poniendo interesantes, estás ansioso por empezar a programar y tu cerebro está analizando toneladas de modelos candidatos.

Pero... no pagues el acelerador.

Todavía tenemos que pensar en las métricas. Trabajar en Muttdata significa estar muy involucrado en todo el proceso de procesamiento de datos, no solo en recopilar los datos de la ETL (Extraer, Transformar y Cargar) y producir modelos.

El éxito de un proyecto puede depender de cómo supervisemos la canalización desplegada. Esto se traduce en dedicar una gran parte de tiempo a pensar en las métricas, la integridad y la calidad de los datos, tanto para la entrada como para la salida de ETL, así como a contemplar las tendencias de los datos, los cambios en el proceso de generación de datos y, por supuesto, las métricas de rendimiento y degradación de los modelos.

Una gran parte del trabajo es pensar antes de programar. Hacer los deberes, ser inteligente al diseñar soluciones, elegir herramientas y estudiar conjuntos de datos. Nos tomamos el tiempo necesario para entender las necesidades de los proyectos y diseñar una puntuación relevante para los modelos propuestos, en lugar de elegir ciegamente las métricas más utilizadas. El objetivo es hacer las cosas de manera inteligente, para ofrecer valor, información y resultados a largo plazo.

Por ejemplo, los estándares de clasificación pueden ser útiles, pero si no se toman con cuidado, pueden producir resultados engañosos.

L; SECAR: Dedicarás gran parte del día a medir y analizar modelos, a contemplar las métricas y su cordura, así como a simplemente hacer una lluvia de ideas. El trabajo implica mucho más que codificar y los valores resultantes de los modelos.

Una vez que haya elegido un grupo de métricas de evaluación del desempeño, elaborará una serie de modelos potenciales, factibles dentro de la infraestructura del cliente, que se ajusten a las necesidades del cliente. Esto puede resultar complicado: por ejemplo, en el escenario de la inferencia en línea, no se pueden usar todos los modelos, algunas cantidades de datos no permiten el entrenamiento por lotes, etc.

Si ningún modelo parece encajar, siempre hay un equipo multidisciplinario disponible para ayudar. Un ingeniero de datos puede intentar modificar la infraestructura o el modelo, o incluso ambos, para lograr el rendimiento que necesita. ¡Diablos! A veces incluso proponemos posibles mejoras de infraestructura para el cliente.

Este último punto arroja luz sobre algo que harás mucho: Coopere. Las transferencias de conocimientos influirán en gran medida en sus jornadas laborales y las beneficiarán. Trabajará con frecuencia con Mutters fuera de los proyectos que le hayan sido asignados. Es posible que tus compañeros de equipo se hayan enfrentado a desafíos similares en el pasado, por eso tu equipo es un excelente lugar para buscar consejos.

Más aún, el KT es una experiencia enriquecedora tanto para el ayudante como para la persona que pide ayuda, ya que modificará lo que ha hecho antes y aprenderá mientras lo hace. La colaboración está arraigada en nuestra cultura y es responsable de la eficiencia y el desarrollo de nuevas funciones.

Un verdadero Mutter siempre estará abierto al aprendizaje colaborativo y dedicará gran parte de su tiempo a las reuniones, los canales de Slack y el horario de oficina de datos (ver más abajo) para compartir con su equipo lo aprendido, la resolución de errores, los artículos interesantes, las publicaciones de blog y los cursos.

Esperamos que esto haya servido como una visión general del trabajo común en Muttdata. A continuación, abordaremos las reuniones y algunos momentos específicos que tal vez no se presenten todas las semanas, pero de los que definitivamente vale la pena hablar.

Reuniones

Como se mencionó anteriormente, hacemos todo lo posible para mantener las reuniones al mínimo. Hacemos un uso intensivo de las herramientas de seguimiento de tareas, las plataformas de comunicación y los canales para mantener la colaboración y de la forma más asincrónica posible. Priorizamos el tiempo de concentración, la optimización de los procesos y la eficiencia.

Sin embargo, las reuniones siguen siendo necesarias y, sinceramente, cuando se trata de reuniones remotas, lo bueno supera a lo malo. De vez en cuando, algo de tiempo cara a cara (incluso si es digital) es bueno. Estas son las principales reuniones semanales y mensuales en las que participará como experto en datos en Muttdata:

Monólogos diarios 🤖

Esta no es una reunión en sí misma, es más bien un ritual matutino. Un bot, llamado Alice, te preguntará qué hiciste ayer, qué estás haciendo hoy y qué es lo que te bloquea. Esto forma parte de mantener a las personas informadas, de mantener la agilidad del trabajo y de facilitar la colaboración. Es 100% asincrónico.

Team Syncs 📢 bimestrales

Hay dos tipos de sincronizaciones mensuales: empresariales y tecnológicas. Durante la sincronización general de la empresa, recibirás información sobre las actualizaciones generales de la empresa en relación con el marketing, el personal y las finanzas, así como resúmenes detallados de nuestros principales proyectos externos. La exposición es breve y va al grano.

En semanas alternas, se programan reuniones técnicas bimensuales. La principal diferencia es que, en este caso, los participantes se centran exclusivamente en la tecnología de Mutters y la atención se centra exclusivamente en el estado técnico: avances, lanzamientos, despliegues y bloqueos.

Horario de oficina de datos 🤓

Una vez a la semana, los Mutters comparten nuevos aprendizajes sobre las herramientas, los modelos o las tecnologías que han utilizado o investigado actualmente. Esto hace que las soluciones sean relevantes y vanguardistas. Lo ideal es que cada semana se alterne entre la ingeniería de datos y la ciencia de datos. Esta reunión y todas las reuniones y oportunidades de transferencia de conocimientos se toman muy en serio, ya que permiten que todo el equipo aprenda unos de otros, incluso si no han participado directamente en ese proyecto.

Reuniones sobre el estado del cliente 🤝

Cada cliente es único y cada proyecto es diferente. Trabajar con clientes de diferentes industrias con diferentes objetivos entrena nuestras habilidades de comunicación. Necesitamos poder sincronizar las expectativas y los requisitos, debemos comunicarnos con claridad y trabajar de manera visible y transparente.

Nos preparamos para estas reuniones para aprovechar al máximo nuestro tiempo y, al hacerlo, reagrupamos ideas, revisamos los hitos y objetivos para obtener claridad sobre el proyecto y nuestro estado.

Social Meets ☕

Todo el mundo necesita relajarse. Durante las reuniones individuales, compartimos un tiempo de inactividad con un fundador asignado y hablamos sobre temas no relacionados con el trabajo. También participamos en «Donut Meets» una vez a la semana, donde te emparejarán al azar con alguien de Mutt para charlar o tomar un café. El objetivo de esta aplicación es conocer a personas de la empresa con las que no solemos compartir tiempo. Por último, almuerzos virtuales bimensuales con todo el equipo. Aunque no está escrito en piedra, los jueves son conocidos por las reuniones de oficina.

Momentos clave

Esperamos haber cubierto la esencia básica del trabajo diario en Mutt Data. Sin embargo, pensamos que podríamos ampliar nuestro alcance y centrarnos en algunos momentos clave comunes que pueden pasar al convertirse en Mutter

Cómo iniciar su carrera en Muttdata

Durante tu primer día como Mutter, participarás en una reunión de incorporación con uno de los fundadores, en la que abordarás la cultura y la visión de la empresa y programarás diferentes reuniones sobre el estado de la incorporación.

Si te preocupa conocer a otros empleados, no te estreses más. Hemos organizado un almuerzo a distancia con dos murmullos seleccionados al azar para facilitar tu incorporación al equipo.

Por último, iniciarás tu incorporación formal en Mutt Academy configurando tu repositorio personal y revisando parte del material del repositorio. Más sobre esto a continuación...

Después del primer día y durante las primeras semanas, participará en reuniones separadas para presentarle nuestra metodología de trabajo, nuestros proyectos y la documentación de los proyectos. Conocerás mejor a tu líder de incorporación y te tomarás el tiempo necesario para configurar correctamente tus herramientas de comunicación, sistemas de seguimiento y sesiones individuales.

Cuando hayas completado tus tareas de incorporación y te sientas cómodo, te facilitaremos el acceso a nuestros proyectos internos y externos.

Incorporación: Muttdata Academy 🎒

Una vez que te unas a Muttdata, te convertirás oficialmente en un estudiante de Muttdata Academy. ¡Bienvenido a la promoción de 2021! El objetivo del proceso de incorporación es ponerlo al día con todas las tecnologías que utilizamos, nuestros flujos de trabajo, las mejores prácticas y, lo que es más importante, nuestra cultura laboral.

La duración del proceso de incorporación dependerá de tu antigüedad, pero si todo va bien después de tres o cuatro semanas, deberías poder:

• Usa git para crear un MR y gestionar sus comentarios/sugerencias.
• Sepa cómo usar el caparazón.
• Tenga su propia configuración ejecutando Python3 y sepa cómo usar pipx y pyenv.
• Crea un proyecto usando poesía.
• Sepa cómo usar formateadores de código y linteros, como el negro, en las configuraciones de proyectos.
• Sepa cómo configurar un enlace previo a la confirmación.
• Confíe en el editor de código que elija.
• Cree y administre los DAG de Airflow.
• Crea tu propia configuración de Airflow.
• Usa Docker para crear tu propia imagen y docker-compose para poner en marcha varios servicios.
• Utilice al menos una biblioteca de aprendizaje automático para ajustar y predecir un modelo.
• SSH en una instancia.
• Aprenda a usar SQL para crear su propia base de datos y consultar su contenido.
• Sepa cómo crear una canalización de CI/CD en Gitlab y ejecutarla tanto con un ejecutor local como remoto.

Incluso puede obtener algunos conocimientos sobre herramientas de MLOps como MLFlow o usar SQLAlchemy. Siempre recomendamos todas nuestras incorporaciones para imaginarlas como una oportunidad de aprendizaje: es el momento de hacer preguntas, cometer errores y divertirse aprendiendo cosas nuevas.

Para ayudarte a hacer un seguimiento de tu progreso durante este proceso, la persona a cargo de tu incorporación creará tu propio repositorio personal.

Si se pregunta qué se necesita para graduarse de Muttdata Academy, puede relajarse. ¡No hay exámenes! Nos graduamos aportando nuevos conocimientos o mejorando la información y las prácticas actuales en nuestro repositorio de incorporación.

Ponerse cómodo

Poco después de que te unas a nuestro equipo, te enviaremos algunos obsequios para que tu experiencia laboral diaria sea más agradable y cómoda. Invertir en una buena configuración es clave para mantenerse sano mientras se trabaja de forma remota.

Inicio de un nuevo proyecto en Muttdata 🎬

Trabajar con una gran variedad de clientes e industrias significa utilizar una variedad de tecnologías diferentes. Cada proyecto es único, aunque un problema empresarial puede ser similar o incluso el mismo, cada conjunto tecnológico y arquitectura puede ser completamente diferente.

Por este motivo, las primeras semanas de un proyecto se centran en el descubrimiento, en familiarizarse con las bases de datos, las infraestructuras y las herramientas. Usamos preguntas estandarizadas y lienzos de aprendizaje automático para diagramar su estado actual y entender la brecha que queremos cerrar entre el punto en el que nos encontramos al principio y el lugar en el que queremos estar. Puede obtener más información sobre todo nuestro proceso aquí.

Si el proyecto comienza desde cero, esta etapa requiere una investigación, una revisión de la literatura y una lluvia de ideas para el desarrollo de un prototipo inicial. Tendemos a escribir documentación que explique todo lo relacionado con la solución propuesta, por qué la elegimos y qué se podría añadir en el futuro para mejorarla en las siguientes iteraciones del proyecto.

En esencia, esta es una etapa de aprendizaje para Mutters. Lo documentamos todo, escuchamos a nuestros colegas en busca de recomendaciones y propuestas y cuestionamos todas las decisiones que no son triviales: ¿qué estamos intentando resolver? ¿Cuál sería la solución óptima? ¿Qué herramientas son las mejores para el trabajo? ¿Por qué no podemos implementar esta versión? ¿Hay mejores alternativas?

Zona final: implementación de una solución 🏁

Desplegando 🚀

En tu punto, prepárate, ¡despliega! Si tan solo fuera una experiencia tan fácil. ¡Poner una solución en producción puede ser bastante estresante! Es de suponer que ha dedicado mucho esfuerzo y tiempo a ello, pero lo importante es recordar que el objetivo principal es que la implementación se desarrolle sin problemas, que no sea un acontecimiento.

La implementación puede ser compleja, ya que la solución propuesta podría requerir modificaciones en varios sistemas que el cliente utiliza actualmente. Es importante planificar con antelación. ¿Qué componentes se verán afectados? ¿Qué dependencias hay? ¿Quién es el responsable directo de esto? ¿Qué hacemos en caso de que falle?

Estas son solo algunas de las preguntas que tenemos que hacer. Nos parece útil seguir algunas pautas: - Mantener al equipo del cliente a mano en caso de que algo falle - Estar preparado en caso de que sea necesario realizar una reversión - Automatizar la implementación para evitar errores humanos - Si es posible, emplear pruebas A/B - No realizar la implementación los viernes. - No lo despliegues los viernes. - No lo despliegues los viernes.

Retro 📼

Al final de cada fase importante del proyecto, pero especialmente al final del proyecto, tenemos reuniones retrospectivas. Todos los que participaron en el proyecto darán un paso atrás, analizarán qué se podría haber hecho mejor, qué se hizo bien y qué cambios podríamos querer implementar para alcanzar los hitos futuros.

Cada miembro del equipo escribe primero su propia conclusión sin ver las opiniones del resto del equipo, de esta forma nadie se deja influenciar por las de otros Mutter antes de reunirse.

Finalizando

Esperamos que esta publicación te haya resultado útil y, al menos, entretenida. Si te ha gustado lo que has leído hasta ahora, tienes unas increíbles habilidades de desarrollo y te gusta aplicar el aprendizaje automático para resolver desafíos empresariales difíciles, envíanos tu currículum aquí o visita nuestra cuenta Lever para ofertas de trabajo actuales!