Netflix, el gigante del streaming, hace algún tiempo reveló la manera en que utiliza Python, uno de los lenguajes de programación de más rápido crecimiento, para la gestión y el análisis de las operaciones, además de la seguridad informática y redes.
La compañía utiliza una combinación de paquetes conocidos y bibliotecas de software internas, con el uso de Python en casi todos las áreas de la empresa, que se ejecuta en gran medida en la plataforma de nube de Amazon Web Services (AWS).
«Utilizamos Python durante todo el ciclo de vida del contenido, desde la decisión del contenido que se financiará hasta el funcionamiento del CDN que sirve el video final a 148 millones de miembros», escriben los ingenieros de Netflix en una publicación del blog.
En el blog, los desarrolladores destacan la manera en que utilizan Python:
- Operaciones
El equipo de ingeniería de Neftlix crea resiliencia en la red al proporcionar failovers regionales y orquestar la distribución del tráfico del sitio. «Estamos orgullosos de decir que las herramientas de nuestro equipo se construyen principalmente en Python», escribe el equipo.
Las herramientas utilizadas por el equipo incluyen:
- NumPy y SciPy para realizar análisis numéricos.
- Boto3 para hacer cambios a la infraestructura de AWS.
- rq para ejecutar cargas de trabajo asíncronas.
- Las API de matraz se utilizan como un envoltorio alrededor de las herramientas de orquestación anteriores.
Los portátiles Jupyter e nteract se utilizan para analizar datos operativos y herramientas de visualización de prototipos. Neflix usa Python para crear extensiones personalizadas para el servidor Jupyter que permite a los ingenieros administrar tareas como el registro, archivo, publicación y clonación de cuadernos.
Mientras tanto, el equipo de Big Data Orchestration proporciona servicios y herramientas para programar y ejecutar ETL de datos y tuberías de datos ad hoc.
El equipo usa Jupyter Notebooks con papel para permitir que el programador proporcione tipos de trabajo con plantillas, por ejemplo, Spark.
También se utiliza pygenie, un cliente creado por Netflix que interactúa con Genie, un servicio de ejecución de trabajos federados.
- Análisis estadístico
El equipo CORE de Netflix usa muchas bibliotecas estadísticas y matemáticas de Python, que también incluyen NumPy, SciPy, rupturas y Pandas, que ayudan a analizar miles de señales después de una alerta.
El lenguaje de programación también se utiliza para desarrollar un sistema de correlación de series de tiempo, así como un sistema de trabajo distribuido para paralelizar grandes cargas de trabajo analíticas.
Además de eso, Python también se usa normalmente para tareas de automatización, exploración y limpieza de datos y visualización.
- Seguimiento y respuesta automatizada
El equipo de ingeniería Insight es responsable de construir y operar las herramientas para generar alertas, diagnósticos y remediación automática.
Ahora son compatibles con los clientes de Python para la mayoría de sus servicios, incluida la biblioteca del cliente Spectator Python, una biblioteca para registrar métricas dimensionales y de series de tiempo.
Los marcos Python Gunicorn, Flask, Flask-RESTPlus también se utilizaron para crear las plataformas de diagnóstico y remediación de Winston y Bolt de Netflix.
- Seguridad
El equipo de seguridad de la información de Netflix utiliza Python para una amplia variedad de tareas, incluida la automatización de la seguridad, la clasificación de riesgos, la remediación automática y la identificación de vulnerabilidades.
Los proyectos de Python en esta área incluyen:
- Security Monkey: una biblioteca de código abierto de Netflix para monitorear AWS, Google Cloud Platform, OpenStack y GitHub para cambios en activos.
- La autoridad de certificación de Bless SSH para proteger los recursos de SSH.
- Repokid permite que Python se use para ayudar con el ajuste de permisos IAM (Identity and Access Management).
- Lemur se utiliza para ayudar a generar certificados TLS y Netflix también usa la herramienta de clasificación forense Diffy, que se construyó completamente con Python.
Netflix se basa ampliamente en Python cuando entrena los modelos de ML, que utiliza para todo, desde algoritmos de recomendación hasta personalización de ilustraciones para algoritmos de marketing.
Algunos algoritmos utilizan TensorFlow, Keras y PyTorch cuando se entrena en redes neuronales profundas, mientras que XGBoost y LightGBM se usan para construir árboles de decisión con refuerzo de gradiente.
Metaflow, un framework Python que facilita la ejecución de proyectos ML desde la etapa de prototipo hasta la producción, se utiliza en toda la empresa a escala. Con Metaflow, Netflix se basa en un código Python bien paralelizado y optimizado para obtener datos a 10 Gbps, manejar cientos de millones de puntos de datos en la memoria y organizar el cálculo en decenas de miles de núcleos de CPU.
- Codificación de video y análisis automatizado de contenido
Netflix tiene un equipo dedicado a codificar el catálogo de Netflix y usar el Machine Learning para analizarlo, por ejemplo, para extraer los mejores fotogramas de una película.
Entre los alrededor de 50 proyectos en los que se usa Python se encuentran la biblioteca de evaluación de calidad de video vmaf y la biblioteca mezzfs para montar contenido desde el almacenamiento de objetos en la nube como archivos locales.
