The Institute for Ethical AI & Machine Learning
Extracto
The Institute for Ethical AI & Machine Learning is a Europe-based research centre that brings togethers technologists, academics and policy-makers to develop industry frameworks that support the responsible development, design and operation of machine learning systems.
Resumen
Resumen Principal
El documento introduce MLSecOps Top 10, una iniciativa estratégica diseñada para robustecer la seguridad de los sistemas de machine learning (ML) mediante la integración de herramientas de investigación avanzada con las mejores prácticas y procesos de la industria. Su propósito central es identificar y mitigar vulnerabilidades, asegurando la integridad y resiliencia de las implementaciones de ML. Como proyecto open source, MLSecOps Top 10 representa una evolución práctica de los "Principios para un Aprendizaje Automático Responsable", convirtiéndolos en un marco de acción concreto. El núcleo de esta propuesta se manifiesta en su detallado mapeo de las 10 principales vulnerabilidades de OWASP a sus equivalentes específicos en el ecosistema del ML. Este paralelismo ilumina cómo las amenazas de seguridad web convencionales, como el control de acceso deficiente o las inyecciones de código, se manifiestan en el contexto del ML, transformándose en riesgos como "Unrestricted Model Endpoints" o "Artifact Exploit Injection". La iniciativa subraya la urgencia de un enfoque de seguridad holístico para el ML, abordando cada fase desde la integridad de los datos y la configuración de la infraestructura hasta la observabilidad de los sistemas. Además, proporciona ejemplos prácticos de "Machine Learning Defectuoso" junto con soluciones, facilitando una comprensión profunda y la aplicación efectiva de contramedidas.
Elementos Clave
- Mapeo Estratégico OWASP a MLSecOps: La columna vertebral de esta iniciativa es su precisa correlación entre las 10 vulnerabilidades más críticas identificadas por OWASP y sus manifestaciones directas en el ámbito del Machine Learning. Esta equivalencia, por ejemplo, convierte el "Broken Access Control" en "Unrestricted Model Endpoints" y las "Cryptographic Failures" en "Access to Model Artifacts", proporcionando un léxico y un marco de referencia claros para los riesgos inherentes al ML.
- Enfoque Práctico y Soluciones Tangibles: MLSecOps Top 10 no se limita a la identificación de problemas; ofrece un conjunto de ejemplos *práct
Contenido
The MLSecOps Top 10
Combining cutting edge research tools with best practices & processes to ensure machine learning systems are secure and undesired vulnerabilities are mitigated. Check out the resources and video below which cover MLSecOps from a conceptual and practical perspective.
The MLSecOps Top 10 is open source, and converts the Principles for Responsible Machine Learning into a practical tool + process approach.
The MLSecOps Top 10 Vulnerabilities
The table below outlines the top 10 vulnerabilities for both the Open Web Application Security Project (OWASP) as well as the MLSecOps equivalent. You will be able to find a hands on set of examples to understand the "Flawed Machine Learning" cases together with solutions in the project repository.
| # | OWASP Vulnerability | MLSecOps Equivalent |
| 1 | Broken Access Control | Unrestricted Model Endpoints |
| 2 | Cryptographic Failures | Access to Model Artifacts |
| 3 | Injection | Artifact Exploit Injection |
| 4 | Insecure Design | Insecure ML Systems/Pipeline Design |
| 5 | Security Misconfigurations | Data & ML Infrastructure Misconfigurations |
| 6 | Vulnerable & Outdated Components | Supply Chain Vulnerabilities in ML Code |
| 7 | Identification & Auth Failures | IAM & RBAC Failures for ML Services |
| 8 | Software and Data Integrity Failures | ML Infra / ETL / CI / CD Integrity Failures |
| 9 | Logging and Monitoring Failures | Observability, Reproducibility & Lineage |
| 10 | Server-side Request Forgery | ML-Server Side Request Forgery |
If you are curious to learn more about the OWASP Top 10 you can check out the official report website. Below you can see a preview of each the report for 2017 compared to the 2021 highlights.
Check out our hands on case study where we introduce the MLSecOps Top 10 vulnerabilities through hands on examples showcasing "Flawed Machine Learning", and then providing best practices and tools that can be used to address some of these machine learning security considerations. Watch the technical video below.
