Los avances tecnológicos de los últimos años, especialmente en el ámbito de la inteligencia artificial, evidencian el amplio potencial de la IA para revolucionar cualquier sector, incluida la educación.
No obstante, son necesarias medidas que garanticen un uso ético de la tecnología, protejan derechos fundamentales como la privacidad y prevengan prácticas discriminatorias, así como otros riesgos asociados.
En la Unión Europea, el Reglamento de Inteligencia Artificial es la normativa que regula el uso de la IA. Los sistemas de monitorización de exámenes digitales que utilizan inteligencia artificial, como SMOWL, deben cumplir obligatoriamente con la misma.
¿Qué es la Ley europea de Inteligencia Artificial?
La normativa europea de IA, con entrada en vigor en 2024 y plena aplicación en 2026, es la primera ley integral de inteligencia artificial del mundo. Este primer marco jurídico en la materia tiene como objetivo mitigar los riesgos de la IA para fomentar un uso adecuado y fiable en Europa.
Si bien, como indica la Comisión Europea, la mayoría de sistemas de inteligencia artificial presentan un riesgo limitado y pueden ayudar a resolver muchos desafíos, se deben abordar sus riesgos para evitar consecuencias indeseables como, por ejemplo, la toma de decisiones injustas.
El Reglamento de IA distingue entre tres clases de sistemas de IA: sistemas prohibidos, sistemas de alto riesgo y el resto de sistemas de IA. Cada una de estas categorías conllevan sus propias reglas y condiciones en función de su criticidad y sensibilidad.
Ley IA de Europa: trasfondo
La Unión Europea, como parte de su estrategia digital, propuso regular el uso de la IA en 2021. En el mes de abril de ese año, la Comisión planteó la primera normativa de inteligencia artificial, clasificando los sistemas por niveles de riesgo; a mayor riesgo, mayores los requisitos para los sistemas.
Entrada en vigor de la Ley de Inteligencia Artificial de Europa
El Consejo de la UE aprobó la normativa en mayo de 2024. El Reglamento de IA de Europa, no obstante, no sería plenamente aplicable hasta 24 meses después, con algunas excepciones, con aplicación anterior a ese plazo.
Por otro lado, se acordó que las obligaciones para los sistemas de alto riesgo se aplicarían en dos fases (la mayoría, en 24 meses, y las integradas en productos regulados específicos, en 36 meses).
Los 3 niveles de riesgo de la Ley de Inteligencia Artificial de la UE
Como indicábamos más arriba, la Ley de IA de Europa diferencia entre tres niveles de riesgo diferentes. Veamos, uno por uno, cada nivel.
Sistemas prohibidos
Los sistemas de inteligencia artificial que suponen un riesgo inaceptable están prohibidos en la UE. Estos incluyen:
- Sistemas que manipulan el comportamiento de las personas o grupos vulnerables específicos como, por ejemplo, juguetes activados mediante voz que fomentan comportamientos peligrosos en los más pequeños.
- Sistemas de puntuación social que clasifican a personas en función de su estatus socioeconómico, comportamiento, o características personales.
- Sistemas de identificación biométrica en tiempo real y a distancia, como el reconocimiento facial en espacios públicos.
- Sistemas de reconocimiento de emociones en lugares de trabajo e instituciones educativas.
- Sistemas de raspado no selectivo de Internet o cámaras de seguridad para crear o ampliar bases de datos de reconocimiento facial.
- Sistemas que evalúan o predicen el riesgo de infracción penal individual.
¿Quieres recibir las últimas tendencias en eLearning, tecnología y Recursos Humanos?
Completa el formulario y recibe nuestra newsletter semanal con información del sector de la mano de nuestros expertos.
Alto riesgo
Los sistemas que afectan de manera negativa a los derechos fundamentales o la seguridad se consideran de alto riesgo. Se dividen en dos categorías diferentes:
- Sistemas de IA que se utilizan en productos sujetos a la ley de la UE sobre la seguridad de los productos (automóviles, aviación, dispositivos médicos, juguetes y ascensores).
- Sistemas de IA categorizables en 8 ámbitos específicos:
- Educación y formación profesional.
- Identificación biométrica y categorización de las personas físicas.
- Gestión y explotación de infraestructuras críticas.
- Empleo, gestión de trabajadores y acceso al autoempleo.
- Aplicación de la ley.
- Asistencia en la interpretación jurídica y aplicación de la ley.
- Acceso y disfrute de servicios privados esenciales y servicios y prestaciones públicas.
- Gestión de la migración, el asilo, y el control de fronteras.
Los sistemas de IA identificados como de alto riesgo han de cumplir con una serie de obligaciones antes de poder comercializarse.
Otros sistemas
En esta categoría se encuentran, principalmente, los sistemas de inteligencia artificial generativa como ChatGPT, que deben cumplir con los requisitos de transparencia de la Ley de IA de la Unión Europea, efectivos a partir de agosto de 2026.
La normativa contempla obligaciones específicas de divulgación para garantizar que los usuarios estén debidamente informados. Por ejemplo, cuando interactúen con sistemas de IA como chatbots, las personas deben ser conscientes de que están utilizando una máquina.
Pero eso no es todo; los proveedores de IA generativa han de garantizar que los contenidos generados por inteligencia artificial sean identificables. La normativa europea, además, obliga a etiquetar determinados contenidos generados por IA como tales.
La Ley de IA europea también establece que los modelos que puedan suponer un riesgo sistémico, como el avanzado GPT-4, deben someterse a controles exhaustivos e informar a la Comisión de cualquier incidente considerado grave.
Respecto a los derechos de autor, los desarrolladores de sistemas de IA deben diseñar los modelos para evitar que generen contenidos ilegales y publicar resúmenes de los contenidos protegidos utilizados para el entrenamiento.
Cumplimiento Ley IA
Cada Estado miembro debe designar una o varias autoridades de vigilancia del mercado, que se encargarán de aplicar, supervisar y hacer cumplir la normativa. En caso de designar múltiples autoridades, el Estado ha de determinar un punto de contacto único.
Estas instituciones tienen la facultad de supervisar a distancia y acceder a la documentación, conjuntos de datos y código fuente de los proveedores, así como para intervenir cuando los sistemas de IA planteen riesgos o no cumplan con la normativa.
Siendo independientes e imparciales en el desempeño de sus funciones, las autoridades de vigilancia del mercado deben, obligatoriamente, informar a la Comisión y a los Estados miembros de cualquier medida adoptada, así como de los resultados de las evaluaciones de riesgos.
Junto con la Comisión, estas autoridades pueden proponer investigaciones, solicitar medidas correctoras e imponer sanciones por el no cumplimiento de la Ley de Inteligencia Artificial Europea.
Sanciones de la Ley de Inteligencia Artificial Europea
Las sanciones varían en base a la seriedad de la infracción y pueden suponer desde pequeñas multas a penalizaciones de 35 millones de euros en los casos más graves, como podemos ver a continuación:
- Infracciones muy graves, relacionadas con prácticas prohibidas: hasta 35 millones de euros o el 7% del volumen de negocios total anual.
- Infracciones graves, relativas al incumplimiento por parte de prestadores, proveedores, representantes, importadores, distribuidores, etc.: hasta 15 millones de euros o el 3% del volumen de negocios total anual.
- Infracciones leves, asociadas al suministro de información incompleta, incorrecta o engañosa: hasta 7,5 millones de euros o el 1% del volumen de negocios total anual.
Las multas máximas por infringir la Ley de Inteligencia Artificial europea son superiores a las del Reglamento General de Protección de Datos (RGPD), que contempla sanciones máximas de 20 millones de euros o un 4% de la facturación anual global.
¿Cumple SMOWL con la Ley de Inteligencia Artificial de la Unión Europea?
Sí. SMOWL, como proyecto financiado con fondos de la UE y solución europea de proctoring impulsada por IA, cumple con la normativa aplicable en materia de Inteligencia Artificial.
Sí. SMOWL, como herramienta europea impulsada por IA, queda sometida al Reglamento de IA y adopta las medidas necesarias para su estricto cumplimiento. Este cumplimiento es también un requisito indispensable para prestar servicio a entidades universitarias, supervisadas celosamente por las respectivas autoridades públicas de control de calidad en la educación.
Actualizado el
