Google Research (en colaboración con DeepMind) acaba de presentar VaultGemma, descrito como “el modelo más capacitado entrenado desde cero con privacidad diferencial” (differential privacy, DP). Su objetivo: reducir la zona oscura entre utilitarismo y privacidad en los grandes modelos de lenguaje, manteniendo un nivel fuerte de protección formal.
El reto de fondo es que aplicar privacidad diferencial a modelos de este tipo implica costes significativos. Por un lado, añadir ruido (noise) para garantizar privacidad suele degradar la estabilidad del entrenamiento: pueden surgir picos de pérdida (“loss spikes”) o incluso divergencias. Por otro, se requieren lotes de datos muy grandes (“batch size”) y un mayor cómputo para compensar el ruido añadido. Google/DeepMind elaboran unas leyes de escalado (scaling laws) que modelan cómo interactúan el tamaño del modelo, la cantidad de datos, el presupuesto de privacidad, y el coste computacional.
Con base en esas leyes, VaultGemma se construyó como un modelo de ~1.000 millones de parámetros (1B) entrenado desde cero con privacidad diferencial, usando metodologías optimizadas. Dos novedades técnicas importantes:
-
Uso de muestreo de Poisson para los ejemplos de entrenamiento, lo que permite mejores garantías de privacidad al reducir el ruido necesario.
-
Adaptaciones para mantener lotes de tamaño fijo (padding o recorte) aunque los datos entrenen con muestreo aleatorio, preservando garantías mientras se aprovechan eficiencias.
Rendimiento y garantías formales
En benchmarks académicos estándar – como HellaSwag, BoolQ, PIQA, SocialIQA, TriviaQA, ARC – VaultGemma rinde considerablemente cerca de modelos no privados de tamaño similar, aunque por detrás de los más avanzados. Comparativamente, su utilidad es similar a la de modelos no privados de hace unos cinco años. Es decir: hay progreso, pero aún gap.
En lo que a privacidad formal se refiere, VaultGemma fue entrenado con garantía de privacidad diferencial a nivel de secuencia (“sequence-level DP”), con parámetros ε ≤ 2.0 y δ ≤ 1.1·10⁻¹⁰, usando secuencias de 1.024 tokens extraídas de fuentes heterogéneas. En pruebas de memorization, se verificó que para un “prefijo” dado de 50 tokens tomado de un documento de entrenamiento, el modelo no reproducía el sufijo correspondiente de 50 tokens, lo que sugiere que no memoriza directamente esos fragmentos.
Implicaciones y retos
VaultGemma marca un hito: demuestra que modelos relativamente grandes pueden entrenarse con DP manteniendo un grado de utilidad útil. Provee además unas reglas prácticas (“scaling laws”) que pueden servir de hoja de ruta a otros desarrolladores que quieran replicar este enfoque. Sin embargo:
-
El coste computacional aún es alto, tanto en hardware como en tiempo, lo que limita su adopción inmediata en muchas organizaciones.
-
El rendimiento permanece por detrás de los modelos privados “no DP” más modernos, particularmente en tareas complejas.
-
La garantía de privacidad es “por secuencia”, lo que no equivale necesariamente a privacidad por usuario; si muchos documentos comparten cierta información sensible, este se podría inferir al haber múltiples secuencias relacionadas.
En conclusión, VaultGemma representa un paso significativo hacia modelos de lenguaje que integran la privacidad como fundamento, no añadido. La ruta hacia modelos aún más potentes con garantias formales robustas pasa por seguir refinando la mecánica del entrenamiento, mejorar las leyes de escalado y reducir los costes asociados. Para la comunidad de IA responsable, este es sin duda un desarrollo prometedor.
Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
