*Con un cálido acento británico* — "¿ Serías tan amable de poner esto de fondo "?

Hola, sabemos que ha pasado un poco desde nuestra última actualización. Perdone nuestro relativo silencio de los últimos dos meses; no se preocupe, estamos de vuelta con un capítulo lleno de proteínas. Y como siempre, nuestro Twitter y Discord son excelentes lugares para mantenerse informado.

Estamos muy emocionados de finalmente compartir nuestro primer artículo con ustedes, presentado a través de una subvención de la Fundación Ethereum: " El costo de la inteligencia: probar la inferencia de aprendizaje automático con conocimiento cero " (o paper0, como lo llaman los chicos geniales). ).

¡Así es, números reales! Gráficos! ¡Discusión de construcciones teóricas y su impacto en el rendimiento! Es toda la enchilada ; de hecho, paper0 es el primer trabajo para comparar los sistemas de prueba ZK en un conjunto común de primitivas de IA . Y sí, puedes leerlo ahora mismo, aquí mismo .

Con ese fin, trate este blog como una pieza complementaria (o un libro de lectura para aquellos que se saltan las conferencias ) que captura los aprendizajes de alto nivel de paper0. Si bien hemos trabajado arduamente para asegurarnos de que el rigor del documento honre los impresionantes trabajos técnicos a los que hacemos referencia, este blog solo resumirá las partes jugosas . Para obtener más información, consulte el documento.

Sin más preámbulos, profundicemos:

Paper0: El punto de nuestra encuesta

La autonomía está aquí. De hecho, el futuro de la computación implicará el uso intensivo de inteligencia artificial sofisticada. Solo mira mi editor de texto:

Sin embargo, no existen redes neuronales funcionales en la cadena, ni siquiera el sistema de recomendación más pequeño o el algoritmo de coincidencia. ¡Infierno! Ni siquiera un experimento... La razón , por supuesto, es bastante obvia: es simplemente demasiado caro . Después de todo, el costo de ejecutar incluso varios cientos de miles de FLOP de cómputo (apenas lo suficiente para un solo paso de inferencia en una pequeña red neuronal) es de millones de gas, equivalente a cientos de dólares.

Entonces, ¿qué hacemos si queremos llevar el paradigma de la IA al mundo sin confianza? ¿Vamos a dar la vuelta y rendirnos? Por supuesto que no… ¡espera un minuto! Date la vuelta... ríndete ...

Si los servicios de resumen como Starkware, Matter Labs y otros utilizan pruebas de conocimiento cero para escalar masivamente el cómputo y preservar la seguridad criptográfica, ¿podríamos hacer lo mismo con la IA?

Esta pregunta se convirtió en la semilla motivadora que impulsó nuestro trabajo en paper0. Alerta de spoiler, esto es lo que encontramos:

Aquí está el secreto bien conocido : el rendimiento de la IA casi siempre se escala con el tamaño del modelo. Esta tendencia tampoco parece estar desacelerándose . Mientras este siga siendo el caso, resultará especialmente doloroso para aquellos de nosotros aquí en web3.

Después de todo, el costo de cómputo es la fuente definitiva e inevitable de nuestras pesadillas.

El punto de referencia: diseño experimental

Para paper0, nos enfocamos en 2 métricas fundamentales en cualquier sistema de prueba de conocimiento cero:

• Tiempo de generación de prueba: la cantidad de tiempo que le toma a un probador crear una prueba que acompañe a una inferencia de IA, y
• Uso máximo de la memoria del probador: la memoria máxima que usa el probador para generar la prueba de inferencia, en cualquier momento dado durante la prueba

Por supuesto, también hay otras dimensiones de costo para rastrear. Esto incluye el tiempo de ejecución del verificador y el tamaño de la prueba. Es posible que revisemos estas métricas en el futuro, pero considérelas fuera del alcance de paper0.

En cuanto a los sistemas de prueba reales que probamos, por voto popular, nos decidimos por 6:

Finalmente, creamos dos conjuntos de perceptrones multilineales (MLP) para comparar, en particular, los MLP son relativamente simples y se componen principalmente de operaciones lineales, tanto comunes como similares a arquitecturas más sofisticadas. Esto incluía un conjunto de arquitecturas que escalaban con un número creciente de parámetros (hasta 18 millones de parámetros y 22 GFLOP), así como un segundo conjunto de arquitecturas que escalaban con un número creciente de capas (hasta 500 capas). Cada suite, como se ve en las tablas a continuación, probó la capacidad de escalar de los sistemas probadores de diferentes maneras y representó aproximadamente la escala de arquitecturas de aprendizaje profundo conocidas, desde LeNet5 (60k parámetros, 0.5 MFLOP) hasta ResNet-34 (22M parámetros, 3,77 GFLOP).

Resultados: Rápido y Furioso

Para obtener un desglose completo de estos resultados, junto con un análisis en profundidad de los cuellos de botella dentro de cada sistema, consulte la Sección 4 de paper0.

Casos de uso y conclusiones finales

Muy bien, esos son algunos gráficos bastante buenos, pero aquí está el titular:

Pero, por supuesto, ¿qué significa eso realmente en la práctica? Destacaremos 2 ejemplos:

1. Worldcoin : Worldcoin está construyendo el primer "Protocolo de prueba de personalidad para preservar la privacidad" del mundo (o PPPoPP, si tiene un sentido del humor de alta calidad). En otras palabras, resolver los ataques de Sybil vinculando la autenticación a una característica biométrica profundamente única: el iris.

Es... una idea descabellada que utiliza una red neuronal convolucional para comprimir, transformar y atestiguar los datos del iris almacenados. Si bien su configuración actual involucra un entorno informático confiable dentro de un enclave seguro en el hardware del orbe, en su lugar les gustaría usar un ZKP para dar fe del cálculo correcto del modelo. De manera similar, esto permitiría a los usuarios tener autocustodia sobre sus propios datos biométricos con garantías de seguridad criptográfica (siempre y cuando se procesen en el hardware del usuario, por ejemplo, su teléfono móvil).

Ahora, para ser más específicos: el modelo de Worldcoin presenta 1,8 millones de parámetros y 50 capas. Es el tipo de complejidad de modelo necesaria para distinguir entre 10 mil millones de iris diferentes. ¡Ay!

Si bien los sistemas de prueba como Plonky2 en CPU en la nube optimizadas para computación pueden generar pruebas de inferencia para un modelo de este tamaño en cuestión de minutos , el consumo de memoria del probador abrumaría cualquier hardware móvil disponible en el mercado ( decenas de gigabytes de RAM ) . .

El hecho es que ninguno de los sistemas probados puede probar esta red neuronal en hardware móvil...

2. AI Arena : AI Arena es un juego de lucha de plataforma en cadena al estilo de Super Smash Bros, con un giro distintivo: en lugar de avatares operados por jugadores que luchan entre sí en tiempo real, los modelos de IA propiedad de los jugadores compiten y lucha de forma autónoma. Y sí, es tan genial como suena.

Con el tiempo, el espectacular equipo de AI Arena está trabajando para trasladar su juego a un esquema de torneo totalmente libre de confianza. El problema es que esto implica el desafío de verificar una cantidad asombrosa de cálculos de IA por juego.

Los partidos se ejecutan a 60 fotogramas por segundo y duran 3 minutos. Esto se traduce en más de 20 000 resultados de inferencia entre los dos modelos de jugador en cada ronda. Usando una de las redes de políticas de AI Arena como ejemplo, un MLP relativamente pequeño que requiere ∼ 0,008 segundos para realizar un solo paso hacia adelante, demostrando que este modelo que usa zkCNN requiere 0,6 segundos, es decir, del orden de una explosión de cómputo de 1000x en cada uno. Acción tomada.

Esto también significa un aumento de 1000x en el costo de cálculo . A medida que la economía de la unidad se vuelve cada vez más importante para los servicios en cadena, los desarrolladores deben equilibrar el valor de la seguridad descentralizada con el costo literal de la generación de pruebas.

Ya sean los ejemplos anteriores, ZK-KYC, la generación de imágenes al estilo de DALL-E o incluso modelos de lenguaje extenso en contratos inteligentes, existe todo un universo de casos de uso en el mundo de ZKML. Sin embargo, para realizarlos realmente, creemos firmemente que los probadores ZK aún deben mejorarse enormemente. Sobre todo para un futuro de cadenas autosuperables .

Entonces, ¿dónde vamos desde aquí?

Tenemos cifras de rendimiento concretas. Sabemos qué técnicas tienden a funcionar mejor cuando se trata de probar redes neuronales. Y, por supuesto, estamos empezando a descubrir los tipos de casos de uso que inspiran y emocionan a nuestra creciente comunidad.

Más actualizaciones para ti pronto ;)

Recordando Nuestros Modales: Gracias

No se nos escapa que muchos de ustedes en la comunidad han sido increíblemente pacientes a medida que se acercaba el papel. ¡Gracias por su continuo apoyo en todo momento! Te mereces el rigor y el cuidado de un trabajo bien investigado, compuesto y revisado , por lo que nos hemos esforzado para asegurarnos de llegar allí.

Pero claro, no llegamos allí solos; dicen que se necesita un pueblo. Sin embargo, nunca mencionan la parte sobre la optimización de circuitos... Con ese fin, y reconociendo que esta es una lista lejos de ser exhaustiva de todas las personas que absolutamente debemos reconocer, el mayor agradecimiento del mundo a:

• Nuestros asesores y mentores de clase mundial: Zhang Zhenfei , Riad Wahby y Rand Hindi
• La Fundación Ethereum, por financiar nuestra investigación.
• Y, por sus comentarios y críticas: Jens Groth, Daniel Lubarov, Tianyi Liu, Max Gillett, Michele Orrú, Yi Sun, Kobi Gurkan, Luke Pearson, Nima Vaziri, Jonatan Luther-Bergquist, dcbuilder, Brandon Da Silva y culpablegyoza