https://spaceandtime.io

Enhancing Privacy in DeFi Zero-Knowledge Proofs for Confidential Transactions The ZK Coprocessor leverages zero-knowledge proofs to enable confidential transactions. This ensures that sensitive financial data remains private while still allowing for verification, a crucial factor in maintaining user trust in DeFi platforms.

Protecting User Data By minimizing data exposure, the ZK Coprocessor safeguards user information from potential breaches, providing a secure environment for financial transactions and interactions.

Boosting Security Measures Robust Verification The coprocessor's ability to perform complex cryptographic operations efficiently strengthens the verification process, reducing the risk of fraud and ensuring the integrity of DeFi transactions.

Resistance to Attacks With enhanced security protocols, the ZK Coprocessor protects DeFi platforms from common vulnerabilities, such as double-spending and other malicious activities, making them more resilient against attacks.

Improving Scalability for DeFi Growth Efficient Transaction Processing The ZK Coprocessor optimizes transaction processing, allowing DeFi platforms to handle a higher volume of transactions without slowing down. This is crucial for accommodating the growing number of users and activities in the DeFi space.

Support for Complex Financial Products By enabling faster and more efficient computations, the ZK Coprocessor allows DeFi platforms to offer more sophisticated financial products and services, expanding the range of possibilities for users and developers.

Future Implications for DeFi Increased Adoption As privacy and security concerns are addressed, more users and institutions are likely to participate in DeFi, driving further adoption and innovation in the sector.

New Opportunities for Innovation Developers can leverage the enhanced capabilities of the ZK Coprocessor to create novel DeFi applications and services, pushing the boundaries of what DeFi can achieve.

Conclusion SxT's ZK Coprocessor is set to play a transformative role in the evolution of decentralized finance. By enhancing privacy, security, and scalability, it addresses some of the most pressing challenges facing DeFi today.

As the technology continues to mature, it will likely drive significant advancements in the DeFi ecosystem, opening up new opportunities for users and developers and paving the way for a more secure and efficient financial future.

Antes de 2022, si querías recordar rápidamente un pasaje específico de tu libro favorito o una cita de una película que acabas de ver sin la obra en sí frente a ti, probablemente recurrías a un motor de búsqueda. Lo solicitaría con una entrada de búsqueda bien formulada, analizaría los resultados devueltos, visitaría el enlace de SparkNotes o IMDB que parece contener su respuesta y encontraría el texto que está buscando en la página en unos minutos. Ahora, simplemente abre ChatGPT, escribe "¿cuál es la cita más famosa de Terminator?" o "escribe el pasaje inicial de Historia de dos ciudades" y tienes tu respuesta literal en segundos.

Uno de los usos más simples de un modelo de lenguaje grande (LLM) es como una base de datos de conocimiento. LLMs han sido entrenados con vastos conjuntos de datos de información rica, que interfaces como ChatGPT han facilitado su recuperación. Cuando le pides a ChatGPT que devuelva contenido de una película o un libro, por ejemplo, simplemente estás aprovechando la capacidad del modelo para recordar información a la que ha estado expuesto durante su entrenamiento. Pero, ¿y si no se entrenó en el guión de Terminator, o si sus pesos no dan importancia a las obras de Dickens? Con el fin de ofrecer los resultados más precisos y relevantes, incluso para los casos de uso más simples, como la recuperación de información básica, LLMs se necesitan mecanismos sofisticados de indexación y recuperación que puedan acceder a un amplio espectro de información con precisión.

La comprensión LLM de la generación de contenido y el contenido de entrenamiento LLM se genera a través de un proceso conocido como predicción del siguiente token, que garantiza que las respuestas sean contextualmente apropiadas, variadas y que reflejen de alguna manera una comprensión similar a la humana. Así es como funciona la predicción del próximo token, paso a paso:

Procesamiento de entrada: cuando escribe un mensaje o una pregunta, esa entrada se convierte en tokens: palabras o fragmentos de palabras. Comprensión del contexto: el modelo examina las fichas que le ha dado y, en función de su entrenamiento, intenta comprender el contexto, que incluye todo, desde el tema en cuestión hasta el tono que podría estar utilizando. Predicción del siguiente token: Con el contexto en el que se entiende, el modelo predice cuál es el siguiente token más probable. No se trata solo de adivinar en función de la palabra inmediatamente anterior; Es considerar todo el contexto de la conversación hasta ese momento. Selección de tokens: Una vez que ha predicho un rango de posibles próximos tokens, selecciona uno. Esta selección se basa en la probabilidad, es decir, el token que es más probable que aparezca a continuación en función de los datos con los que se entrenó el modelo. Sin embargo, vale la pena señalar que aquí también hay algo de aleatoriedad, lo que ayuda a generar respuestas más variadas y naturales. Generación de salida: El token seleccionado se convierte de nuevo en texto legible por humanos. Si la respuesta no está completa (lo que a menudo no ocurre después de un solo token), el proceso se repite. El nuevo token se agrega a la secuencia y el modelo predice el siguiente token en función de este contexto actualizado. Refinamiento iterativo: este proceso de predecir el siguiente token y agregarlo a la secuencia se repite hasta que el modelo alcanza un punto de parada. Esto podría ser cuando la respuesta alcanza una cierta longitud, el modelo predice un token que significa el final de una oración o pasaje, o cuando cumple con las instrucciones incrustadas en el mensaje. Limitaciones de la compresión en el entrenamiento Cuando un LLM usuario predice un token, recupera y utiliza de manera efectiva el conocimiento comprimido incrustado dentro LLM de sus pesos para producir resultados contextualmente apropiados. De esta manera, LLM el entrenamiento refleja la compresión de la base de datos. Al igual que una base de datos está optimizada para recuperar rápidamente los datos a los que se accede con frecuencia, una LLM está diseñada para recuperar información (memorias interpoladas específicas) de sus pesos. Esta capacidad le permite producir respuestas precisas a las consultas sobre material familiar que ha encontrado durante su entrenamiento, al igual que consultar una base de datos para obtener información bien indexada. Sin embargo, surgen limitaciones cuando el modelo encuentra contenido menos familiar u oscuro. Por ejemplo, cuando se LLM le pregunta por pasajes específicos de la Biblia, se citan palabra por palabra, pero no se puede citar palabra por palabra ningún concepto que no haya "presenciado" redundantemente durante el entrenamiento, ya que los pesos asociados con ese concepto son demasiado insignificantes. En ese sentido también, es LLM análogo a una base de datos. Al igual que una base de datos solo puede devolver datos que se han almacenado explícitamente en ella, una LLM puede tener dificultades para generar contenido sobre temas que no ha visto ampliamente durante el entrenamiento.

Por supuesto, LLMs están más allá del alcance de esta analogía, ya que tienen un modelo de mundo interno que les permite "entender" las cosas más allá de las búsquedas. Sin embargo, esta simplificación excesiva nos ayuda a comprender algunas de las limitaciones clave en la forma en que LLMs se entrena para generar contenido.

Otras limitaciones de la formación Además, el siguiente sistema de predicción de LLM fichas tiene otras limitaciones inherentes que se derivan de su enfoque fundamental para generar texto:

Tamaño de la ventana de contexto: una de las principales restricciones es el tamaño de la ventana de contexto del modelo, es decir, la cantidad máxima de texto (en tokens) que el modelo puede tener en cuenta al realizar una predicción. Para muchos modelos, incluidas las versiones anteriores de GPT, esta ventana no es lo suficientemente grande como para mantener el contexto en conversaciones o documentos largos, lo que puede conducir a la pérdida de coherencia en textos más largos o discusiones complejas que requieren mantener el contexto más allá de los tokens inmediatamente anteriores. Generalización vs. especificidad: Si bien estos modelos se entrenan en grandes conjuntos de datos, su capacidad para generalizar a partir de este entrenamiento a veces puede llevarlos a producir contenido genérico o vagamente relevante. Es posible que no den en el blanco al generar respuestas muy específicas o matizadas que requieren una comprensión detallada o un conocimiento actualizado fuera de sus datos de entrenamiento. Falta de acceso al conocimiento externo: los modelos de predicción de tokens Next se limitan a la información contenida en sus conjuntos de datos de entrenamiento. No pueden acceder o incorporar nueva información después de la capacitación, lo que significa que pueden quedar desactualizados rápidamente o carecer de contexto actual, como eventos recientes, descubrimientos o temas de tendencia. Repetitividad y previsibilidad: La naturaleza algorítmica de la predicción del próximo token a veces puede dar lugar a la generación de texto repetitivo o predecible. Dado que el modelo a menudo favorece a los tokens que estadísticamente tienen más probabilidades de seguir dado el contexto, puede caer en bucles o preferir frases comunes, lo que reduce la variabilidad de la salida. Explicación de la generación aumentada de recuperación (RAG) Como se mencionó anteriormente, LLMs genere respuestas basadas en los pesos que han asignado a diferentes aspectos de los datos durante el entrenamiento. Estas ponderaciones reflejan la importancia o la importancia de los distintos elementos de los datos de entrada percibidos por el modelo. Si el mensaje de un usuario incluye elementos que no se representaron significativamente en los datos de entrenamiento, es posible que el modelo no genere una respuesta precisa o relevante.

Cuando una conversación supera la ventana de contexto de un LLM, o cuando un mensaje supera el límite de pesos significativos en un LLMpropio conjunto de datos de entrenamiento (lo que significa que no puede recordar exactamente la respuesta que el usuario está buscando), el modelo normalmente se basa en una base de datos de búsqueda vectorial externa, que le permite buscar contexto relevante o datos nuevos que se pueden anexar a un mensaje del usuario. Este proceso se conoce como generación aumentada de recuperación (RAG).

"Búsqueda vectorial hacia el éxito" El proceso RAG es posible gracias a una base de datos de búsqueda vectorial: un tipo avanzado de base de datos que almacena y gestiona datos como vectores. Estos vectores representan los datos en un espacio de alta dimensión, donde cada dimensión captura algún aspecto del significado de los datos, lo que permite la representación de relaciones y atributos complejos. En el contexto del texto y el lenguaje, las bases de datos de búsqueda vectorial utilizan técnicas como incrustaciones para convertir texto en vectores numéricos. Esta conversión permite al sistema medir las similitudes semánticas entre diferentes fragmentos de texto mediante el cálculo de las distancias entre sus vectores correspondientes en este espacio multidimensional.

Durante RAG, tanto la consulta (es decir, la entrada de un usuario a la LLM) como los datos almacenados (como artículos, documentos u oraciones) se convierten en vectores mediante incrustaciones de texto. Estas incrustaciones transforman los datos textuales en vectores numéricos en los que se asignan significados similares a puntos próximos en el espacio vectorial. A continuación, la base de datos calcula las distancias entre el vector de consulta y los vectores de los datos almacenados para determinar el grado de relación entre los significados de los textos. La base de datos recupera los puntos de datos (contenido textual) cuyos vectores están más cerca del vector de consulta, es decir, aquellos que son semánticamente más similares a la entrada. Estos puntos de datos se consideran los "vecinos más cercanos" en términos de contexto y significado.

Estos vecinos más cercanos proporcionan información adicional contextualmente relevante a la que la base LLM podría no haber tenido acceso dentro de sus propios datos de entrenamiento, lo que puede mejorar significativamente la precisión, relevancia, riqueza y variedad de las LLMsalidas. Sam Altman, entre otros, ha abogado por el enfoque de "búsqueda vectorial hacia el éxito", confiando en RAG para el desarrollo de agentes, en lugar de solo el ajuste fino del modelo.

RAG como alternativa al ajuste fino El ajuste fino de an LLM implica ajustar las ponderaciones de un modelo en función del entrenamiento adicional en un conjunto de datos específico para mejorar el rendimiento de tareas particulares o mejorar la comprensión en ciertos dominios. Este proceso no solo es más lento que el ritmo de la innovación, lo que significa que los modelos ajustados se vuelven obsoletos casi tan rápido como se actualizan, sino que tampoco aborda el problema de los datos frescos.

Por el contrario, RAG permite que el modelo acceda a bases de datos externas en tiempo real para recuperar la información más actual relevante para la consulta en cuestión. Incluso si el modelo subyacente no se ha actualizado o ajustado recientemente, aún puede generar respuestas que incluyan los datos más recientes. Los modelos siguen siendo relevantes durante más tiempo porque pueden adaptarse a nuevos datos y contextos cambiantes a través de la recuperación de fuentes de información externas.

RAG cierra eficazmente la brecha entre el aprendizaje profundo y las técnicas tradicionales de recuperación de información. Al hacerlo, aprovecha las fortalezas de ambos: la poderosa comprensión contextual del aprendizaje profundo y la precisión de la recuperación de información. Este enfoque híbrido permite LLMs producir respuestas más precisas, detalladas y contextualmente ricas.

Al abordar las limitaciones adicionales del ajuste fino de LLMs Beyond, RAG también aborda los desafíos previamente señalados asociados con el estándarLLMs:

Ampliación de la comprensión contextual: RAG amplía la ventana de contexto de la tradicional LLMs mediante la obtención de información actualizada o detallada que mejora las respuestas del modelo. Mejora de la especificidad y la precisión: En lugar de depender únicamente de los patrones aprendidos durante el entrenamiento, RAG permite que el modelo inyecte detalles específicos de los documentos recuperados en sus respuestas, lo que las hace no solo más precisas, sino también adaptadas a la consulta específica en cuestión. Mitigación de la repetitividad y la previsibilidad: Al extraer dinámicamente diferentes conjuntos de información para cada consulta, RAG puede variar significativamente las respuestas de un modelo. Esta variabilidad ayuda a reducir la repetitividad y la previsibilidad que a menudo se ven en los modelos generativos puros, ya que los datos externos introducen nuevas frases y detalles en la conversación. Sin embargo, los desafíos y la evolución necesaria de RAG RAG vienen con sus propios desafíos, a saber, la latencia y la falta de inteligencia. Piense en una conversación de chatbot de agente por turnos en la que el usuario envía un mensaje, escupe LLM algunos tokens que indican que necesita más contexto, una base de datos de búsqueda vectorial recupera el contexto del vecino más cercano a través del mensaje de entrada del usuario y, finalmente, ambos se envían de LLM nuevo para su inferencia. Luego, es el turno del usuario de responder, y así sucesivamente.

En este sistema, cada solicitud de usuario inicia una operación de varios pasos en la que cada paso se suma al tiempo total de procesamiento. La velocidad de todo el proceso también depende de la rapidez con la que la base de datos de búsqueda vectorial pueda recuperar el contexto necesario. Si la consulta de la base de datos es compleja o la propia base de datos es grande y no está indexada de forma óptima, esta recuperación puede introducir retrasos significativos. Además, especialmente en diálogos más complejos, es posible que sea necesario repetir esta secuencia de generación y recuperación varias veces para refinar la respuesta adecuadamente. Este ciclo iterativo puede agravar la latencia, lo que lleva a interacciones más lentas de lo que podría ser factible con un modelo puramente generativo que se basa únicamente en datos internos.

Además, la inteligencia de un RAG enriquecido LLM depende significativamente de la calidad y pertinencia de la información recuperada de la base de datos de búsqueda vectorial. Si el contenido de la base de datos no es completo, no está actualizado o no está bien mantenido, la utilidad de la información recuperada puede ser limitada, lo que afecta a la inteligencia general de las respuestas.

Incluso cuando se recuperan datos externos de alta calidad, el reto sigue siendo la eficacia con la que esta información puede integrarse en el marco de respuesta existente de la LLM. El modelo no solo debe incorporar estos datos externos, sino hacerlo de una manera que sea contextualmente apropiada y coherente. La falta de alineación entre el entrenamiento del modelo y la naturaleza de los datos externos puede dar lugar a respuestas técnicamente precisas pero contextualmente inconexas.

La próxima generación de LLMs La próxima generación de LLMs probablemente combinará el RAG basado en la búsqueda vectorial y los métodos tradicionales de capacitación/ajuste fino, junto con el procesamiento de datos estructurados (e.g. SQL bases de datos de mercado TradFi y noticias financieras asociadas). El concepto de tener un LLM proveedor "por aquí" y una base de datos de búsqueda vectorial separada "por allá" se cotejará a través de nuevos modelos que amplían intuitivamente su memoria de trabajo indexada a SSD locales con terabytes de contexto vectorizado.

Space and Time ya ha entregado Proof of SQL, una prueba de ZK que verifica la precisión y la protección contra manipulaciones del procesamiento de bases de datos SQL, a los clientes y, más recientemente, Proof of Vector Search, que hace lo mismo para la recuperación de búsquedas vectoriales. Estas pruebas novedosas abren el camino para un futuro en el que LLMs se puede integrar un contexto fresco, acceder a un espectro de datos más amplio y matizado en tiempo real e integrar el procesamiento de datos estructurados para producir análisis más perspicaces, todo de una manera rastreable y verificable. En última instancia, estos avances ampliarán el alcance de las aplicaciones de LLMs, ampliando su utilidad en sectores que dependen en gran medida de datos actualizados, como los servicios financieros, la agregación de noticias y la evaluación de riesgos, impulsando así la próxima ola de innovación impulsada por la IA.