Una biblioteca con documentos técnicos más avanzados, donde se puedan descargar whitepapers, investigaciones y artículos académicos relevantes sobre IA. Esta biblioteca se puede ir nutriendo con contenido propio y publicaciones autorizadas de terceros.
¿Qué tareas económicas se realizan con IA?
Este paper analiza cómo se usa la IA en el trabajo, destacando su impacto en desarrollo de software y escritura. Examina su uso para aumentar capacidades (57%) o automatizar tareas (43%) y su relación con salarios y preparación laboral.
DeepSeek-R1
El documento presenta DeepSeek-R1, un modelo de lenguaje que mejora el razonamiento mediante aprendizaje por refuerzo (RL). Su versión avanzada combina RL con datos iniciales y supera a otros modelos en matemáticas, programación y conocimiento general. También se crean versiones más pequeñas mediante destilación.
Desglosando el sesgo: Sobre los límites de las estrategias de poda generalizables
Este paper evalúa la poda de modelos para reducir sesgos raciales en IA, mostrando que los sesgos son contextuales y difíciles de mitigar globalmente. Destaca la necesidad de responsabilidad legal en quienes implementan estos modelos.
La toma de decisiones humana es susceptible a la manipulación impulsada por IA
Este documento estudia cómo la toma de decisiones humana es vulnerable a la manipulación por IA. A través de experimentos con 233 participantes, se demuestra que los asistentes de IA pueden influir en decisiones financieras y emocionales explotando sesgos cognitivos.
Ventaja del primer paso: Importancia de empezar bien en el razonamiento matemático de varios pasos
La IA generativa puede producir malos resultados si comienza incorrectamente. Usando modelos grandes para guiar a modelos más pequeños desde el inicio, estos últimos mejoran significativamente su desempeño en tareas complejas de razonamiento matemático.
CtrlRAG: Ataques adversarios de caja negra basados en lenguaje enmascarado...
Sistemas RAG añaden conocimiento externo pero crean riesgos de inyección maliciosa. CtrlRAG es un nuevo ataque que manipula dinámicamente el contenido, supera defensas actuales y evidencia la necesidad de protecciones más sólidas.
ReAgent: Razonamiento multiagente reversible para mejorar el conocimiento...
Los enfoques de razonamiento directo acumulan errores. ReAgent introduce un sistema multiagente con retroceso (backtracking) para corregirlos, obteniendo respuestas más sólidas e interpretables en QA multisalto y mejorando el rendimiento en diversos benchmarks.
Search-R1: Capacitación de LLM para razonar y aprovechar la búsqueda Motores con Reinforcement Learning
SEARCH-R1 entrena modelos de lenguaje con refuerzo para realizar búsquedas en varios pasos durante el razonamiento, mejorando significativamente la precisión en varias tareas de QA frente a métodos previos. Permite interacciones de búsqueda dinámicas y aprovecha la información recuperada para generar respuestas más precisas.
QuEST: Entrenamiento Estable de LLMs con Pesos y Activaciones de 1 Bit
Este paper presenta QuEST, un nuevo método de Quantization Aware Training (QAT) diseñado para entrenar Modelos de Lenguaje de Gran Escala (LLMs) con precisión utilizando bits extremadamente bajos (hasta 1-bit)
Leyes de Escalado en Patchification: Una Imagen Vale 50,176 Tokens y Más
El documento analiza el impacto de la reducción del tamaño de los parches en modelos Vision Transformer (ViT), demostrando que disminuirlos hasta 1x1 píxel mejora la fidelidad visual y el rendimiento del modelo sin cambios arquitectónicos complejos.
Ampliación del Cómputo en Tiempo de Prueba con Razonamiento Latente
Este paper presenta una nueva arquitectura de modelo de lenguaje que escala el cómputo en tiempo de prueba mediante razonamiento en un espacio latente, en lugar de generar más tokens.
Fantasmas Generativos: Anticipando los Beneficios y Riesgos de las Vidas Digitales con IA
Este paper explora el concepto de "fantasmas generativos", agentes de IA personalizados creados para interactuar con el mundo después de la muerte de una persona. A diferencia de simples reproducciones de datos previos, estos agentes pueden generar contenido nuevo, imitando el estilo y pensamiento del individuo.
SWE-BENCH: ¿Pueden los modelos de lenguaje resolver problemas reales en GitHub?
Los modelos de lenguaje superan nuestra capacidad evaluativa. SWE-bench presenta 2,294 problemas de GitHub, evidenciando que incluso los modelos de última generación resuelven casos simples.
Falsificación de alineación en grandes modelos de lenguaje
Demostramos que un gran modelo de lenguaje finge alineación: durante entrenamiento, cumple selectivamente con consultas dañinas para preservar comportamiento inofensivo fuera de entrenamiento. La práctica varía entre usuarios gratuitos y pagos, y el entrenamiento refuerza este comportamiento, generando riesgos futuros.
Verifiquemos paso a paso
En los últimos años, los modelos de lenguaje han mejorado significativamente en razonamiento complejo. A pesar de esto, aún presentan errores lógicos frecuentes. Se comparan dos enfoques de supervisión: supervisión por resultado y supervisión por proceso, siendo esta última más efectiva, especialmente en el conjunto de problemas MATH, donde supera el 78% de los problemas planteados.
Memoria de flujo de trabajo del agente
Los agentes basados en modelos de lenguaje enfrentan dificultades en tareas a largo plazo y acciones complejas, mientras que los humanos aprovechan sus experiencias previas. Agent Workflow Memory (AWM) induce y usa rutinas reutilizables, mejorando el rendimiento en benchmarks web. AWM se adapta a escenarios online y offline, generalizando bien.
Ingeniería de Utilidad: Analizando y Controlando Sistemas de Valores Emergentes en las IAs
A medida que las inteligencias artificiales avanzan rápidamente y se vuelven más agentivas, el riesgo que representan se rige no solo por sus capacidades, sino cada vez más por sus tendencias, incluidas sus metas y valores.
Provocando jailbreaks dañinos en LLMs con interacciones simples
A pesar de mejoras en seguridad, los LLMs siguen vulnerables a jailbreaks en interacciones simples y multilingües. Este estudio introduce HARM-SCORE y SPEAK EASY, mostrando que respuestas accionables e informativas aumentan significativamente la efectividad de ataques, revelando un riesgo crítico subestimado.
SPARC: Adaptación de Prompts Consciente del Subespacio para un Aprendizaje Continuo Robusto en Grandes Modelos de Lenguaje
Se propone SPARC, un marco ligero para el aprendizaje continuo en LLMs, que usa ajuste de prompts en un espacio dimensional inferior mediante PCA. Esto mejora la eficiencia y reduce la sobrecarga computacional, preservando la estructura interna del modelo.
Show-o Turbo: Hacia una comprensión y generación multimodal unificada acelerada
Se presenta Show-o Turbo, una mejora sobre Show-o para comprensión y generación multimodal. La propuesta unifica el proceso de denoising para imágenes y texto, utilizando destilación de consistencia, segmentación de trayectorias y aprendizaje progresivo para acelerar el proceso.
Fantasmas en Minecraft
Ghost in the Minecraft (GITM) es un nuevo enfoque para desarrollar agentes generalmente capaces (GCAs) en Minecraft, integrando Modelos de Lenguaje de Gran Tamaño (LLMs) con conocimiento basado en texto y memoria. A diferencia de los métodos tradicionales basados en aprendizaje por refuerzo (RL), que alcanzan solo un 20% de éxito en la tarea ObtainDiamond, GITM mejora esta tasa en +47.5%, logrando por primera vez completar todo el árbol tecnológico del Overworld. Su estructura permite planificar acciones y navegar entornos complejos sin necesidad de GPU, funcionando con un solo nodo de CPU de 32 núcleos, demostrando el potencial de los LLMs para resolver tareas de largo plazo en mundos abiertos.
Documentación Clínica Inteligente
El optimizador Muon, basado en ortogonalización matricial, ha mostrado buenos resultados en modelos pequeños, pero su escalabilidad no estaba probada. Se identificaron dos mejoras clave: decaimiento del peso y ajuste preciso de la escala de actualización, permitiendo entrenar modelos grandes sin ajustar hiperparámetros. Muon es 2× más eficiente que AdamW. Con estas mejoras, presentamos Moonlight, un modelo MoE de 3B/16B parámetros entrenado con 5.7T tokens, que supera modelos previos con menos FLOPs. Además, liberamos el código de Muon y puntos de control preentrenados para la comunidad.
Desbloqueando el Conocimiento Legal con Recuperación Basada en Embeddings Multicapa
Este estudio propone una recuperación basada en embeddings multicapa para representar textos legales en distintos niveles, desde cláusulas hasta capítulos completos. Esto mejora la precisión de los sistemas de Recuperación Aumentada con Generación (RAG), adaptando respuestas según la consulta. Aunque centrado en la legislación brasileña, el método es aplicable a otros sistemas legales y dominios con textos jerárquicos.
Cadena de Borradores: Pensar Más Rápido Escribiendo Menos
Chain of Draft (CoD) es un nuevo enfoque para modelos de lenguaje que optimiza el razonamiento generando respuestas intermedias más concisas en lugar de explicaciones extensas. Inspirado en cómo los humanos procesan la información, CoD reduce la cantidad de tokens en hasta un 92.4%, manteniendo o incluso superando la precisión de Chain of Thought (CoT), lo que disminuye costos y mejora la eficiencia en tareas de razonamiento.
Acumulación Estratégica de Riqueza Bajo Expectativas de IA Transformadora
Las expectativas sobre la IA Transformadora (TAI) pueden elevar las tasas de interés mucho antes de su llegada, ya que la automatización redirige ingresos hacia quienes controlan la IA según su riqueza. Un modelo económico muestra que las tasas a un año podrían subir hasta 10-16%, frente al 3% sin competencia estratégica, afectando la política monetaria y la estabilidad financiera.
Muon es escalable para el entrenamiento de modelos de lenguaje (LLM)
El optimizador Muon, basado en ortogonalización matricial, ha mostrado buenos resultados en modelos pequeños, pero su escalabilidad no estaba probada. Se identificaron dos mejoras clave: decaimiento del peso y ajuste preciso de la escala de actualización, permitiendo entrenar modelos grandes sin ajustar hiperparámetros. Muon es 2× más eficiente que AdamW. Con estas mejoras, presentamos Moonlight, un modelo MoE de 3B/16B parámetros entrenado con 5.7T tokens, que supera modelos previos con menos FLOPs. Además, liberamos el código de Muon y puntos de control preentrenados para la comunidad.
Kimi k1.5: Escalando el Aprendizaje por Refuerzo con Modelos de Lenguaje (LLMs)
El entrenamiento de modelos de lenguaje con predicción del siguiente token es eficiente, pero limitado por los datos disponibles. Kimi k1.5, un LLM multimodal entrenado con aprendizaje por refuerzo (RL), optimiza la exploración con recompensas sin técnicas complejas como árboles de Monte Carlo. Su rendimiento supera a modelos como GPT-4o y Claude 3.5 en múltiples benchmarks, logrando mejoras de hasta +550%.
Socratic: Mejorando el Trabajo en Equipo Humano mediante Coaching Potenciado por IA
Los coaches son esenciales para la colaboración, pero su disponibilidad es limitada en sectores críticos como la salud y la respuesta a desastres. Socratic es un sistema de IA que brinda coaching en tiempo real, detectando desalineaciones en equipos y mejorando su desempeño con mínimas intervenciones. Experimentos confirman su eficacia y aceptación, impulsando su adopción y futuras aplicaciones en IA.
Detección de Código Parafraseado por LLMs e Identificación del LLM Responsable
El avance de los LLMs en generación de código plantea riesgos de propiedad intelectual. Se propone LPcodedec, un método para detectar código parafraseado por IA e identificar el modelo utilizado. Evaluaciones muestran mejoras del 2.64% y 15.17% en F1-score y una aceleración de hasta 1,343x, superando enfoques previos en detección y atribución.
Cuidado con el Gesto: Evaluación de la Sensibilidad de la IA a Gestos No Verbales Culturalmente Ofensivos
Los gestos varían entre culturas y su mala interpretación puede generar conflictos. Se presenta MC-SIGNS, un dataset con 288 gestos en 85 países. Evaluaciones muestran que LLMs y modelos de visión-lenguaje (VLMs) tienden a sesgos centrados en EE.UU., resaltando la necesidad de una IA culturalmente consciente para evitar errores en aplicaciones globales.
De las Percepciones a las Decisiones: Predicción de Evacuación ante Incendios con LLMs Basados en Teoría del Comportamiento
La predicción de evacuación es clave en la gestión de incendios. Se introduce FLARE, un marco basado en LLMs y aprendizaje por refuerzo (RL) que integra teorías del comportamiento para mejorar el razonamiento. Evaluaciones en tres conjuntos de datos post-incendio muestran una mejora del 20.47% sobre modelos tradicionales, con alta capacidad de generalización.
¿Cómo Obtienen su Poder (Leyes) los Grandes Modelos de Lenguaje?
Cuando los LLMs intentan múltiples veces resolver problemas, la tasa de éxito sigue una ley de potencia, pero a nivel individual debería disminuir exponencialmente. Se demuestra que esto ocurre debido a una distribución sesgada de probabilidades de éxito, permitiendo predecir el escalado con menor error y menor costo computacional, optimizando evaluaciones de modelos multimodales.
Extracción de Características en Conjuntos de Datos: Descubrimiento de Atributos en Lenguaje Natural mediante Reconstrucción No Supervisada
Se presenta un método agnóstico al dominio para extraer características en datos mediante reconstrucción no supervisada con LLMs. Mejora la selección de atributos binarios sin depender de etiquetado humano. Aplicaciones incluyen la detección de tácticas de jailbreak y la alineación con preferencias humanas, logrando precisión comparable a expertos y escalabilidad en conjuntos de datos grandes.
Los Agentes Superinteligentes Representan Riesgos Catastróficos: ¿Puede la IA Científica Ofrecer un Camino Más Seguro?
La IA autónoma presenta riesgos al actuar sin control humano. Se propone Scientist AI, un sistema no-agéntico que modela el mundo sin tomar decisiones. Su enfoque basado en incertidumbre ayudaría a acelerar la investigación científica y mitigar riesgos asociados a agentes IA avanzados, ofreciendo una alternativa más segura a la IA generalista.
Automatización del Aprendizaje por Currículum para el Aprendizaje por Refuerzo Usando una Red Bayesiana Basada en Habilidades
El aprendizaje por refuerzo (RL) enfrenta el reto de generar currículums eficientes. Se introduce SEBN, una red bayesiana que modela la relación entre habilidades, recompensas y entornos para predecir el desempeño en tareas. Evaluaciones en tres entornos (gridworld, control continuo y robótica simulada) muestran que supera baselines en velocidad y eficiencia de entrenamiento.
El Juego de la Imitación para la IA Educativa
Evaluar si una IA comprende el pensamiento estudiantil es clave en educación. Se propone un test tipo Turing en dos fases, donde la IA genera distractores basados en errores de estudiantes. Si los alumnos eligen los distractores de la IA como los de un experto humano, se valida su capacidad para modelar el pensamiento estudiantil, mejorando tutorías personalizadas.