Así es como puedes estudiar por tu cuenta para lograr un aprendizaje profundo

Reeditado por Platón

seguidores: 0

Introducción

¿Te sientes perdido cada vez que planeas comenzar algo nuevo? ¿Necesitas que alguien te guíe y te dé el empujón que necesitas para dar el primer paso? ¡No estás solo! Muchos luchan por saber por dónde empezar o cómo mantener el rumbo cuando inician un nuevo esfuerzo.

Mientras tanto, leer libros inspiradores, podcasts y más es natural para crear el camino que planeas seguir. Después de obtener la motivación para comenzar algo, el primer paso para todos es decidir “SOBRE QUÉ QUIERO APRENDER”. Por ejemplo, es posible que haya decidido lo que quiere aprender, pero simplemente decir: "Quiero aprender aprendizaje profundo" no es suficiente.

El interés, la dedicación, una hoja de ruta y la necesidad de solucionar el problema son las claves del éxito. Estos te llevarán a la cima de tu viaje.

El aprendizaje profundo combina varias áreas del aprendizaje automático, centrándose en las redes neuronales artificiales y el aprendizaje de representación. Destaca en reconocimiento de imágenes y voz, procesamiento del lenguaje natural y más. Los sistemas de aprendizaje profundo aprenden patrones y representaciones complejos a través de capas de nodos interconectados, lo que impulsa avances en la tecnología de inteligencia artificial.

Entonces, si me preguntas, ¿debo seguir una hoja de ruta o comenzar desde cualquier lugar? Le sugiero que tome un camino o una hoja de ruta dedicada al aprendizaje profundo. Puede que le resulte mundano o monótono, pero una hoja de ruta de aprendizaje estructurado o de aprendizaje profundo es crucial para el éxito. Además, conocerá todos los recursos de aprendizaje profundo necesarios para sobresalir en este campo.

Tabla de contenidos.

Vamos a empezar desde el principio

La vida está llena de altibajos. Usted planifica, diseña y comienza algo, pero su inclinación hacia el aprendizaje cambia con el avance continuo y las nuevas tecnologías.

Puede que seas bueno en Python, pero el aprendizaje automático y el aprendizaje profundo son difíciles de comprender. Esto podría deberse a que el aprendizaje profundo y el aprendizaje automático son juegos de números, o podría decirse que tienen muchas matemáticas. Pero debes mejorar tus habilidades en términos de los tiempos cambiantes y las necesidades del momento.

Hoy la necesidad es Aprendizaje profundo.

Si preguntas, ¿por qué es importante el aprendizaje profundo? Los algoritmos de aprendizaje profundo destacan en el procesamiento de datos no estructurados, como texto e imágenes. Ayudan a automatizar la extracción de funciones, lo que reduce la dependencia de expertos humanos y agiliza el análisis y la interpretación de datos. No es específico sólo para esto; Si quieres saber más al respecto, consulta esta guía.

Aprendizaje profundo versus aprendizaje automático: ¡las diferencias esenciales que necesita conocer!

Además, si haces las cosas sin la orientación adecuada o una hoja de ruta de aprendizaje profundo, estoy seguro de que chocarás contra un muro que te obligará a empezar desde el principio.

Habilidades que necesita para un viaje de aprendizaje profundo

Cuando comienzas con el aprendizaje profundo, es fundamental tener una base sólida en la programación de Python. A pesar de los cambios en el panorama tecnológico, Python sigue siendo el lenguaje dominante en la IA.

Si quieres dominar Python desde el principio, explora este curso: Introducción a Python.

Estoy bastante seguro de que si se dirige hacia este campo, debe comenzar con el trabajo de limpieza de datos. Puede que le resulte innecesario, pero unas sólidas habilidades en materia de datos son esenciales para la mayoría de los proyectos de IA. Así que no dudes en trabajar con datos.

Lea también esto – ¿Cómo limpiar datos en Python para aprendizaje automático?

Otra habilidad importante es el buen sentido y la comprensión de cómo evitar una situación difícil que lleva mucho tiempo resolver. Por ejemplo, en varios proyectos de aprendizaje profundo, será un desafío decidir cuál es el modelo base perfecto para un proyecto en particular”. Algunas de estas exploraciones pueden ser valiosas, pero muchas consumen mucho tiempo. La clave es saber cuándo profundizar y cuándo optar por un enfoque más rápido y sencillo.

Además, un viaje de aprendizaje profundo requiere una base sólida en matemáticas, en particular álgebra lineal, cálculo y teoría de la probabilidad. Las habilidades de programación son esenciales, especialmente en Python y sus bibliotecas como TensorFlow, PyTorch o Keras. Es fundamental comprender los conceptos del aprendizaje automático, como el aprendizaje supervisado y no supervisado, las arquitecturas de redes neuronales y las técnicas de optimización. Además, debe tener sólidas habilidades para resolver problemas, curiosidad y voluntad de aprender y experimentar continuamente. Las capacidades de procesamiento, visualización y análisis de datos también son activos valiosos. Por último, la paciencia y la perseverancia son claves, ya que el aprendizaje profundo puede resultar desafiante e iterativo.

También lea esto: ¡Las 5 habilidades principales necesarias para ser un ingeniero de aprendizaje profundo!

Recursos útiles de aprendizaje profundo en 2024

Recursos de aprendizaje profundo — Fuente: Medio

Felicitaciones a Ian Goodfellow, Yoshua Bengio y Aaron Courville por seleccionar estos libros electrónicos de aprendizaje profundo. Puede consultar estos libros y obtener la información esencial. Además, le informaré sobre estos libros y le proporcionaré los enlaces necesarios:

Libros sobre conceptos básicos de matemáticas aplicadas y aprendizaje automático

Estos libros lo ayudarán a comprender los conceptos matemáticos básicos que necesita para trabajar en el aprendizaje profundo. También aprenderá los conceptos generales de matemáticas aplicadas que pueden ayudarlo a definir las funciones de múltiples variables.

Además, también puede consultar Matemáticas para el aprendizaje automático de Marc Peter Deisenroth, A. Aldo Faisal y Cheng Soon Ong.

Aqui esta el link - Empezar

Libros sobre redes profundas modernas y prácticas

Esta sección describe el aprendizaje profundo moderno y sus aplicaciones prácticas en la industria. Se centra en enfoques que ya son efectivos y explora cómo el aprendizaje profundo sirve como una herramienta poderosa para tareas de aprendizaje supervisado, como mapear vectores de entrada a vectores de salida. Las técnicas cubiertas incluyen redes profundas de retroalimentación, redes neuronales convolucionales y recurrentes y métodos de optimización. La sección ofrece orientación esencial para los profesionales que buscan implementar soluciones de aprendizaje profundo para problemas del mundo real.

Libros sobre investigación de aprendizaje profundo

Esta sección del libro profundiza en enfoques avanzados y ambiciosos del aprendizaje profundo, particularmente aquellos que van más allá del aprendizaje supervisado. Si bien el aprendizaje supervisado asigna eficazmente un vector a otro, la investigación actual se centra en manejar tareas como generar nuevos ejemplos, gestionar valores faltantes y aprovechar datos no etiquetados o relacionados. El objetivo es reducir la dependencia de los datos etiquetados, explorando el aprendizaje no supervisado y semisupervisado para mejorar la aplicabilidad del aprendizaje profundo en tareas más amplias.

Si me pide varios enlaces a recursos para el aprendizaje profundo, explore rápido.ai y del Vídeos de Karpatía.

También puede consultar el tweet de Sebastian Raschka para comprender mejor las tendencias recientes en aprendizaje automático, aprendizaje profundo e inteligencia artificial.

¿Cuáles son las tendencias recientes en aprendizaje automático, aprendizaje profundo e inteligencia artificial? Las competiciones suelen ser un gran lugar para buscar las herramientas que realmente se utilizan y lo que funciona bien en la práctica. Realmente disfruté el @ml_concursos informe del año pasado y estoy encantado de leer el de este año... pic.twitter.com/4r6k4CcWbZ

— Sebastián Raschka (@rasbt) Marzo 12, 2024

Artículos de investigación sobre aprendizaje profundo para leer

Si es nuevo en el aprendizaje profundo, quizás se pregunte: "¿Dónde debería comenzar mi viaje de lectura?"

Esta hoja de ruta de aprendizaje profundo proporciona una selección seleccionada de artículos para guiarlo a través del tema. Descubrirá una variedad de artículos publicados recientemente que son esenciales e impactantes para cualquiera que profundice en el aprendizaje profundo.

Enlace de Github para la hoja de ruta del artículo de investigación

Acceda aquí

A continuación se muestran más trabajos de investigación para usted:

Traducción automática neuronal aprendiendo conjuntamente a alinear y traducir

atención rnn

La traducción automática neuronal (NMT) es un enfoque innovador que tiene como objetivo mejorar la traducción mediante el uso de una única red neuronal para optimizar el rendimiento. Los modelos NMT tradicionales utilizan arquitecturas de codificador-decodificador, convirtiendo una oración fuente en un vector de longitud fija para decodificar. Este artículo sugiere que el vector de longitud fija plantea una limitación de rendimiento. Para abordar esto, los autores introducen un método que permite a los modelos buscar automáticamente partes relevantes de una oración fuente para predecir las palabras objetivo. Este enfoque produce un rendimiento de traducción comparable al de los sistemas de última generación actuales y se alinea con las expectativas intuitivas del lenguaje.

La atención es todo lo que necesitas

Transformers

Este artículo presenta una arquitectura novedosa llamada Transformer, que se basa únicamente en mecanismos de atención, sin pasar por las redes neuronales recurrentes y convolucionales. Transformer supera a los modelos tradicionales en tareas de traducción automática, demostrando mayor calidad, mejor paralelización y entrenamiento más rápido. Logra nuevas puntuaciones BLEU de última generación para traducciones de inglés a alemán y de inglés a francés, lo que reduce significativamente los costos de capacitación. Además, Transformer se generaliza eficazmente a otras tareas, como el análisis de circunscripciones en inglés.

Transformadores de conmutación: escalamiento a modelos de billones de parámetros con escasez simple y eficiente

Transformador de interruptor

En el aprendizaje profundo, los modelos suelen utilizar los mismos parámetros para todas las entradas. Los modelos de Mezcla de Expertos (MoE) se diferencian al seleccionar distintos parámetros para cada entrada, lo que genera una activación escasa y un alto recuento de parámetros sin un mayor costo computacional. Sin embargo, la adopción está limitada por la complejidad, los costos de comunicación y la inestabilidad de la capacitación. Switch Transformer aborda estos problemas simplificando el enrutamiento MoE e introduciendo técnicas de capacitación eficientes. El enfoque permite entrenar modelos grandes y dispersos utilizando formatos de menor precisión (bfloat16) y acelera la velocidad de preentrenamiento hasta 7 veces. Esto se extiende a entornos multilingües con ganancias en 101 idiomas. Además, el entrenamiento previo de modelos de billones de parámetros en el “Colossal Clean Crawled Corpus” logra una aceleración 4 veces mayor que el modelo T5-XXL.

LoRA: Adaptación de bajo rango de modelos de lenguaje grande

lora

El artículo presenta la adaptación de bajo rango (LoRA). Este método reduce la cantidad de parámetros entrenables en grandes modelos de lenguaje previamente entrenados, como GPT-3 175B, mediante la inyección de matrices de descomposición de rangos entrenables en cada capa de Transformer. Este enfoque reduce significativamente los costos y los requisitos de recursos para el ajuste fino al tiempo que mantiene o mejora la calidad del modelo en comparación con los métodos tradicionales de ajuste completo. LoRA ofrece beneficios como un mayor rendimiento de entrenamiento, menor uso de memoria de GPU y ausencia de latencia de inferencia adicional. Una investigación empírica también explora la deficiencia de rango en la adaptación del modelo de lenguaje, lo que revela información sobre la eficacia de LoRA.

Una imagen vale 16 × 16 palabras: transformadores para el reconocimiento de imágenes a escala

Transformador de visión

El artículo analiza el enfoque Vision Transformer (ViT), que aplica la arquitectura Transformer directamente a secuencias de parches de imágenes para tareas de clasificación de imágenes. Contrariamente a la dependencia habitual de las redes convolucionales en visión por computadora, ViT tiene un rendimiento excelente, igualando o superando las redes convolucionales de última generación en puntos de referencia de reconocimiento de imágenes como ImageNet y CIFAR-100. Requiere menos recursos computacionales para el entrenamiento y muestra un gran potencial cuando se entrena previamente en grandes conjuntos de datos y se transfiere a puntos de referencia más pequeños.

Regularización de la caída de peso desacoplada

El resumen analiza la diferencia entre la regularización L2 y la caída de peso en algoritmos de gradiente adaptativos como Adam. A diferencia del descenso de gradiente estocástico estándar (SGD), donde los dos son equivalentes, los algoritmos de gradiente adaptativos los tratan de manera diferente. Los autores proponen una modificación simple que desacopla la caída de peso de los pasos de optimización, mejorando el rendimiento de generalización de Adam y haciéndolo competitivo con SGD con impulso en tareas de clasificación de imágenes. La comunidad ha adoptado ampliamente su modificación y ahora está disponible en TensorFlow y PyTorch.

Los modelos de lenguaje son aprendices multitarea sin supervisión

GPT-2

El resumen analiza cómo el aprendizaje supervisado a menudo aborda tareas de procesamiento del lenguaje natural (PNL), como la respuesta a preguntas, la traducción automática y el resumen. Sin embargo, al entrenar un modelo de lenguaje en un gran conjunto de datos de páginas web llamado WebText, comienza a realizar estas tareas sin supervisión explícita. El modelo logra resultados sólidos en el conjunto de datos de CoQA sin utilizar ejemplos de capacitación, y su capacidad es clave para una transferencia exitosa de tareas cero. El modelo más grande, GPT-2, funciona bien en varias tareas de modelado de lenguaje en una configuración de disparo cero, aunque todavía no es adecuado para WebText. Estos resultados indican un enfoque prometedor para construir sistemas de PNL que aprendan tareas a partir de datos que ocurren naturalmente.

Sugerencias de capacitación modelo

Si le resulta difícil entrenar modelos, ajustar el modelo base es la forma más sencilla. También puede consultar el transformador Huggingface: proporciona miles de modelos previamente entrenados que pueden realizar tareas en múltiples modalidades, como texto, visión y audio.

Aquí está el enlace: Empezar

Lea también: Facilite el entrenamiento y las pruebas de modelos con MultiTrain

Otro enfoque es ajustar un modelo más pequeño (7 mil millones de parámetros o menos) usando lora. Google Colab y laboratorios lambda son excelentes opciones si necesita más VRAM o acceso a múltiples GPU para realizar ajustes.

Aquí hay algunas sugerencias de entrenamiento de modelos:

Calidad de los Datos: Asegúrese de que sus datos de entrenamiento sean de alta calidad, relevantes y representativos de los escenarios del mundo real que encontrará su modelo. Limpie y preprocese los datos según sea necesario, elimine cualquier ruido o valores atípicos y considere técnicas como el aumento de datos para aumentar la diversidad de su conjunto de entrenamiento.
Selección de arquitectura del modelo: elija una arquitectura de modelo adecuada para su tarea, considerando factores como el tamaño y la complejidad de sus datos, el nivel requerido de precisión y las restricciones computacionales. Las arquitecturas populares incluyen redes neuronales convolucionales (CNN) para tareas de imagen, redes neuronales recurrentes (RNN) o transformadores para datos secuenciales y redes neuronales de retroalimentación para datos tabulares.
Ajuste de hiperparámetros: Los hiperparámetros, como la tasa de aprendizaje, el tamaño del lote y las técnicas de regularización, pueden afectar significativamente el rendimiento del modelo. Utilice técnicas como búsqueda de cuadrícula, búsqueda aleatoria u optimización bayesiana para encontrar los valores de hiperparámetros óptimos para su modelo y conjunto de datos.
Transferir aprendizaje: Si tiene datos etiquetados limitados, utilice el aprendizaje por transferencia. Este método comienza con un modelo previamente entrenado en una tarea similar y lo ajusta en su conjunto de datos específico. Puede conducir a un mejor rendimiento y una convergencia más rápida que entrenar desde cero.
Parada anticipada: Supervise el rendimiento del modelo en un conjunto de validación durante el entrenamiento e implemente una parada temprana para evitar el sobreajuste. Deje de entrenar cuando la pérdida de validación o la métrica deje de mejorar, o utilice una estrategia de paciente para permitir algunas fluctuaciones antes de detenerse.
Regularización: Emplee técnicas de regularización, como la regularización L1/L2, el abandono o el aumento de datos, para evitar el sobreajuste y mejorar el rendimiento de la generalización.
Ensemble Learning: entrene varios modelos y combine sus predicciones utilizando técnicas de conjunto como votación, promediado o apilamiento. Los métodos de conjunto a menudo pueden superar a los modelos individuales al aprovechar las fortalezas de diferentes arquitecturas o ejecuciones de entrenamiento.
Monitoreo y registro: Implemente mecanismos adecuados de seguimiento y registro durante la capacitación para realizar un seguimiento de las métricas, visualizar las curvas de aprendizaje e identificar posibles problemas o divergencias desde el principio.
Entrenamiento distribuido: Por grandes conjuntos de datos o modelos complejos, considere el uso de técnicas de capacitación distribuida, como datos o paralelismo de modelos, para acelerar el proceso de capacitación y aprovechar múltiples GPU o máquinas.
Aprendizaje continuo: En algunos casos, puede resultar beneficioso volver a capacitarse periódicamente o afina tu modelo con nuevos datos a medida que estén disponibles. Esto asegura que el modelo se mantiene actualizado y se adapta a cualquier cambio de distribución o nuevos escenarios.

Recuerde, el entrenamiento de modelos es un proceso iterativo y es posible que necesite experimentar con diferentes técnicas y configuraciones para lograr un rendimiento óptimo para su tarea y conjunto de datos específicos.

También puedes consultar – Vikas Paruchuri para una mejor comprensión de las “Sugerencias de capacitación modelo”

Recursos adicionales de aprendizaje profundo incluidos para usted

Como sabe, el aprendizaje profundo es un subconjunto destacado del aprendizaje automático que ha ganado una gran popularidad. Aunque fue conceptualizado en 1943 por Warren McCulloch y Walter Pitts, el aprendizaje profundo no se utilizó ampliamente debido a sus capacidades computacionales limitadas.

Sin embargo, a medida que la tecnología avanzó y aparecieron GPU más potentes, las redes neuronales surgieron como una fuerza dominante en el desarrollo de la IA. Si está buscando cursos sobre aprendizaje profundo, le sugiero:

Especialización en aprendizaje profundo ofrecida por DeepLearning.AI impartida por Andrew Ng
Enlace para acceder
Stanford CS231n: Aprendizaje profundo para visión por computadora

[Contenido incrustado]

También puedes optar por cursos pagos como:

Embárquese en su aventura de aprendizaje profundo con la Introducción a Analytics Vidhya Curso de Redes Neuronales! Descubra el potencial de las redes neuronales y explore sus aplicaciones en visión por computadora, procesamiento del lenguaje natural y más. ¡Enlístate ahora!

Conclusión

¿Qué te parecieron los recursos de aprendizaje profundo mencionados en el artículo? Háganos saber en la sección de comentarios a continuación.

Una hoja de ruta de aprendizaje profundo bien definida es crucial para desarrollar e implementar modelos de aprendizaje automático de manera efectiva y eficiente. Al comprender los intrincados patrones y representaciones que sustentan el aprendizaje profundo, se puede aprovechar su poder en campos como el reconocimiento de imágenes y voz y el procesamiento del lenguaje natural.

Si bien el camino puede parecer desafiante, un enfoque estructurado lo equipará con las habilidades y conocimientos necesarios para prosperar. Manténgase motivado y dedicado al viaje y logrará avances significativos en el aprendizaje profundo y la IA.