tu bide

je suis doctorant et j'ai des publis solides

Dans le cadre de l'entraînement de modèles de réseaux de neurones profonds à grande échelle utilisant des architectures de transformeurs avec attention auto-régressive, comment peut-on optimiser l'intégration des méthodes de régularisation basées sur la normalisation des couches (Layer Normalization) combinées avec des mécanismes d'attention linéaire pour atténuer le problème de l'explosion du gradient dans des séquences temporelles extrêmement longues ? Plus précisément, en considérant l'utilisation de l'optimiseur Adam avec des paramètres de seconde et troisième moments adaptatifs, comment l'incorporation de schémas de pondération du gradient tels que le clipping graduel adaptatif et les taux d'apprentissage cycliques influencent-ils la convergence dans des espaces de perte non convexes et hautement dimensionnels ? De plus, quelles seraient les implications sur la stabilité numérique et la généralisation du modèle lors de l'application de techniques de quantification basse précision (par exemple, FP16 ou INT8) dans un environnement distribué avec des contraintes de communication inter-nœuds à faible latence ?

L'IA est Elle susceptible de disrupter le monde travail et si oui à quelle échéance ?
Plus généralement: quel impact attendre de l'ia sur l'économie ?

1/ LayerNorm c'est dépassé, les LLM sota c'est RMS Norm (pas de terme de scaling)
2/ Si tu parle des Scheduler à la Cosine Annealing c'est complétement empirique et marginalement meilleur d'experience
3/ Tu gardes les performances en quantizant. A ce qu'il parait on peut descendre jusqu'en ternaire pour un transformer entrainé sur the pile, cela dit en dessous de 8bit aujourd'hui ça sert à rien, et seul la dernière gamme très haut de gamme nvidia supporte le int8

Dans le cadre de la compréhension théorique des réseaux de neurones profonds sur-paramétrés, comment peut-on développer un cadre mathématique unifié qui relie la dynamique de l'entraînement par descente de gradient stochastique (SGD) dans des espaces de paramètres à très haute dimensionnalité avec les propriétés émergentes de généralisation et de transfert observées empiriquement dans les modèles de grande échelle tels que les transformateurs ? Plus précisément, en tenant compte du paradoxe de la double descente du risque en généralisation et des limites des approches traditionnelles basées sur la capacité de Vapnik-Chervonenkis, comment peut-on formuler une théorie qui intègre les effets de la complexité algorithmique, de l'architecture du réseau, de la distribution des données d'entrée et des biais inductifs implicites introduits par les algorithmes d'optimisation ? De plus, quelles seraient les implications d'une telle théorie pour la conception de modèles capables d'apprentissage auto-supervisé efficace et de compréhension sémantique profonde, et comment cela pourrait-il éclairer les limites fondamentales de l'apprentissage machine en ce qui concerne l'émergence de l'intelligence artificielle générale ?

Salut camarade, je suis doctorant en IA aussi

Je bosse sur les normalizing flow et plus généralement les modèles generatifs pour la détection OoD. Un ICLR et un UAI publiés actuellement.

Tu es capable de faire un 5 balles shower 3up 360 into hight /low shower?

Début 2A, j'ai charbonné. J'espère que ça passera pour toi . Parfois les reviewer sont débiles, pour avoir épluché openreview c'est vraiment aléatoire parfois