Lê Nguyên Hoang

En travaillant sur la note 2024-12-26_1503, j'ai essayé de retrouver la vidéo qui est mentionnée dans l'épisode Augmenter ChatGPT avec le RAG de Science4All :

...il y a une décennie, avec l'introduction de word2vec, un algorithme dont je vous ai parlé il y a maintenant 6 ans... et oui le temps passe vite...

source

Pour cela, j'ai commencé à réécouter l'épisode "La réduction de la dimensionalité (ACP et SVD)" (voir ma note à ce sujet 2024-12-24_1057). Mais je constate qu'elle ne traite pas de word2vec.

Ensuite, j'ai écouté "L'IA sait-elle lire ? Intelligence Artificielle 21" (lien direct). Je pense que c'est cette vidéo qui est mentionnée par Lê. Cette vidéo traite du papier de recherche nommé "Efficient Estimation of Word Representations in Vector Space" qui, d'après ce que j'ai compris, est implémenté dans word2vec.

Un ami me demande des ressources pour se former au Machine Learning.

Je ne suis pas expert dans ce domaine.

Lorsque je me forme sur un sujet, j’aime commencer par comprendre le contexte global, son histoire et alterner entre l’acquisition de connaissances théoriques et pratiques.

Pour me former sérieusement, j'envisage un jour de prendre le temps de :

• Suivre les vidéos de Thibault Neveu, en particulier :
  • Écouter et essayer de reproduire le contenu des 16 vidéos de la série "Formation au Deep Learning" (~3h)
  • Ensuite la série de 5 vidéos "Tensorflow et Keras" (~5h)
  • Ensuite la série de 13 vidéos "Apprentissage par renforcement" (~8h)
  • Ensuite la série de 10 vidéos "Deep learning avancé" (~8h)
  • Ensuite la série de 22 vidéos "Formation à Tensorflow 2.0" (~8h)
  • Ensuite la série de 4 vidéos "Pytorch NLP" (~2h)
  • Ensuite là série de 3 vidéos "Créer une intelligence artificielle sur StarCraft II" (~2h)
• Essayer de comprendre le fonctionnement des "transformer" :
  • Pour cela, je commencerai écouter la vidéo "À quoi ressemble ChatGPT ? 🌶️" de Lê Nguyên Hoang, qui présente la structure des transformers (~1h)
  • Lire les articles Wikipedia (~1h) :
    • Transformeur
    • Transformer (deep learning architecture)
  • Lire l'article "Natural Language Processing: the age of Transformers" (~2h)
    • Lire l'article : "Word Embeddings in NLP: An Introduction" (~2h)
    • Lire l'article : "Attention Is All You Need" (~2h)
• Parcourir les mises en pratique de Simon Willison : https://til.simonwillison.net/llms (~3h)

Je n'ai pas classé l'ordre d'étude des séries avec rigueur, cet ordre est sans doute à modifier.

Pour chaque élément, j'ai précisé entre parenthèses une estimation optimiste du temps nécessaire à l'écoute ou à la lecture.

D'après cette liste, j'estime à environ 86 heures pour me former sur ce sujet, soit l'équivalent de 15 jours à temps plein ou presque un mois complet.

Ensuite, j'ai quelques idées de projets de mise en pratique :

• Développer une extension pour navigateur qui, lors de la rédaction d’un e-mail depuis Fastmail, transforme automatiquement le contenu du message en HTML en texte brut au format Markdown.
  • Ajouter ensuite une fonctionnalité pour supprimer automatiquement les signatures.
• Concevoir un outil capable de découper une vidéo de Tennis de Table en segments correspondant à chaque point joué.

#JaiLu "Les mathématiques de l'argument d'autorité #DébattonsMieux" de Lê Nguyên Hoang, je trouve cela très intéressant, bien que, après une première lecture, je n'aie saisi qu'une infime partie de l'article.

L'article présente un théorème bayésien qui stipule :

• Si vous êtes bayésien,
• si vous supposez qu'une autorité a eu accès aux mêmes données que vous et à plus encore,
• si vous êtes sûr que l'autorité parle de manière honnête,
• si vous pensez qu'une autorité est aussi bayésienne avec le même a priori que vous, alors vous devez croire tout ce que l'autorité dit.

#JaiDécouvert John Geanakoplos, Herakles Polemarchakis et John Harsanyi cités dans cet article.

#Jaime observer les reviews des scripts vidéo de Lê Nguyên Hoang : https://github.com/lenhoanglnh/manuscripts/pull/29 🙂.

#JaiLu ce manuscrit de Lê Nguyên Hoang : Une astuce bayésienne pour identifier l'expertise.

En particulier, un argument bayésien montre bel et bien que les affirmations bien plus populaires que ceux qu'on croit ont tendance à être souvent juste --- en tout cas dans un monde où les humains réfléchissent correctement, ou plutôt, conformément aux lois des probabilités.

🤔

J'ai lu plusieurs fois la section "Le théorème de la popularité insoupçonnée d'une vérité" et pour le moment, je n'ai toujours pas réussi à comprendre le raisonnement. Cela me demande beaucoup de concentration !

Eh bien, le scrutin proposé par Prelec, Seung et McCoy, qu'ils appellent le vote du candidat "surprenamment populaire" consiste à calculer, pour chaque candidat X, tous les ratios de ce genre, où X est comparé à des alternatives Y, en comparant les prédictions pro-Y chez les pro-X aux prédications pro-X chez les pro-Y.

Voir aussi Bayésianisme.