#JaiDécouvert la signification de iNIC (from).

#OnMaPartagé un projet de KVM nommé : NanoKVM.

J'ai très envie d'en acheter un !

#JaiDécouvert cette puce AMD APU (from)

#JaiDécouvert ce #hardware qui semble spécialisé pour exécuter des Inference Engines https://coral.ai/products (from)

Dans 2024-06-08_1056 j'ai listé la puissance en TOPS de NPU AMD.
Suite à cela, j'ai eu envie de comparer la puissance de ces NPU à des puces Apple et Intel ainsi qu'à des GPU de NVidia.

Concernant Apple

Ici je lis :

• M1, M1 Pro, M1 Max : NPU à 11 TOPS
• M1 Ultra : NPU à 22 TOPS

Ici je lis :

• M2, M2 Pro, M2 Max : NPU à 15,8 TOPS
• M2 Ultra : NPU à 31,6 TOPS

Ici je lis :

• M3, M3 Pro, M3 Max : NPU à 18 TOPS

Ici je lis :

• M4 (sortie en mai 2024) : NPU à 38 TOPS

Concernant AMD

Dans cet article je lis :

• Des puces de la série Ryzen 7040 intègrent des NPU à 10 TOPS
• Des puces de la série Ryzen 8000 intègrent des NPU à 16 TOPS
• Des puces de la série Ryzen AI 300 intègrent des NPU à 50 TOPS

Concernant Intel

J'ai l'impression que ce sont les puces Intel Core Ultra qui intègrent des NPU.

• Ici je lis :

For the Ultra 7 165H chip, you get roughly up to 34 TOPS with 11 TOPS for the NPU, 18 TOPS for the GPU and the rest for the CPU.

• Ici je lis que les prochaines puces de Intel basé sur l'architecture Lunar Lake intégre un NPU de 48 TOPS

Concernant Nvidia

Je ne sais pas si les TOPS d'un NPU sont comparables aux TOPS de GPU mais d'après ce document je lis qu'une puce Nvidia T4 :

• Single-Precision : 8.1 TFLOPS
• Mixed-Precision (FP16/FP32) : 65 TFLOPS
• INT8 : 130 TOPS
• INT4 : 260 TOPS

Conclusion

J'ai l'impression qu'ici les ratios de puissances en TOPS entre des NPU et GPU tournent autour de x5 et x30.

En lisant ceci :

AI accelerators are used in mobile devices, such as neural processing units (NPUs) in Apple iPhones, AMD Laptops or Huawei cellphones, and personal computers such as Apple silicon Macs, to cloud computing servers such as tensor processing units (TPU) in the Google Cloud Platform.

#JaiDécouvert que AMD XDNA semble être l'architecture des puces NPU de AMD.

Je lis ici que Ryzen AI est le nom commercial du matériel AMD qui implémente l'architecture XDNA.

La première puce qui intégrèe AMD XDNA est le Ryzen 7040 sorti 2023.

Dans cet article je lis :

• Des puces de la série Ryzen 7040 intègrent des NPU à 10 TOPS
• Des puces de la série Ryzen 8000 intègrent des NPU à 16 TOPS
• Des puces de la série Ryzen AI 300 intègrent des NPU à 50 TOPS

J'ai acheté un Serveur NUC i3 d'occasion pour 150 € sur LeBonCoin, avec pour objectif de l'utiliser comme serveur Homelab.

Je prévois d'y installer Proxmox pour déployer des Virtual Instances.