#JeMeDemande combien me coûterait la réalisation du #POC suivant :

• Déploiement de Llama.cpp sur une GPU Instances de Scaleway;
• 3h d'expérimentation;
• Shutdown de l'instance.

🤔.

Tarifs :

Dans un premier temps, j'aimerais me limiter aaux instances les moins chères :

• GPU-3070 à environ 1 € / heure
• L4-1-24G à 0.75 € / heure
• et peut-être RENDER-S à 1,24 € / heure

Tous ces prix sont hors taxe.

• L'instance GPU-3070 a seulement 16GB de Ram, #JeMeDemande si le résultat serait médiocre ou non.
• Je lis que l'instance L4-1-24G contient un GPU NVIDIA L4 Tensor Core GPU avec 24GB de Ram.
• Je lis que l'instance Render S contient un GPU Dedicated NVIDIA Tesla P100 16GB PCIe avec 42GB de Ram.

Au moment où j'écris ces lignes, Scaleway a du stock de ces trois types d'instances :

• #JeMeDemande comment je pourrais me préparer en amont pour installer rapidement sur le serveur un environnement pour faire mes tests.
• #JeMeDemande s'il existe des tutoriaux tout prêts pour faire ce type de tâches.
• #JeMeDemande combien de temps prendrait le déploiement.

Si je prends 2h pour l'installation + 3h pour faire des tests, cela ferait 5h au total.
J'ai cherché un peu partout, je n'ai pas trouvé de coût "caché" de setup de l'instance.
Le prix de cette expérience serait entre 4,5 € et 7,44 € TTC.

• #PremièreActionConcrète pour réaliser cette expérimentation : chercher s'il existe des tutoriaux d'installation de Llama.cpp sur des instances GPU Scaleway.

• #JeMeDemande combien me coûterait l'achat de ce type de machine.
• #JeMeDemande à partir de combien d'heures d'utilisation l'achat serait plus rentable que la location.
• Si par exemple, j'utilise cette machine 3h par jour, je me demande à partir de quelle date cette machine serait rentabilisée et aussi, #JeMeDemande si cette machine ne serait totalement obsolète ou non à cette date 🤔.