
Filtre actif, cliquez pour en enlever un tag :
Cliquez sur un tag pour affiner votre recherche :
[ << Page précédente (400) ] [ Page suivante (0) >> ]
Lecture active de l'article « LLM auto-hébergés ou non : mon expérience » de LinuxFr
#JaiLu l'article "LLM auto-hébergés ou non : mon expérience - LinuxFr.org" https://linuxfr.org/users/jobpilot/journaux/llm-auto-heberges-ou-non-mon-experience.
Cependant, une question cruciale se pose rapidement : faut-il les auto-héberger ou les utiliser via des services en ligne ? Dans cet article, je partage mon expérience sur ce sujet.
Je me suis plus ou moins posé cette question il y a 15 jours dans la note suivante : 2024-05-17_1257.
Ces modèles peuvent également tourner localement si vous avez un bon GPU avec suffisamment de mémoire (32 Go, voire 16 Go pour certains modèles quantifiés sur 2 bits). Ils sont plus intelligents que les petits modèles, mais moins que les grands. Dans mon expérience, ils suffisent dans 95% des cas pour l'aide au codage et 100% pour la traduction ou la correction de texte.
Intéressant comme retour d'expérience.
L'auto-hébergement peut se faire de manière complète (frontend et backend) ou hybride (frontend auto-hébergé et inférence sur un endpoint distant). Pour le frontend, j'utilise deux containers Docker chez moi : Chat UI de Hugging Face et Open Webui.
Je pense qu'il parle de :
Je suis impressionné par la taille de la liste des features de Open WebUI
J'ai acheté d'occasion un ordinateur Dell Precision 5820 avec 32 Go de RAM, un CPU Xeon W-2125, une alimentation de 900W et deux cartes NVIDIA Quadro P5000 de 16 Go de RAM chacune, pour un total de 646 CHF.
#JeMeDemande comment se situe la carte graphique NVIDIA Quadro P5000 sur le marché 🤔.
J'ai installé Ubuntu Server 22.4 avec Docker et les pilotes NVIDIA. Ma machine dispose donc de 32 Go de RAM GPU utilisables pour l'inférence. J'utilise Ollama, réparti sur les deux cartes, et Mistral 8x7b quantifié sur 4 bits (2 bits sur une seule carte, mais l'inférence est deux fois plus lente). En inférence, je fais environ 24 tokens/seconde. Le chargement initial du modèle (24 Go) prend un peu de temps. J'ai également essayé LLaMA 3 70b quantifié sur 2 bits, mais c'est très lent (3 tokens/seconde).
Benchmark intéressant.
En inférence, la consommation monte à environ 420W, soit une puissance supplémentaire de 200W. Sur 24h, cela représente une consommation de 6,19 kWh, soit un coût de 1,61 CHF/jour.
Soit environ 1,63 € par jour.
Together AI est une société américaine qui offre un crédit de 25$ à l'ouverture d'un compte. Les prix sont les suivants :
- Mistral 8x7b : 0,60$/million de tokens
- LLaMA 3 70b : 0,90$/million de tokens
- Mistral 8x22b : 1,20$/million de tokens
#JaiDécouvert https://www.together.ai/pricing
Comparaison avec les prix de OpenIA API :
#JeMeDemande si l'unité tokens est comparable entre les modèles 🤔.
Journal du vendredi 31 mai 2024 à 15:24
À la fin de l'épisode Et si Shape Up avait raison de faire des pauses ? de Scrum Life #JaiDécouvert le néologisme one piece flow où une équipe travaille sur un problème à la fois, tout ensemble.
Journal du mardi 28 mai 2024 à 12:29
Sur gwern.net #JaiDécouvert :
- Tests de lisibilité Flesch-Kincaid (from) ( #PasEncoreLu ).
- proselint, je l'avais déjà croisé mais je l'avais oublié. #JeMeDemande si il est possible de supporter le français 🤔 (from).
- Loi de Benford (from) ( #PasEncoreLu )
Journal du mardi 28 mai 2024 à 11:27
Ce matin #JaiDécouvert le site site perso gwern.net ( #blog ) et je déclare que « #Jadore ce site » !
J'aime le fond, la forme, l'attention aux détails, la rationalisation des décisions… 👌.
Voici quelques exemples de choses que j'apprécie.
Par exemple, sur la page https://gwern.net/about :
a.
Je pense que cela signifie que l'article a été commencé en 2010 et a évolué jusqu'en 2022.b.
Je trouve cela très simple pour indiquer que la page n'est plus en work in progress.
Je me suis souvent demandé comment je pouvais gérer mes notes mutables. Je considère qu'un article daté se doit être autant que possible immutable.
J'aime ces choix UX a
et b
pour indiquer ces informations au lecteur.
c.
J'adore ❤️, ce tag permet d'indiquer le niveau de credence de l'article, c'est une version de marqueur de modestie épistémique.
#JeSouhaite m'inspirer des éléments UX a
, b
et c
pour mon site sklein.xyz.
mention any use of Fermi estimates in Fermi calculations (from)
J'adore 🙂.
J'adore cette UX d'affichage de breadcrumb pour la raison suivante : les breadcrumb sont généralement affichés sur une ligne, ce qui pose souvent un problème pour les longs titres.
Ici l'affichage sur plusieurs lignes règle ce problème et transmet bien l'idée de hiérarchie 👌.
Il y a tant de bonnes choses à dire sur ce site, mais je m'arrête là pour cette note.
Journal du vendredi 24 mai 2024 à 11:56
Je viens de découvrir l'existence de l'article Wikipedia Redécentralisation d'Internet : https://fr.wikipedia.org/wiki/Redécentralisation_d'Internet
À noter que ce n'est pas une nouvelle idée pour moi, car je suis sensibilisé à ce sujet depuis le milieu des années 2000.
#JeSuisPrescripteur : En tant que prescripteur et soutien — non extrémiste — de ce principe, je suis favorable à une augmentation de la décentralisation d' #Internet.
Journal du vendredi 24 mai 2024 à 11:01
#JaiDécouvert La loi du Ripolin :
En 1925, l’architecte Le Corbusier publie L’Art décoratif d’aujourd’hui, ouvrage dans lequel il développe une Loi du Ripolin qui établit un parallèle entre le nettoyage des murs et celle de l’esprit. Passer une couche de blanc sur ses murs serait, pour lui, une opération de renouveau à la fois concret et moral. Cette loi lui permet également de donner sa définition de l’art. (from)
#JaimeraisUnJour lire Le Corbusier, L’Art décoratif d’aujourd’hui et « la loi du ripolin »
Un ami me fait découvrir "ripoliner" dans le sens suivant :
(Sens figuré) Farder, masquer, rafraîchir une image politique.
Journal du mardi 21 mai 2024 à 23:09
Dans la page suivante Elkjs Tree – Svelte Flow #JaiDécouvert la librarie Javascript elkjs :
ELK's layout algorithms for JavaScript
Journal du lundi 20 mai 2024 à 18:38
Pour la première fois, j'ai pris le temps de faire quelque recherche pour comprendre l'origine de la différence de pratique de l'utilisation des majusques des titres en anglais et en français.
- La pratique anglais se nomme Title case.
- La pratique française se nomme Sentence case
#JaiDécouvert qu'il existe plusieurs règle de Title case :
- AP Stylebook
- Chicago Manual of Style
- APA Style
- ...
Journal du lundi 20 mai 2024 à 18:30
Une amie m'a fait découvrir ( #JaiDécouvert ) l'expression "NOLD" qui veut dire "Never Old".
L'expression "nold", contraction de "never" et de "old", autrement dit les "jamais vieux", désigne les 45-65 ans. Une génération qui ne se sent pas du tout vieille, bien décidée à ne pas être étiquetée "senior" passé la cinquantaine. Qu'est-ce qu'être nold, et d'où vient le concept ? Explications. - (from)"
Je pense que cette expression est pour le moment très confidentiel, je ne trouve rien sur :
En faisant une recherche sur Google Trend, je pense que cette expression est vraiment confidentiel :
Journal du lundi 20 mai 2024 à 10:56
#JaiDécouvert https://keyshorts.com/ et #JeMeDemande si les stickers sont de meilleurs qualités que ceux de https://beaujoie.com/.
Journal du mercredi 15 mai 2024 à 12:12
Quelques notes au sujet de l'application Linktree (https://linktr.ee/).
Genèse du projet :
Linktree was established in 2016, out of annoyance regarding social media that do not allow multiple hyperlinks in profiles. The site was created in six hours. It is reported to have gained 3,000 users overnight. (from)
#pensée : c'est tout le même fou qu'une limitation aussi basique — limitation du nombre de liens dans la section bio —, que je classe dans la catégorie des dark pattern, crée tout un marché ! #LeMondeEstFou (je ne suis pas le seul à penser cela)
Dans l'article Linktree is a dream #JaiDécouvert le nom du segment de marché "link in bio".
Alternative à LinkTree
Voici les choses que j'ai trouvées avec la recherche "Linktree" sur HackerNews :
Par thématique :
- Podcast : Show HN: I created a website builder for audio/video creators
- Auteur de livre : Show HN: A Linktree alternative for indie authors
- Universitaire : Show HN: Author.Link – A LinkTree for Academics
- Fondateur de startup : Show HN: Plume a "Linktree for Startup Fundraising"
Par date :
- 2023-12-12 : Show HN: Author.Link – A LinkTree for Academics | author.link - Your personal academic website
- 2023-11-24 : Show HN: Plume a "Linktree for Startup Fundraising" | Plume - Show off your startup to investors
- 2023-04-10 : Show HN: The Professional LinkTree Alternative | depto.me - The Professional LinkTree Alternative
- 2022-11-14 : Show HN: I created a website builder for audio/video creators | podcastpage.io - Launch your podcast website in minutes
- 2022-07-21 : Show HN: A Linktree alternative for indie authors | 1link.st The one link your readers will need to find you and your books
- 2022-04-17 : thread | Show HN: heyhey – Building a Linktree-like app taught me more than college
- 2021-01-01 LinkFree: Generate automatically a personalized biolink for free | projet semble mort
- 2020-06-19 Simple Pages, a fantastic Linktree alternative : projet qui semble mort
Alternative OpenSource
- Thread du 2024-04-20 : LittleLink - The DIY self-hosted LinkTree alternative. LittleLink has more than 100 branded button styles you can easily use.
Je pense que ce type d'outil est destiné à des utilisateurs qui ont des compétences limitées en web ou qui ne veulent pas y consacrer beaucoup d'énergie.
Par conséquent, je pense qu'une version #open-source de ce type d'outil a peu d'intérêt.
Journal du lundi 13 mai 2024 à 19:15
#JaiDécouvert Nautilus un outil de "time-blocking".
#JaiLu avec attention l'intégralité de l'article How I learned to plan better (and what to do when your head doesn’t get lists), j'adore, très inspirant !
Fonctionnalité cluster and edit de OpenRefine
Il y a quelques semaines, #JaiDécouvert le #logiciel OpenRefine, qui permet de réaliser des tâches de #data-curation , plus précisément de #data-cleaning — mais pas seulement.
#JaimeraisUnJour prendre le temps d'essayer de nettoyer mes données Toggl avec OpenRefine.
Je lis ici que je peux manipuler plusieurs type de format de données :
From these sources, you can load any of the following file formats:
- comma-separated values (CSV) or text-separated values (TSV)
- Fixed-width columns
- JSON
et
OpenRefine can connect to PostgreSQL, MySQL, MariaDB, and SQLite database systems
Je souhaite particulièrement tester la fonctionnalité cluster and edit de OpenRefine et surtout les différentes méthode de clustering.
Journal du vendredi 03 mai 2024 à 15:25
En lisant l'article RootDB - une application web de reporting, auto-hebergée - LinuxFr.org #JaiDécouvert RootDB qui est un outil de #data-analytics #data-visualisation #Business-Intelligence.
En regardant rapidement les repositories GitHub, j'ai l'impression que ce projet vient tout juste d'être libéréré. Il est codé en PHP et me semble être limité à MariaDB.
Pour le moment, ce projet ne m'intéresse pas.
Il vient s'ajouter à ma liste des autres outils du même type : Datasette, Observable, Gitbi, Evidence, Metabase et Redash.
Journal du vendredi 03 mai 2024 à 11:24
#JaiDécouvert via l'outil de Product Management nommé Productboard.
Je découvre la newsletter de l'émission "Le dessous des cartes"
#JaiDécouvert vient le partage d'un ami, l'existance de la Newsletter de l'émission Le dessous des cartes.
Émission que j'adore mais je réalise que je ne la regarde pas assez !
Pour tenter de résoudre ce problème, j'ai essayé d'ajouter le flux RSS de l'émission à mon instance miniflux, mais malheureusement, le flux RSS du site semble ne pas fonctionner 😔.
Finalement, je me suis abonné à la newsletter, bien que j'aurais préféré un abonnement RSS.
Journal du mercredi 01 mai 2024 à 13:05
En lien avec 2024-05-01_1205, dans le code source du plugin Obsidian nommé Templater, #JaiDécouvert la librairie Javascript rusty_engine :
A Javascript templating engine in WASM
En dehors de l'aspect performance, je me demande si cette librairie serait plus adaptée à mes besoins que EJS 🤔.
Journal du mercredi 01 mai 2024 à 12:05
#JeMeDemande si la librairie mdsvex me permet d'implémenter de manière agréable des nouveaux components qui ont la capacité d'aller chercher des données en backend, typiquement une base de données PostgreSQL.
J'aimerais que la requête soit décrite directement dans le markdown.
Je souhaite aussi que le composant soit rendu seulement côté serveur (SSR).
J'aimerais pouvoir implémenter quelque chose comme :
# Mon titre
Mon paragraphe
``sql posts
SELECT title FROM posts ORDER BY created_at LIMIT 10
``
<ul>
{#each posts as post}
<li>{post}</li>
{/each}
</ul>
(inspiration de https://evidence.dev/).
#JeMeDemande si mdsvex serait adapté pour cet objectif.
Je viens de voir ce thread Thoughts on Mdsvex moving away from Unified : sveltejs. Il contient un lien vers Penguin-flavoured markdown · pngwn/MDsveX · Discussion #293 · GitHub qui me semble intéressant #JaimeraisUnJour prendre le temps de le lire.
Autre thread What remark and rehype plugins are people using? · pngwn/MDsveX · Discussion #354 · GitHub.
#JeMeDemande si remark ou markdown-it serait mieux adapté pour atteindre mon objectif 🤔.
#JaiDécouvert (ou plutôt redécouvert) https://github.com/unifiedjs.
#JeMeDemande si je peux utiliser le moteur de template EJS pour parser et render le template présent dans le markdown pour ensuite lancer le rendu markdown.
Evidence semble implémenter un mécanisme qui ressemble à mon objectif et est codé en Svelte.
Journal du mercredi 01 mai 2024 à 10:05
En faisant la recheche suivant sur le subreddit Svelte : "markdown" #JaiDécouvert ici le projet Sveltia :
Alternative to Netlify/Decap CMS. Modern, fast, lightweight, Git-based headless CMS. Free & open source. UX-driven development. Made with Svelte.
#JaiDécouvert aussi ici le projet Sanity :
Sanity Studio – Rapidly configure content workspaces powered by structured content
basé sur ReactJS, après une première lecture rapide, je ne n'arrive pas à comprendre si c'est un #headless-cms ou non 🙅♀️.
En lien : l'issue de mon backlog nommée Étudier, tester, mettre en oeuvre tina.io
Je découvre "Carta" (Svelte Markdown editor)
En faisant la recheche suivant sur le subreddit Svelte : "markdown" #JaiDécouvert ici la librairie carta :
A lightweight, fast and extensible Svelte Markdown editor and viewer.
La démo se trouve ici : https://beartocode.github.io/carta/
#JeMeDemande si je dois tester cette librairie pour réaliser l'objectif du projet Projet -1 "CodeMirror, autocomplétion, Svelte" 🤔.
J'ai regardé le code source de l'extension Slash
et j'ai l'impression que je pourrais m'inspirer de cette implémentation pour créer une extension permettant d'implémenter un "sélécteur de ressource", "à la" Obsidian pour le projet Value Props 🤔.
Journal du samedi 27 avril 2024 à 22:55
Ici sur #Fediverse, #JaiDécouvert le #livre How to Make Notes and Write de Dan Allosso.
#JaiLu les chapitres suivants :
I.
Main Body1.
Inspiration, Interest, Anxiety 52.
Writing is Thinking 143.
Working with Ideas 224.
Highlighting and Taking Notes
Pour le moment je trouve cela très intéressants. Je vais essayer de mettre cela en pratique, si possible en mode WorkInPublic.
Journal du samedi 23 mars 2024 à 20:00
#JaiDécouvert Zotero, et c'est déjà la deuxième fois en deux jours que je tombe dessus. Pour l'instant, je n'ai pas encore pris le temps de me pencher sur son utilité.
Journal du samedi 03 février 2024 à 20:00
#JaiDécouvert SilverBullet.mb.
J'aime cette déclaration dans l'introduction du projet :
SilverBullet is a note-taking application optimized for people with a hacker mindset.
Journal du mercredi 10 janvier 2024 à 17:11
#iteration Projet GH-360 - Implémenter un POC de Fuzzy Search en PostgreSQL.
#JaiDécouvert que l'extension fuzzystrmatch implémente plusieurs algorithmes :
- Soundex => article Wikipedia : Soundex
- Daitch-Mokotoff Soundex => article Wikipedia : Daitch–Mokotoff Soundex
- Levenshtein => article Wikipedia : Levenshtein distance
- Metaphone => article Wikipedia : Metaphone
- Double Metaphone
Journal du mercredi 10 janvier 2024 à 17:10
#JaiDécouvert la #librairie de Fuzzy Search Javascript : Fuse.js.
Journal du jeudi 16 novembre 2023 à 15:45
#JaiDécouvert #library CRDT nommé Loro : https://github.com/loro-dev/loro.
Loro draws inspiration from the innovative work of the following projects and individuals:
- Ink & Switch: The principles of Local-first Software have greatly influenced this project. The Peritext project has also shaped our approach to rich text CRDTs.
- Diamond-types: The Event Graph Walker (Eg-walker) algorithm from @josephg has been adapted to reduce the computation and space usage of CRDTs.
- Automerge: Their use of columnar encoding for CRDTs has informed our strategies for efficient data encoding.
- Yjs: We have incorporated a similar algorithm for effectively merging collaborative editing operations, thanks to their pioneering work.
- Matthew Weidner: His work on the Fugue algorithm has been invaluable, enhancing our text editing capabilities.
- Martin Kleppmann: His work on CRDTs has significantly influenced our comprehension of the field.
Passionnant !
Journal du mardi 04 juillet 2023 à 17:35
#JaiDécouvert la fonctionnalité Skew Protection de Vercel : Introducing Skew Protection.
#JaiLu aussi Version Skew.
#JeMeDemande comment implémenter le même système que la fonctionnalité Skew Protection de Vercel en self hosted, par exemple, avec SvelteKit 🤔.
Journal du mercredi 07 juin 2023 à 19:37
#JaiDécouvert le projet PrivateGPT (https://github.com/zylon-ai/private-gpt).
Cela fait plusieurs mois que je souhaite trouver une solution pour self hosted une alternative à ChatGPT. J'ai bien envie de tester ce projet.
Journal du jeudi 29 décembre 2022 à 11:29
#JaiDécouvert la Mémoire transactive.
Quand je dis « j'aime travailler dans une équipe sur le long terme, tout devient fluide, elle a une culture commune… », #JeMeDemande si cela veut dire que j'aime la mémoire transactive 🤔.
#JeMeDemande si la mémoire transactive équivaut plus ou moins à une culture de travail ? 🤔.
Journal du mercredi 31 août 2022 à 15:00
#JaiDécouvert le terme technique Best Current Practice (https://fr.wikipedia.org/wiki/Best_Current_Practice).
#JaiDécouvert le concept de marqueur de modestie épistémique en mai 2019 dans cette vidéo de Lê Nguyên Hoang : « Modestie épistémique #DébattonsMieux ».
#JaiDécidé d'essayer à partir d'aujourd'hui de mettre cela en pratique autant que possible dans ma communication.
Mon intuition, c'est que cela va être très difficile à l'oral, dans le flux de la communication, mais je pense qu'il n'y a aucune raison que je n'y arrive pas à l'écrit.
Pour l'écrit, j'aurais tendance à dire que c'est une question de rigueur, équivalente à ma rigueur d'utilisation des conventional comments quand je poste des commentaires de review.
Voici quelques exemples de marqueurs de modestie épistémique que je pourrais utiliser :
- il me semble que …, ça serait …
- j'aurais tendance à dire que …
- peut-être ...
- probablement ...
- sans doute ...
- si je devais parier ...
- mon intuition dirait que ...
- je me trompe sans doute…
- il me semble extrêmement probable …
- il semble que …
- selon cette article ....
- je pense que .....
- j'ai entendu dire que ....
- il paraît ......
- selon ce consensus ....
Journal du mardi 05 octobre 2021 à 14:00
Je viens de déjeuner avec un ami qui m'a fait découvrir le livre Team Topologies.
Journal du jeudi 25 octobre 2018 à 15:09
#JaiDécouvert le nom du Monorepo de DigitalOcean : Cthulhu 😉.
Journal du mercredi 17 octobre 2018 à 16:06
#JaiDécouvert le site "Advantages of monorepos" (https://danluu.com/monorepo/).
Avantages :
- « Simplified organization » 👌
- « Simplified dependency management » 👌
- « atomic changes » 👌
- « Extensive code sharing and reuse » 👌
- « Unified versioning, one source of truth » 👌
- « Code visibility and clear tree structure providing implicit team namespacing » 👌
- « Large-scale refactoring » 👌
- « Collaboration across teams » 👌
Journal du samedi 23 juin 2018 à 17:50
Dans la vidéo ThinkerView "Blockchain, gouvernance et énergie ? Primavera De Filippi et Remy Bourganel", j'ai entendu Primavera De Filippi parler de l'article "La tyrannie de l’absence de structure" que j'ai trouvé extrêmement intéressant.
Dernière page.