Self-hosting is een achtbaan. Het ene moment ben je trots op je perfect draaiende setup, het volgende moment is je database gecrasht en werkt niets meer. Dit is wat ik geleerd heb.
De basis: Docker …
Sinds een paar maanden draai ik lokale LLMs op mijn Mac Mini M4. Dit is waarom, hoe, en wat het oplevert.
Waarom lokaal? Drie redenen:
Privacy — mijn prompts en data gaan niet naar OpenAI of Anthropic …
Het begon met een Raspberry Pi 4 en een externe schijf. Inmiddels is het uitgegroeid tot een serieus homelab dat 24/7 draait in de meterkast. Dit is mijn setup.
De hardware Mac Mini M4 — het …