Bygg din egen AI-verkstad – datorn som håller företagets data hemma

En servicetekniker vill fråga företagets egna reparationsmanualer utan att skicka dem till en extern tjänst. En ekonom vill sortera fakturaunderlag under natten. En utvecklare vill ha kodhjälp även när nätet ligger nere. Tre rimliga skäl att bygga en egen AI-arbetsstation – och tre uppgifter som ställer helt olika krav på datorn.

Systerupplagan Superintelligens har tagit fram en gedigen guide till hur man bygger sin egen AI-verkstad, och den inleder med ett råd många borde läsa två gånger: bestäm jobbet innan du bygger datorn. Ett dyrt grafikkort beställs alltför ofta innan någon har undersökt vilken modell som behövs, hur många som ska använda den – eller om uppgiften egentligen löses bättre med ett vanligt program.

För språkmodeller är grafikkortets minne den första flaskhalsen. En modell med åtta miljarder parametrar tar ungefär fyra gigabyte vid stark komprimering – men det är bara startvärdet. Arbetsbuffertar och modellens minne för pågående samtal tillkommer, och långa dokument kan göra att en modell som fungerar utmärkt för korta frågor blir långsam när du matar in en hel rapport.

Grov inköpskarta: 8 GB grafikminne räcker för små modeller på 3–8 miljarder parametrar, 12–16 GB för modeller kring 7–14 miljarder, 24 GB ger gott arbetsutrymme, och 48 GB eller mer behövs för större modeller eller flera parallella jobb. Nvidia är oftast den enklaste vägen; Apple Silicon kan med sitt gemensamma minne köra modeller som inte ryms i ett vanligt grafikkort.

Som verktyg rekommenderas Ollama eller LM Studio för att komma igång, med llama.cpp eller vLLM för den som vill styra mer själv eller servera fler samtidiga användare. För interna dokument används ofta RAG: dokumenten delas upp, ett söksystem hämtar relevanta avsnitt och modellen får dem som underlag – utan att träna om.

Budgeten delas in i fyra nivåer: prova på befintlig dator för 0–5 000 kronor, dedikerad AI-arbetsstation för 15 000–35 000, kraftigare arbetsstation för 35 000–80 000 och företagsserver från 80 000 kronor och uppåt.

För ett litet företag är poängen enkel: en AI-maskin på kontoret kostar en gång, och känsliga uppgifter stannar i rummet. Vill du läsa hela guiden – med detaljerade minnestabeller, exempelkommandon och råd om säkerhet – finns den hos vår systerupplaga Superintelligens: Bygg din egen AI-verkstad.