Zum Inhalt der Seite gehen


Wissenslücke bei der #loscon25 erfolgreich geschlossen.
👉 Auf einem Hetzner Server mit Ollama ein lokal funktionierendes KI-System eingerichtet und RAG-Funktionalität ausprobiert. Der halbe Tag hier hat sich sehr gelohnt. Danke!

Simon Dückert hat dies geteilt.

Als Antwort auf Henning Müller

@ueberbildung
Ich werde das noch ausführlich aufschreiben. Mein bislang noch fehlender Schritt war, Ollama, das ich vorher lokal auf meinem Laptop hatte, was miserabel lief, da keine Grafikkarte, auf einen vernünftigen Server (bei mir von Hetzner) zu bringen. (Das hatte ich vorher noch nicht gemacht)
Als Antwort auf Frank Wittemeier

@frank

Das war keine gezielte Auswahl bei Hetzner, sondern einfach weil ich da meine Website habe. Gibt es bessere Empfehlungen?
Ein Server, den ich da jetzt testweise angelegt habe und mir ausreichend scheint, kostet rund 50 Euro/ Monat (Wenn dann noch ein paar API Kosten für proprietäre Modelle dazu kommen, aber ich überwiegend Open Source verwenden kann, ist das immer noch günstiger, als mehrere proprietäre Accounts zu bezahlen.)

Als Antwort auf Nele Hirsch (ebildungslabor)

@Nele Hirsch (ebildungslabor) netcup hatte neulich ein geschlossenes Angebote als Test für ein geplantes Produkt mit leistungsstarker NVIDIA Karte zwischen 160 und ca. 300 € monatlich. Ein anderes Angebot habe ich neulich gesehen für etwas über 200 € monatlich, bin nur nicht ganz sicher, ob das nicht sogar Hetzner war. Ich suche eine Lösung, die ich unseren Einrichtungen zur Nutzung anbieten könnte, da muss dann etwas Puffer sein. Für mich habe ich im Büro einen alten HP mit alter NVIDIA Karte, Ollama und OpenWebUI stehen. Zum testen o.k. aber dem kann ich beim Tippen zusehen ;-)