Offline KI – erster Versuch

Als ich meine Idee für KI-Noitzen veröffentlichte kamen einige kritische Kommentare. Die Rechenzentren verbrauchen viel Strom, man gibt Daten preis und für die Sprachmodelle würden Ideen, Gedanken, Texte und Bilder genutzt ohne auf Urheberrechte oder ähnliches Rücksicht zu nehmen.

Daher habe ich mir mal LM Studio heruntergeladen. Dieses ermöglicht mir auf meinem Macbook lokal Sprachmodelle laufen zu lassen. Mein Notebook ist dabei aber mit relativ wenig RAM ausgestattet etc. Daher läuft vieles nicht oder nur eingeschränkt.

Die Frage ist, ob ich damit etwas sinnvolles machen kann.

Natürlich bleibt die Frage, wie diese Modelle trainiert wurden und einiges andere.

Fediverse-Reaktionen

Kommentare

2 Kommentare zu „Offline KI – erster Versuch“

  1. Avatar von danimrich
    1. Avatar von Robert Lender

      AnythingLLM klingt interessant. Schaue ich mir an. Danke.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Um auf deiner eigenen Website zu antworten, veröffentliche dort einen Beitrag, der einen Link zur Permalink-URL dieses Artikels enthält. Die Antwort erscheint dann (möglicherweise nach einer kurzen Moderation) hier auf dieser Seite. Möchtest du deine Antwort später ändern oder entfernen? Aktualisiere oder lösche einfach deinen Beitrag und sende die URL deines Beitrags erneut. Mehr über Webmentions erfahren