Technik im Detail

Für alle, die es genau wissen wollen

Was im Gerät steckt.

Diese Seite ist für die IT-Verantwortlichen und für alle, denen Marketingsätze nicht reichen. Sie beschreibt, woraus die Box besteht, wie sie abgesichert ist, wie sie aktuell bleibt — und was sie nicht kann.

Das Gerät

Ein Mini-PC, kein Serverschrank.

Die PrivateAI Box: ein flacher, silberner Mini-PC; dahinter dasselbe Gerät hochkant aufgestellt.

Rechenwerk — AMD Ryzen AI Max+ 395 mit integrierter Radeon-Grafik. Die KI rechnet auf der Grafikeinheit — dadurch braucht es keine gesonderte Grafikkarte, keine Spezialkühlung und keinen eigenen Raum.

Arbeitsspeicher entscheidet — Das Sprachmodell liegt vollständig im Speicher. Mehr Arbeitsspeicher heißt größeres Modell und mehr gleichzeitige Nutzer — das ist der Punkt, an dem sich Ausbaustufen unterscheiden.

Betriebssystem — Ubuntu mit Langzeitpflege. Das System liegt schreibgeschützt vor; beschreibbar ist allein der Datenbereich.

Im Büro, nicht im Rechenzentrum — Das Gerät steht auf einem Regal oder unter dem Schreibtisch, braucht Strom und einen Netzwerkanschluss. Kein Klimagerät, kein Rack.

Das Modell

Quelloffen — und das ist der Punkt.

Auf der Box läuft ein offenes Sprachmodell mit Text- und Bildverständnis in einer einzigen Instanz, betrieben über llama.cpp direkt auf der Grafikeinheit.

Kein Anbieter dazwischen — Es gibt kein Konto, keinen Schlüssel und keine Abrechnung nach Anfragen. Was Sie fragen, sieht niemand außer Ihnen — nicht weil wir es versprechen, sondern weil kein Weg dorthin existiert.

Kein Abschalten von außen — Ein zugekaufter Dienst kann eingestellt, verteuert oder in seinen Bedingungen geändert werden. Ein Modell, das auf Ihrem Gerät liegt, läuft weiter.

Nachvollziehbar statt Blackbox — Offene Modelle und offene Bausteine lassen sich prüfen. Für Häuser mit Schweigepflicht ist das ein Unterschied ums Ganze — man kann jemanden hinsehen lassen.

Sprache ebenfalls lokal — Spracherkennung und Sprachausgabe laufen als eigene Dienste auf der Box. Kein Diktat und kein Gesprächsmitschnitt verlässt das Haus.

Welches Modell im Einsatz ist, sagen wir Ihnen im Gespräch — die Auswahl ändert sich mit dem, was quelloffen verfügbar ist, und die Box ist nicht an eines gebunden.

Die Wissensdatenbank

Zwei Suchen, die sich gegenseitig ausgleichen.

Reine Bedeutungssuche verfehlt exakte Kennungen; reine Wortsuche verfehlt die Frage, die anders formuliert ist. Die Box fährt beides und führt die Ergebnisse zusammen.

Bedeutungssuche — Über eine Vektordatenbank (Qdrant), die als eigener Dienst auf der Box läuft. Sie findet Passendes, auch wenn kein Wort übereinstimmt.

Wortgenaue Suche — Ein Volltextindex daneben. Wird eine konkrete Vorschrift, ein Kennzeichen oder eine Nummer genannt, zählt der genaue Treffer, nicht die Ähnlichkeit.

Zusammenführung — Beide Ergebnislisten werden nach Rang verrechnet, statt eine davon zu bevorzugen. Erst daraus entsteht die Antwort.

Antwort auf dem Volltext — Der Index findet das Dokument — geantwortet wird auf Grundlage des vollständigen Textes, nicht anhand eines herausgeschnittenen Absatzes. Das vermeidet Antworten, denen der Zusammenhang fehlt.

Quelle an jeder Antwort — Jede Antwort nennt, worauf sie beruht, und eine Einschätzung ihrer Verlässlichkeit. Ohne das wäre eine KI in diesen Berufen nicht brauchbar.

Absicherung

Was passiert, wenn jemand das Gerät mitnimmt.

Verschlüsselter Datenbereich — Der Datenträger ist verschlüsselt, der Schlüssel im Sicherheitsbaustein des Geräts hinterlegt. Ausgebaut und woanders eingesteckt gibt die Platte nichts her.

Schreibgeschütztes System — Das Betriebssystem liegt unveränderlich vor. Beschreibbar ist allein der Datenbereich — Schadsoftware kann sich nicht im System einnisten.

Dienste reden nur beglaubigt miteinander — Die Dienste auf der Box weisen sich gegenseitig mit Zertifikaten aus. Ein Dienst, der sich nicht ausweisen kann, bekommt keine Antwort.

Angebundene Systeme abgeschottet — Connectoren zu Ihren Bestandssystemen sind signiert, laufen gekapselt und dürfen nur dorthin sprechen, wofür sie freigegeben sind.

Nichts geht hinaus — Es gibt keinen Fernzugang und keinen Weg von außen in Ihr Netz. Die Box holt Aktualisierungen selbst ab; sie nimmt keine Verbindungen an.

Aktualisierung

Updates, die nicht schiefgehen dürfen.

Zwei Systembereiche. Die Box hält zwei Systemstände nebeneinander. Ein Update wird in den gerade unbenutzten geschrieben — der laufende Betrieb bleibt unberührt.

Signatur vor Installation. Ein Paket wird nur eingespielt, wenn seine Signatur stimmt. Ein manipuliertes Paket wird abgelehnt, nicht bemerkt-und-trotzdem-installiert.

Integrität beim Start. Beim Hochfahren wird der Systembereich gegen seine Prüfsumme gehalten. Stimmt etwas nicht, startet er nicht.

Rückfall von selbst. Startet der neue Stand nicht sauber, schaltet die Box automatisch auf den vorherigen zurück. Ein misslungenes Update kostet keinen Arbeitstag.

Nur Änderungen übertragen. Übertragen wird, was sich unterscheidet, nicht das ganze Abbild. Das macht Aktualisierungen auch über schmale Anschlüsse erträglich.

Nachweisbarkeit

Wer wann was gefragt hat.

Der EU AI Act verlangt Transparenz gegenüber Nutzern und Nachvollziehbarkeit des Einsatzes. Beides ist eingebaut, nicht nachgerüstet.

Protokoll mit Prüfsummenkette — Jede KI-Antwort wird protokolliert, und jeder Eintrag trägt die Prüfsumme des vorherigen. Ein nachträglich entfernter oder geänderter Eintrag bricht die Kette und fällt auf.

Kennzeichnung an der Antwort — Was von der KI stammt, ist als solches gekennzeichnet. Wer den Hinweis entfernt, nimmt der Kennzeichnung ihren Sinn — deshalb lässt er sich nicht abschalten.

Der Mensch entscheidet — Schreibende Schritte — ablegen, versenden, ändern — laufen über eine Bestätigung. Die Box schlägt vor; ausgelöst wird von einem Menschen.

Grenzen

Was die Box nicht kann.

Wir schreiben das hin, weil es beim Kunden ohnehin auffällt — lieber vorher von uns als hinterher als Enttäuschung.

Sie ersetzt keinen Berufsträger — Die Box entwirft, findet und fasst zusammen. Beurteilen, entscheiden und verantworten tun Sie. Jede Antwort trägt den Hinweis.

Sie irrt sich — Sprachmodelle geben auch dann eine Antwort, wenn sie unsicher sind. Deshalb Quelle und Konfidenz an jeder Antwort — die Prüfung nimmt Ihnen niemand ab.

Sie kennt nur, was angebunden ist — Der Ordner im Schrank und das Postfach, das niemand genannt hat, bleiben außen vor.

Sie ist nicht das größte Modell der Welt — Ein Gerät im Büro rechnet nicht wie ein Rechenzentrum. Für Recherche, Entwürfe und Zusammenfassungen reicht es; für Aufgaben, die schiere Modellgröße verlangen, ist es die falsche Wahl.

Hardware fällt aus — Sie ist Standardhardware und ersetzbar, und der Datenbereich wird gesichert. Aber ein Gerät, das ausfällt, ist ausgefallen — das gehört in Ihre Planung.

Weiterlesen

Das könnte als Nächstes interessieren.

Sicherheit und Updates

Meldestelle für Schwachstellen, Unterstützungszeitraum und wie lange es Sicherheitsupdates gibt.

Wie Ihre Daten hineinkommen

Erst anbinden und strukturieren, dann den aktuellen Stand im Moment der Frage dazuholen.

Häufige Fragen

Kurze Antworten auf das, was in Gesprächen am häufigsten kommt — auch die unbequemen.