Ein Sprachmodell auf eigener Hardware, wenn Ihre Daten das Haus nicht verlassen sollen
Manche Betriebe wollen Kalkulationen, Kundendaten und Pläne grundsätzlich nicht an einen Rechenzentrumsbetreiber geben. Dann läuft die KI auf einem Rechner mit Grafikkarte im eigenen Haus. Vorher klären wir mit einem Test, ob das für Ihre Aufgaben reicht.
Wo es heute hakt
Wer Sicherheitstechnik einbaut oder in sensiblen Gebäuden arbeitet, bekommt von Auftraggebern mitunter die Frage, wo Pläne und Unterlagen verarbeitet werden. Manche Inhaber haben auch einfach ein ungutes Gefühl, Angebote und Preise in eine Cloud zu geben.
Ein Sprachmodell im eigenen Haus ist aber kein Gerät, das man aus dem Katalog bestellt und einsteckt. Welche Hardware nötig ist, hängt davon ab, was die KI tun soll und wie viele Leute gleichzeitig damit arbeiten.
Was das in der Praxis heißt
Beispiele für mögliche Abläufe, keine Kundenfälle. Was bei Ihnen sinnvoll ist, klären wir im Erstgespräch.
-
Wissensdatenbank im Haus
Datenblätter, Pläne und alte Aufträge werden auf dem eigenen Rechner durchsucht und beantwortet, ohne dass die Unterlagen den Betrieb verlassen.
-
Kalkulationen und Angebote
Entwürfe für Angebotstexte oder Leistungsbeschreibungen entstehen aus internen Kalkulationen, die nie an einen Cloud-Dienst gehen.
-
Ausschreibungsunterlagen sichten
Umfangreiche Leistungsverzeichnisse und Vorbemerkungen werden im Haus zusammengefasst, damit Sie schneller sehen, ob sich eine Teilnahme lohnt. Die Prüfung der Unterlagen bleibt bei Ihnen.
-
Automatisierungen mit Daten im Haus
Abläufe wie das Vorsortieren von Mails können so eingerichtet werden, dass die Textverarbeitung auf Ihrem eigenen Gerät passiert. Welche Abläufe das betrifft, legen wir im Machbarkeits-Check fest.
So läuft es ab
-
Erstgespräch
Wir klären, welche Aufgaben die KI übernehmen soll, wie viele Personen sie nutzen und warum die Daten im Haus bleiben sollen.
-
Machbarkeits-Check
Auf gemieteter GPU-Rechenleistung in einem EU-Rechenzentrum testen wir mit Beispielaufgaben, ob ein Modell Ihre Fragen gut genug beantwortet, bevor Sie Hardware kaufen.
-
Stückliste
Sie bekommen eine genaue Liste der nötigen Hardware, die Sie selbst oder über Ihren IT-Händler beschaffen.
-
Installation
Wir richten Modell und Anwendung auf dem Gerät in Ihrem Betrieb ein und testen mit Ihren Aufgaben.
-
Betrieb per Fernzugang
Updates und Anpassungen erledigen wir über einen Fernzugang, den Sie freigeben und jederzeit wieder sperren können.
Was bewusst nicht dazugehört
- Oft ist der eigene Server in Deutschland einfacher und günstiger. Das sagen wir Ihnen ehrlich.
- Modelle, die auf eigener Hardware laufen, sind in der Regel kleiner als die großen Cloud-Modelle; ob die Qualität reicht, zeigt erst der Machbarkeits-Check.
- Strom, Platz, Kühlung und Datensicherung des Geräts liegen im Betrieb; das klären wir vorher mit Ihnen.
Ihre Daten
Im laufenden Betrieb verarbeitet das Sprachmodell Ihre Daten auf dem Gerät in Ihrem Haus. Für den Machbarkeits-Check nutzen wir gemietete Rechenleistung in einem EU-Rechenzentrum und nur Beispielaufgaben, die Sie dafür freigeben. Goma-IT greift nur über den Fernzugang zu, den Sie selbst freigeben.
Häufige Fragen
Was kostet die Hardware?
Das hängt von den Aufgaben und der Zahl der Nutzer ab. Deshalb gibt es zuerst den Machbarkeits-Check und danach eine Stückliste, mit der Sie Angebote einholen können.
Brauchen wir dafür einen eigenen Serverraum?
Nicht unbedingt. Es braucht einen Platz mit Strom, Netzwerk und ausreichender Kühlung. Was bei Ihnen passt, klären wir vor der Bestellung.
Ist lokale KI so gut wie ChatGPT?
Für allgemeine Fragen sind große Cloud-Modelle meist stärker. Für klar umrissene Aufgaben mit Ihren eigenen Unterlagen kann ein lokales Modell ausreichen. Genau das testet der Machbarkeits-Check.
Wer kümmert sich um Updates?
Goma-IT, über einen Fernzugang, den Sie freigeben. Ohne Ihre Freigabe gibt es keinen Zugriff von außen.
Passt dazu
Passt das zu Ihrem Betrieb?
Im Erstgespräch sehen wir uns Ihre Abläufe an und sagen ehrlich, ob sich dieser Baustein für Sie lohnt.
Lieber gleich reden? Rufen Sie an:
+43 699 17119818