In einer Zeit, in der künstliche Intelligenz zunehmend an Bedeutung gewinnt, werden viele Unternehmen vor die Herausforderung gestellt, diese KI-Technologie sinnvoll in ihre Arbeitsabläufe zu integrieren. Besonders der Umgang mit der stetig wachsenden Menge an internen Dokumenten und Wissensdatenbanken wird als erhebliche Hürde wahrgenommen. Wie kann auf relevante Informationen schnell und effizient zugegriffen werden, ohne dass zahllose Dokumente durchsucht werden müssen? Die IF-Tech AG hat hierzu eine lokale KI-Lösung entwickelt, die im Folgenden vorgestellt wird.
Das Linux-Team der IF-Tech hat es sich zur Aufgabe gemacht, KI-Lösungen nicht nur zu nutzen, sondern eine ganz eigene KI-Lösung aufzubauen. Nach dem Abschluss des initialen KI-Projekts wurde der nächste Schritt unternommen: die Entwicklung eines KI-basierten Services, der auf die Bedürfnisse von Unternehmen ausgerichtet ist. Das Ergebnis ist ein lokales KI-System, das neben technischen Leistungen auch hohe Datenschutzstandards erfüllt.
Der gewählte Ansatz unterscheidet sich von gängigen Cloud-basierten Lösungen: Anstatt Unternehmensdaten in externe Rechenzentren zu übertragen, verbleiben bei dieser lokalen KI-Lösung sowohl die KI-Modelle als auch die Dokumente im eigenen Netzwerk.
Im Zentrum der Lösung steht ein KI-Rechner, auf dem verschiedene Large Language Models (LLMs) ausgeführt werden können. Im Gegensatz zu Cloud-basierten Lösungen wie ChatGPT kann kontrolliert werden, welches LLM zum Einsatz kommt – beispielsweise Gemma3, Qwen3 oder andere Open-Source-Modelle. Diese Flexibilität ermöglicht es, je nach Anwendungsfall das passende Modell auszuwählen.
Das Linux-Team der IF-Tech hat es sich zur Aufgabe gemacht, KI-Lösungen nicht nur zu nutzen, sondern eine ganz eigene KI-Lösung aufzubauen. Nach dem Abschluss des initialen KI-Projekts wurde der nächste Schritt unternommen: die Entwicklung eines KI-basierten Services, der auf die Bedürfnisse von Unternehmen ausgerichtet ist. Das Ergebnis ist ein lokales KI-System, das neben technischen Leistungen auch hohe Datenschutzstandards erfüllt.
Der gewählte Ansatz unterscheidet sich von gängigen Cloud-basierten Lösungen: Anstatt Unternehmensdaten in externe Rechenzentren zu übertragen, verbleiben bei dieser lokalen KI-Lösung sowohl die KI-Modelle als auch die Dokumente im eigenen Netzwerk.
Ein wesentlicher Mehrwert der Lösung liegt in der Retrieval-Augmented Generation (RAG). Durch diese RAG-Technologie kann bestehende Dokumentenverwaltung – sei es in Form von Handbüchern, Wikis oder internen Prozessbeschreibungen – in eine intelligente Wissensdatenbank transformiert werden.
Mitarbeiter können Fragen an ein ChatGPT-ähnliches System stellen, das mit dem spezifischen Unternehmenswissen angereichert wurde. Bei Fragen wie „Wie lautet der Prozess für die Genehmigung von Urlaubsanträgen?“ oder „Welche Sicherheitsrichtlinien gelten für die Arbeit im Homeoffice?“ werden die relevanten Informationen gefunden und in einer zusammenhängenden, kontextbezogenen Antwort präsentiert. Diese natürlichsprachige Suche und intelligente Informationsaufbereitung erhöht die Mitarbeiterproduktivität erheblich.
Über eine intuitive Weboberfläche kann von überall im Unternehmensnetzwerk auf das System zugegriffen werden. Die Bedienung wurde so gestaltet, dass keine technischen Vorkenntnisse erforderlich sind – ein Vorteil für die breite Akzeptanz im Unternehmen.
Das System basiert auf zwei Hauptkomponenten, die zusammenarbeiten: Der RAG-Importer und der RAG-Client.
Mit dem RAG-Importer werden Dokumente aufbereitet. Markdown-Dokumente werden analysiert, deren Struktur respektiert und in sinnvolle Abschnitte aufgeteilt werden. Bemerkenswert ist die automatische Klassifizierung: Es wird selbstständig erkannt, ob es sich um normalen Text oder Code handelt und in welcher Sprache der Inhalt verfasst ist. Diese Metadaten ermöglichen später präzisere Suchanfragen. Die verarbeiteten Dokumente werden in einer Vektordatenbank gespeichert, durch die eine semantische Suche ermöglicht wird – das System findet nicht nur exakte Wortübereinstimmungen, sondern berücksichtigt den Kontext der Anfrage. Diese KI-gestützte Suchtechnologie nutzt Embedding-Verfahren und Vector-Similarity-Search für präzise Ergebnisse.
Der RAG-Client fungiert als Schnittstelle zwischen Benutzer und System. Anfragen werden entgegengenommen, in der Vektordatenbank nach relevanten Informationen gesucht und diese zusammen mit der Anfrage an das lokale KI-Modell weitergeleitet. Vom Modell wird dann eine kontextbezogene Antwort generiert, die auf den gefundenen Informationen basiert. Als praktische Funktion bietet der Client verschiedene vordefinierte Profile, mit denen das Verhalten des Systems angepasst werden kann – beispielsweise einen deutschsprachigen Assistenten oder einen RAG-Assistenten, der gezielt auf die vorhandene Dokumentation zugreift.
Unter Retrieval-Augmented Generation (RAG) wird ein Softwaresystem verstanden, welches Information Retrieval mit einem Large Language Model kombiniert. Bei einer Abfrage an das System kann auf Informationen aus externen Quellen zugegriffen werden, statt ausschließlich auf die Trainingsdaten des Modells. Hierdurch wird die Genauigkeit und Zuverlässigkeit der generierten Inhalte erhöht, da die Modelle mit aktuellen und spezifischen Informationen versorgt werden. Diese Hybrid-KI-Architektur minimiert KI-Halluzinationen und gewährleistet faktenbasierte Antworten.
Im Kern des RAG-Systems wird eine spezialisierte Datenbank eingesetzt: Qdrant. Diese Vektordatenbank ist optimiert für:
– Hochdimensionale Vektorsuche
– Schnelle Ähnlichkeitsabfragen
– Skalierbarkeit für große Dokumentenmengen
– Metadaten-basierte Filterung
Die Texte werden nicht als einfache Strings gespeichert, sondern als numerische Vektoren, die die semantische Bedeutung des Textes repräsentieren. Diese Vektorrepräsentation ermöglicht es, Texte nicht nur anhand von Schlüsselwörtern, sondern nach inhaltlicher Ähnlichkeit zu finden.
Der RAG-Importer nutzt verschiedene fortschrittliche Techniken zur Dokumentenverarbeitung:
Ein kritischer Aspekt, der über Erfolg oder Misserfolg eines RAG-Systems entscheidet, ist die Art und Weise, wie Dokumente verarbeitet und in der Vektordatenbank abgelegt werden. Die Ergebnisqualität eines RAG-Systems wird maßgeblich durch die Qualität der Dokumentenzerlegung bestimmt.
Folgende Herausforderungen müssen hierbei bewältigt werden:
In unserem Projekt wurde die hohe Bedeutung dieses Aspekts frühzeitig erkannt. Der entwickelte RAG-Importer verwendet daher nicht nur einfache zeichenbasierte Zerlegungsmethoden, sondern respektiert semantische Strukturen und bewahrt hierarchische Beziehungen. Diese sorgfältige Aufbereitung der Dokumente bildet das Fundament für präzise, kontextbezogene Antworten und hat sich als entscheidender Erfolgsfaktor für die Gesamtleistung des Systems erwiesen.
Unter Retrieval-Augmented Generation (RAG) wird ein Softwaresystem verstanden, welches Information Retrieval mit einem Large Language Model kombiniert. Bei einer Abfrage an das System kann auf Informationen aus externen Quellen zugegriffen werden, statt ausschließlich auf die Trainingsdaten des Modells. Hierdurch wird die Genauigkeit und Zuverlässigkeit der generierten Inhalte erhöht, da die Modelle mit aktuellen und spezifischen Informationen versorgt werden. Diese Hybrid-KI-Architektur minimiert KI-Halluzinationen und gewährleistet faktenbasierte Antworten.
Ein kritischer Aspekt, der über Erfolg oder Misserfolg eines RAG-Systems entscheidet, ist die Art und Weise, wie Dokumente verarbeitet und in der Vektordatenbank abgelegt werden. Die Ergebnisqualität eines RAG-Systems wird maßgeblich durch die Qualität der Dokumentenzerlegung bestimmt.
Unsere Architektur kombiniert Vektorsuche, Hybrid-Suchmethoden und Kontextaufbereitung, um Benutzereingaben optimal zu verarbeiten. Das LLM erhält stets aktuelle, relevante Informationen und generiert daraus präzise Antworten. Durch Antwort-Streaming in Echtzeit entsteht eine flüssige Benutzererfahrung – mit allen Vorteilen moderner KI, jedoch ohne deren typische Schwächen wie veraltetes Wissen oder Halluzinationen.
Alle Daten verbleiben im eigenen Netzwerk – keine externen Dienste, keine Datenweitergabe. DSGVO-konforme KI-Nutzung und Zero-Trust-Architektur.
Informationen können schneller gefunden werden, wodurch produktiveres Arbeiten ermöglicht wird. Wissensmanagement-Optimierung und Informationssilos-Aufbrechen.
Häufig gestellte Fragen werden konsistent beantwortet, was besonders IT- und Support-Teams entlastet. FAQ-Automatisierung und First-Level-Support-Entlastung.
Für neue Mitarbeiterinnen und Mitarbeiter kann die Einarbeitung erleichtert werden, indem das System nach Unternehmensabläufen und -richtlinien befragt wird. Digitales Onboarding und Self-Service-Learning.
Das System kann mit den Anforderungen wachsen und jederzeit um neue Dokumente erweitert werden. Skalierbare KI-Infrastruktur und modulare Systemarchitektur.
In folgendem Szenario wird der praktische Nutzen veranschaulicht: Ein Mitarbeiter bereitet ein Kundenprojekt vor und benötigt Informationen zu spezifischen Sicherheitsrichtlinien des Unternehmens. Anstatt in verschiedenen Dokumentationsquellen zu suchen oder Kollegen zu befragen, kann die Frage direkt an den RAG-Client gestellt werden:
„Welche Sicherheitsrichtlinien müssen bei Kundenprojekten beachtet werden, die personenbezogene Daten verarbeiten?“
Die gesamte Dokumentenverwaltung wird automatisch durchsucht, relevante Abschnitte aus verschiedenen Dokumenten werden gefunden und eine zusammenfassende, kontextbezogeneAntwort wird präsentiert – inklusive Verweisen auf die Originaldokumente für weiterführende Informationen. Diese intelligente Dokumentensuche mit Quellennachweis und Transparenz-Features gewährleistet vertrauensvolle KI-Antworten. Was Ihr Unternehmen unterstützt, ist strategische Planung und kontinuierliche Anpassung. Als digitale Zukunftsgestalter beraten und begleiten unsere Expertinnen und Experten Sie von der Konzeptionierung über die Realisierung bis zum laufenden Betrieb Ihrer Rechenzentrumsinfrastruktur. Wir machen es – besser.
Die vorgestellte lokale KI-Lösung bildet einen Ausgangspunkt für weitere Entwicklungen. Für die Zukunft sind folgende Erweiterungen geplant:
Mit dieser lokalen KI-Lösung geben wir Unternehmen die Möglichkeit, von den Vorteilen moderner KI-Technologie zu profitieren, ohne dass technische Komplexitäten bewältigt werden müssen. Die Kombination aus lokaler Kontrolle, Datenschutz und intelligenter Dokumentenverarbeitung kann als praktische Lösung für Unternehmen betrachtet werden, die ihre internen Wissensressourcen besser nutzen möchten.
Wie im technischen Exkurs aufgezeigt wurde, stellt die sorgfältige Aufbereitung und Dokumentenzerlegung einen kritischen Erfolgsfaktor dar. Diese technische Herausforderung sollte nicht unterschätzt werden, da sie maßgeblich über die Qualität der kontextbezogenen Antworten und damit über den Erfolg des gesamten KI-Systems entscheidet. Mit der richtigen Expertise und den passenden Werkzeugen kann jedoch ein System geschaffen werden, das präzise, kontextbezogene Antworten liefert und dadurch einen echten Mehrwert für das Unternehmen darstellt.
Bei Interesse an weiteren Informationen zu diesen KI-Lösungen oder an einem unverbindlichen Proof-of-Concept kann Kontakt aufgenommen werden – eine Beratung zu den Möglichkeiten moderner KI-Technologie für Ihr Unternehmen wird gerne angeboten.
„*“ zeigt erforderliche Felder an
