AI Transformation

My Thoughts on AI Transformation

Sebastian Stöhr

Turning Enterprise AI from pilots into practice | Sr. Advisor AI Transformation

Follow

• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  Today ·

  Fünfzehn KI-Werkzeuge in acht Teams: Das ist kein Governance-Versagen. Das ist die normale erste Phase.

  Zum Problem wird Wildwuchs erst als Dauerzustand: Sensible Daten landen in ungeprüften Diensten. Drei Teams bauen parallel dieselbe Lösung. Standards driften auseinander. Und für den einen Workflow, an dem längst ein wichtiger Prozess hängt, fühlt sich niemand zuständig.

  Die Lösung ist trotzdem kein pauschales Verbot. Starre Kontrollen, die jedes kleine Experiment wie ein Kernsystem behandeln, ersticken die Lernkurve und drängen die Nutzung in die Schatten-IT – wo Risiken völlig unsichtbar werden.

  Was stattdessen trägt, ist ein klarer Stufenplan, auf dem sich ein Workflow Verbindlichkeit verdient: von der freien Erkundung über den Teampiloten mit benanntem Owner bis hin zum geteilten Workflow mit Qualitäts-Gates und überwachtem Regelbetrieb.

  Die Prüftiefe folgt dem tatsächlichen Risiko, nicht der Begeisterung. Governance wächst mit der Tragweite des Einsatzes mit, statt von Tag eins an alles über einen Kamm zu scheren.

  
• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  1d ·

  Daten haben die meisten Organisationen im Überfluss. Belastbares Wissen nicht.

  Die „Source of Truth“ existiert selten an einem zentralen Ort. Sie liegt in Bruchstücken über Tickets, Chatverläufe, veraltete Wiki-Seiten und E-Mail-Anhänge verstreut.

  Klassisches RAG legt genau diese Rohdaten in eine Vektordatenbank. Doch ein reiner Dokumentenabruf beantwortet die entscheidende Frage nicht: Welche der drei gefundenen Richtlinien gilt heute noch?

  Was fehlt, ist der Schritt vom Abrufen zur strukturierten Synthese. Es reicht nicht, unstrukturierte Daten durchsuchbar zu machen – sie müssen zu verlässlichem Kontext verdichtet werden:

  • Aktuell: mit einem geprüften Gültigkeitsstand statt dem Datum der letzten Bearbeitung.
  • Verknüpft: mit dem klaren Bezug, welche Information eine andere ersetzt und was aufeinander aufbaut.
  • Belegt: mit einer nachprüfbaren Quelle für jede Kernaussage.

  Das ist redaktionelle Strukturierungsarbeit, kein reines Suchproblem. Wer diesen Schritt überspringt, baut lediglich eine schnellere Volltextsuche – und nennt sie fälschlich KI.

  
• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  2d ·

  Ein KI-Workflow, der falsche Entscheidungen trifft, meldet sich nicht.

  Die API-Aufrufe laufen durch, die Latenzen stimmen, die Formatierung ist makellos. Für das technische Monitoring existiert kein Problem. Deshalb ist der erste gravierende Fehlerfall selten ein Knall – sondern eine schleichende Entdeckung, meist Wochen später und fast immer durch Zufall.

  Der teuerste Teil eines KI-Vorfalls sind selten die falschen Ausgaben. Es sind die Wochen des Zögerns zwischen dem ersten Stirnrunzeln und der ersten offiziellen Meldung.

  Wer erst im Ernstfall klärt, wer stoppen darf und wie sich betroffene Vorgänge eingrenzen lassen, reagiert zu spät. Ein Notfallplan entsteht vor dem Go-Live, passt auf eine Seite und muss an einem Freitag um 16

  Uhr sofort anwendbar sein.

  Zwei Punkte machen den Unterschied:

  • Die Rückwärtssuche entscheidet sich beim Audit-Logging lange vor dem Fehler. Wer Eingabe, Ausgabe, Modellversion und Freigabe nicht protokolliert, muss später hunderte Akten manuell sichten.
  • Abschalten ist nicht die einzige Option. Eine verschärfte Kontrolle oder ein gezielter Teilstopp sind oft die klügere Stufe – jede mit einem vorab definierten Kriterium für das Wiedereinschalten.

  Der erste Fehlerfall

  • 
  • 
  • 
  • 
  • 
  • 
• I post on AI transformation and engineering leadership a few times a week. If this is your kind of thing, let's connect over there.

  Connect on LinkedIn
• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  3d ·

  Der interne Assistent antwortet gewohnt selbstbewusst – und liegt inhaltlich falsch. Der erste Reflex im Unternehmen: noch mehr Datenquellen anbinden.

  Das macht das Problem meist nur größer.

  KI räumt ungepflegtes Organisationswissen nicht auf. Sie legt vielmehr schonungslos offen, wo es fehlt: abgelöste Richtlinien, die nie archiviert wurden. Zwei Wiki-Seiten, die sich widersprechen. Wichtige Entscheidungen, deren Randbedingungen niemand dokumentiert hat. Der Assistent gibt wieder, was er vorfindet. Eine Entscheidung, die die Organisation versäumt hat, kann kein Sprachmodell der Welt nachholen.

  Die Antwortqualität eines internen Assistenten ist selten ein technisches Modellproblem. Sie ist ein ungeschönter Befund über den Zustand der eigenen Wissensbasis – zum ersten Mal sichtbar, weil jetzt ein System systematisch danach sucht.

  Was wirklich hilft, ist unspektakuläre Fleißarbeit: eine namentlich benannte Person je Wissensbereich, die Inhalte aktualisiert, veraltetes Material ausmustert und Widersprüche auflöst – natürlich mit Unterstützung durch die KI. Und gestartet wird dort, wo lückenhaftes Wissen heute schon wehtut – nicht dort, wo die meisten Dokumente liegen.

  
• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  4d ·

  „Sieht gut aus” ist kein Abnahmekriterium. „95 Prozent Genauigkeit” ist auch keines.

  Eine pauschale Trefferquote verschleiert die Schwere der Fehler. Fünf Prozent harmlose Formatierungsfehler kosten ein paar Sekunden, fünf Prozent fehlerhaft freigegebene Zahlungen sind ein reales Schadensrisiko. Und wenn 90 Prozent der Eingaben einfache Standardfälle sind, sagt die Quote über die Zuverlässigkeit rein gar nichts aus.

  Ein Qualitäts-Gate, das im Betrieb trägt, besteht aus vier Bausteinen:

  • Klar definierten Fehlerklassen (von harmlos bis inakzeptabel)
  • Einem festen Satz echter Praxisfälle (Eval-Set mit 50 bis 100 Datensätzen)
  • Zielwerten je Fehlerklasse statt einer Gesamtnote
  • Einer verbindlichen Konsequenz, die vor dem Testlauf feststeht

  Der aufwendigste Schritt ist das Eval-Set mit eigenen Daten, dessen Referenzergebnisse von Fachleuten manuell validiert wurden. Doch genau diese Vorarbeit ist es, die das Qualitätskriterium im Alltag belastbar macht.

  Und nach jedem Modellwechsel läuft dieselbe Messung erneut. Ein Kriterium, das nur zur Freigabe galt, ist kein Gate – sondern eine Momentaufnahme.

  
• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  6d ·

  KI im Unternehmen beginnt oft mit einem Tool, einem Demo oder einem ersten Pilot.

  Das kann sinnvoll sein. Es beantwortet aber noch nicht die Fragen, die später über Wirkung und Vertrauen entscheiden:

  • Welcher Use Case ist es wirklich wert, verändert zu werden?
  • Wer besitzt den Workflow, wenn das Ergebnis reale Arbeit beeinflusst?
  • Woran wird Qualität gemessen?
  • Was passiert beim ersten Fehlerfall?
  • Welche Kosten entstehen im Betrieb, nicht nur im Test?

  bereit.ai ist eine unabhängige Publikation für genau diese Arbeit.

  Wir schreiben über Auswahl, Verantwortung, Abnahme, Kosten, Kennzahlen und Governance von KI-Workflows in Unternehmen.

  Keine Tool-Rankings. Keine Prompt-Sammlungen. Sondern Orientierung dafür, wie KI im Unternehmen funktioniert und was es zu berücksichtigen gilt.

  Zum Einstieg: Die Use-Case-Triage hilft dabei, KI-Ideen zu sortieren, bevor aus einer langen Wunschliste ein unsteuerbares Portfolio wird.

  #EnterpriseAI

  
• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  1w ·

  „Der Prototyp funktioniert.” Das ist der Satz mit dem geringsten Aussagewert im gesamten Vorhaben.

  Ein PoC läuft unter Laborbedingungen: handverlesene Beispiele, saubere Testdaten, kein Zeitdruck und ein Team, das jede Ausgabe ohnehin gegenliest. Nichts davon gilt im echten Betriebsalltag.

  Technische Machbarkeit ist nicht dasselbe wie fachliche Einsatzreife. Wer beides verwechselt, zahlt den Unterschied meist mit einem verlorenen Quartal.

  Fünf Fragen entscheiden über den Erfolg – und zwar bevor die erste Zeile Code entsteht:

  1. Welche konkrete Aufgabe wird erledigt (statt: welche Technologie vorgeführt)?
  2. Wer nutzt das Ergebnis in welchem Arbeitsschritt?
  3. Welche Ausgabequalität macht das Ergebnis ohne Nacharbeit verwendbar?
  4. Was bleibt ausdrücklich Aufgabe des Menschen?
  5. Und wer verantwortet den Workflow über den gesamten Lebenszyklus?

  Hinter jeder Antwort muss eine namentlich benannte Person stehen, die entscheiden darf. Bleibt auch nur eine Frage offen, war der PoC keine Vorstufe zum Produkt – sondern reine Vorführung.

  Was ein PoC nicht beweist

  • 
  • 
  • 
  • 
  • 
• 

  bereit.ai

  Damit KI im Unternehmen funktioniert

  1w ·

  Der Pilot lief drei Monate. Dann zog das Projektteam ab – und der Workflow lief weiter, ohne dass jemand die Verantwortung übernahm.

  Ein Name auf einer Folie ist keine Ownership. Wer einen produktiven KI-Workflow verantwortet, braucht dreierlei: fachliche Entscheidungsbefugnis, verbindlich reservierte Arbeitszeit im Kalender und das uneingeschränkte Recht, das System im Zweifel sofort abzuschalten. Alle drei – zwei davon reichen nicht.

  Die IT-Abteilung kann diese Rolle nicht ausfüllen. Sie sichert Verfügbarkeit und Schnittstellen, nicht die inhaltliche Richtigkeit. Eine Abteilung als Ganzes kann es auch nicht: Im Ernstfall ist dort niemand persönlich greifbar.

  Bleibt die unangenehme Konsequenz: Findet sich im Fachbereich niemand, der die Ownership dauerhaft übernimmt, geht der Workflow nicht in Betrieb. Ein fehlender Owner ist kein organisatorisches Detail für später – er ist der klare Beleg, dass das Ergebnis in der Praxis niemand wirklich braucht.

  Wer besitzt den Use-Case?

  • 
  • 
  • 
  • 
  • 
• 

  Sebastian Stöhr

  Turning Enterprise AI from pilots into practice | Sr. Advisor AI Transformation

  1w ·

  Your AI agent can retrieve the right document and still make the wrong decision.

  A bigger index helps it find relevant material. It says nothing about whether that material still holds.

  Take a process document that outlived a reorg. The route it describes was replaced months ago. The person named in it as owner moved to another team. Nobody noticed, because nobody reads it. The agent reads it every time, and reads it as current, because nothing in the document says otherwise.

  If two sources conflict, the agent does not have organizational context. It has a guessing problem.

  That is why agent-ready knowledge needs more than documents. It needs an operating contract:

  • Every source states whether it is current, and who owns it today.
  • Scope is explicit: what the document covers, and what it deliberately does not.
  • Decision boundaries name the point where the agent stops, and who it escalates to.
  • A correction loop exists, so a gap the agent surfaces gets fixed instead of worked around.

  Before an agent acts on a document, three answers should be available to it: whether this is the current source, who owns it, and where a doubt escalates.

  A pure search index gives you none of the three.

  #EnterpriseAI#KnowledgeManagement

  Agent-ready knowledge is more than searchable knowledge

  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
  • 
• 

  Sebastian Stöhr

  Turning Enterprise AI from pilots into practice | Sr. Advisor AI Transformation

  1w ·

  Most prompt libraries fail quietly.

  Nothing is broken. They are just not used.

  The same happens to evaluation sets, reusable skills, agent templates, and approved examples.

  A central library is useful. But publishing assets is only the supply side of the problem.

  When reuse is harder than rebuilding, teams rebuild.

  For a shared asset to become part of daily work, teams need a path to:

  1. discover it in the context of a real workflow
  2. select it with clear boundaries and ownership
  3. adapt it without changing the parts that must remain stable
  4. validate it against representative cases
  5. contribute improvements back
  6. retire it when it no longer deserves trust

  Without that path, people copy old prompts from chats, rebuild the same workflow, and leave useful evaluation sets with the team that created them.

  Which shared AI asset in your organization is technically available but operationally invisible?

  #EnterpriseAI#EngineeringLeadership