KI-Implementierung im Mittelstand
Warum die meisten KI-Initiativen scheitern und wie der wertschöpfende Einsatz von Künstlicher Intelligenz gelingt
Die Adoption von Künstlicher Intelligenz ist in der deutschen Wirtschaft weit vorangeschritten, die Generierung von Wertschöpfung durch den Einsatz von KI-Anwendungen nicht. Über die Hälfte der Unternehmen setzt KI produktiv ein; nur ein knappes Zehntel kann einen Ergebnisbeitrag belegen. Diese Differenz hat keine technologischen Ursachen, sondern resultiert aus weit verbreiteten Führungs- und Umsetzungsdefiziten – und ist damit adressierbar.
1. Befund: hohe Nutzung, konzentrierte Wirkung
Das ökonomische Potenzial Künstlicher Intelligenz ist real und auf Ebene einzelner Arbeitsplätze messbar. In der Globalerhebung zum Thema von McKinsey aus 2026 (State of AI 2026, 1.719 Befragte aus 97 Ländern, Erhebungszeitraum Mai/Juni 2026) berichten 80 Prozent der Befragten eine Verbesserung ihrer persönlichen Produktivität, rund die Hälfte erkennt auch bessere Entscheidungen.
Auf Unternehmensebene bricht die Kette. Nur 37 Prozent der befragten Unternehmen schreiben KI einen positiven EBIT-Beitrag zu – gegenüber dem Vorjahr praktisch unverändert, obwohl der Anteil der Unternehmen mit unternehmensweiter Skalierung von 38 auf 44 Prozent gestiegen ist. Als High Performer, definiert über mindestens 5 Prozent EBIT-Beitrag bei zugleich als signifikant eingeschätzter Wirkung, qualifizieren sich sogar nur 6 Prozent der Unternehmen.
Die Zweitmessung von BCG (Build for the Future) kommt zu einer vergleichbaren Spreizung: 5 Prozent der Unternehmen realisieren substanzielle Wertbeiträge, 35 Prozent skalieren und beginnen Wert zu erzeugen, 60 Prozent berichten trotz erheblicher Investitionen kaum materiellen Nutzen. Die Spitzengruppe erreicht nach dieser Erhebung das Fünffache an Umsatzsteigerung und das Dreifache an Kostensenkung gegenüber dem Rest.
2. Situation in Deutschland: Breite erreicht, Tiefe offen
Nach der ifo-Konjunkturumfrage vom Mai 2026 setzen 54,5 Prozent der deutschen Unternehmen KI in ihren Geschäftsprozessen ein, nach 40,9 Prozent ein Jahr zuvor. Weitere 16 Prozent planen den Einsatz, 21,6 Prozent diskutieren ihn.
Drei Detailbefunde sind für mittelständische Entscheider bedeutsamer als die Schlagzeile:
Erstens die Größenlücke: Großunternehmen liegen bei 67,2 Prozent Nutzung, mittlere Unternehmen bei rund 47 Prozent. In der internationalen Erhebung zeigt sich dieselbe Asymmetrie bei agentischen Systemen: Große Organisationen haben ihren Skalierungsanteil binnen eines Jahres von 27 auf 40 Prozent gesteigert, kleinere verharren bei 22 Prozent.
Zweitens die Bezugsquelle: Rund drei Viertel der KI-nutzenden Unternehmen arbeiten mit kostenpflichtigen externen Lösungen, nur 18,7 Prozent entwickeln eigene Systeme. Wenn nahezu alle dieselben Modelle einkaufen, kann die Differenzierung nicht aus dem Modell kommen. Sie entsteht ausschließlich aus dem Prozess, in den es eingebettet wird.
Drittens die Kostenrealität: Nach der Bitkom-Erhebung 2026 berichten 33 Prozent der Anwender höhere Kosten als erwartet. International geben rund 20 Prozent der Befragten an, dass Betriebskosten einschließlich Token-Aufwand ihre Nutzung bereits begrenzen – bei gleichzeitig 60 Prozent, die ihre Investitionen weiter erhöhen wollen. Ein Kostenprofil, das erst nach dem Go-live sichtbar wird, ist im Mittelstand kein Ärgernis, sondern ein Liquiditätsthema.
Hinzu kommt eine Messlücke, die selten offen benannt wird: In deutschen Selbstauskünften berichtet rund die Hälfte der Anwender einen „messbaren Beitrag zum Unternehmenserfolg“, während in der methodisch strengeren EBIT-Abfrage nur gut ein Drittel eine Ergebniswirkung zuschreibt und lediglich 6 Prozent eine signifikante. Der Abstand zwischen beiden Werten ist die eigentliche Managementaufgabe.
3. Warum Vorhaben scheitern: selten am Modell, häufig an der Reihenfolge
BCG hat die Gewichtung früh formuliert und über Hunderte von Fällen belegt: rund 10 Prozent des Wertbeitrags entfallen auf Algorithmen, 20 Prozent auf Technologie und Daten, 70 Prozent auf Menschen und Prozesse. Die Mehrzahl der Programme dreht dieses Verhältnis um. Individuelle Produktivität folgt daraus leicht, organisatorische Ergebniswirkung nicht.
Die empirischen Unterscheidungsmerkmale der Spitzengruppe sind unspektakulär und durchweg nicht-technischer Natur:
- Workflow-Redesign statt Werkzeugeinbau. Knapp drei Viertel der High Performer haben Arbeitsabläufe grundlegend neu geschnitten, gegenüber einem Viertel der übrigen Unternehmen.
- Messung als Institution. Über 60 Prozent der führenden Unternehmen verfolgen Wertbeiträge systematisch, gegenüber 17 Prozent der stagnierenden. High Performer sind doppelt so häufig mit definierten Prozessen zur Wirkungsmessung ausgestattet.
- Führungsverantwortung statt Delegation. Ebenfalls doppelt so häufig berichten sie sichtbares Commitment der Geschäftsleitung. In der Nachzüglergruppe wird KI regelmäßig ins mittlere Management delegiert.
- Zielsetzung über Effizienz hinaus. Effizienz verfolgen beide Gruppen gleichermaßen; die Spitzengruppe ergänzt Wachstums- und Innovationsziele.
Daraus ergibt sich das typische Fehlerbild in der Praxis: Ein Werkzeug wird beschafft, weil der Markt es erwartet, nicht weil ein Engpass in Marge, Liquidität oder Durchlaufzeit definiert wurde. Defekte Prozesse werden automatisiert und damit skaliert. Change Management bleibt eine Schulungsfolie. Datenqualität, Rechte und Governance folgen als Nachtrag. Inferenz- und Betriebskosten werden nicht vorab modelliert. Und der Erfolg hat keine Baseline: Ohne Ausgangswert vor dem Go-live bleibt jeder Nutzen Behauptung.
Der regulatorische Rahmen ist dabei kein Nachtrag mehr. Die KI-Kompetenzpflicht des AI Act gilt seit Februar 2025, die Transparenzpflichten nach Artikel 50 seit dem 2. August 2026. Die Hochrisiko-Anforderungen nach Anhang III wurden im Zuge des Digital Omnibus auf Dezember 2027 verschoben, jene für KI in regulierten Produkten auf August 2028. Der gewonnene Zeitraum ist Vorbereitungszeit, keine Entwarnung. Parallel gelten die mitbestimmungsrechtlichen Anforderungen unverändert: Die Einführung überwachungsgeeigneter Systeme ist nach § 87 Abs. 1 Nr. 6 BetrVG zustimmungspflichtig, KI-bedingte Umstrukturierungen können eine Betriebsänderung nach § 111 BetrVG auslösen. Unternehmen, die diese Fragen erst nach der Systemauswahl adressieren, verhandeln aus der schwächeren Position und verlieren Monate.
4. Konsequenz für den Mittelstand
Budget, Datenlage und Führungsspanne erlauben im Mittelstand keine Dauerbaustelle. Ein gestoppter Pilot mit klarem Lerngewinn ist ökonomisch besser als ein stilles Produktivsystem ohne Kennzahl. Das führt zu vier Prüfsteinen, die vor jeder Werkzeugentscheidung zu klären sind:
- Problem vor Produkt. Welcher Engpass in Marge, Liquidität oder Durchlaufzeit soll adressiert werden – und um welchen Betrag?
- Wenige Fälle mit Eigentümer. Drei bis fünf Anwendungsfälle, je mit benanntem Verantwortlichen, dokumentierter Baseline und definiertem Abbruchkriterium. Erfahrungsgemäß entfällt der Großteil des Produktivitätspotenzials auf eine kleine Zahl von Anwendungsfällen; die Aufgabe ist deren Identifikation und Skalierung, nicht die Verbreiterung des Portfolios.
- Prozess zuerst, dann Werkzeug. Der Ablauf wird neu geschnitten, bevor das Modell eingesetzt wird. Andernfalls wird der bestehende Ablauf lediglich beschleunigt – einschließlich seiner Fehler.
- Vollkostenrechnung. Lizenz, Betrieb, Inferenz, Integration, Nacharbeit und Kontrolle gehören in denselben Business Case. Die Nacharbeitsquote ist der am häufigsten unterschätzte Posten.
Adoption ist dabei ein eigenes Vorhaben mit eigenem Budget, nicht ein Schulungstag. Datenschutz, Mitbestimmung und Haftungsfragen gehören in die Vorbereitung, nicht in die Nachbereitung.
