In unserem Beitrag „KI im SAP-Consulting: Sind SAP-Consultants jetzt überflüssig?“ haben wir vier KI-Lösungen mit 17 Expertenfragen zum SAP Public Sector Management (PSM) getestet. Das Ergebnis für SAP Joule for Consultants (J4C) war ernüchternd: Die SAP-eigene KI beantwortete nur 8 von 17 Fragen korrekt. Die besten getesteten Lösungen kamen auf 12 richtige Antworten. Auch ein allgemeines KI-Modell ohne SAP-Spezialisierung erreichte 8 richtige Antworten.
Da J4C damit beworben wird, auf exklusivem SAP-Wissen aufzusetzen, wollten wir es genauer wissen. Wir haben nachgetestet: mit der neuen Expertenfunktion, ausführlicheren Antworten und zusätzlichem Fachwissen aus unserer PSM-Beratungspraxis.
So viel vorweg: Die Expertenrolle allein verbessert die fachliche Qualität nicht. Entscheidend ist das Wissen, das man der KI zur Verfügung stellt.
Was SAP Joule for Consultants kann und welche Funktionen wir getestet haben
SAP bietet mit Joule for Consultants eine eigene KI-Lösung an, die auf SAP-spezifisches Wissen ausgerichtet ist. Eine Web- beziehungsweise Ressourcensuche erfolgt automatisch; einbezogen werden dabei aber nur offizielle SAP-Quellen. SAP bietet außerdem eine Prompt-Bibliothek an, in der Favoriten markiert werden können. Jedoch können dort keine eigenen Prompts gespeichert werden.
Eine weitere Funktion ist der Expertenbereich: Hier können bestehende SAP-Experten übernommen oder eigene angelegt werden. Dabei hilft eine Starter-Vorlage. Zu den Beispielen zählen Experten für Utilities, Logistik oder Clean Core. Am ehesten lässt sich das mit Rollen oder benutzerdefinierten Systemprompts aus anderen KI-Tools vergleichen. Zusätzlich können einem Experten zusätzliche Dokumente angehängt werden: bis zu zehn Dateien pro Experte bei insgesamt 1 GB Speicherplatz über alle Experten hinweg.
Die Experten lassen sich aber keineswegs mit den beispielsweise von Claude bekannten Skills vergleichen: Wer also hofft, bestehende .skill-Dateien wiederverwenden zu können, wird aktuell enttäuscht. Markdown-Dateien hingegen können hochgeladen werden.
Die Neuerungen: Vom Chat zum eigenen Experten
SAP entwickelt J4C in kurzen Release-Zyklen weiter. Für unseren Test waren vor allem folgende Neuerungen relevant:
- Expert Workspace: Eigene Experten lassen sich mit Name, Beschreibung, bis zu drei Tags und benutzerdefinierten Anweisungen von bis zu 10.000 Zeichen konfigurieren. Angehängte Dateien stehen dauerhaft in allen Konversationen mit dem Experten zur Verfügung.
- Expert Library: Von SAP vorgefertigte Experten-Vorlagen, etwa für Clean Core, Finance oder Logistik, können übernommen und angepasst werden.
- Starter-Prompts: Pro Experte lassen sich bis zu vier vordefinierte Einstiegsfragen hinterlegen, um Konversationen schneller zu starten.
- KI-gestützte Überarbeitung: Über „Optimieren“ formuliert Joule die Anweisungen um. Mit „Mit eingegebenem Text vergleichen“ lassen sich die Änderungen nachvollziehen.
- Teilen und Exportieren: Kolleg:innen die Experten im selben J4C-Tenant teilen und exportieren.
- Custom Knowledge Grounding: Auf Tenant-Ebene kann J4C zusätzlich an unternehmenseigene Inhalte angebunden werden, etwa aus SharePoint, Amazon S3 oder SAP Build Work Zone. Diese Option haben wir in unserem Test jedoch nicht genutzt.
- Komfortfunktionen: Dazu gehören ein Prompt Guide mit Best Practices, Quick Links sowie die Möglichkeit, bereits gesendete Prompts nachträglich zu bearbeiten.
Unser Versuchsaufbau: Ein SAP-PSM-Experte für den deutschen Markt
Den Experten haben wir – passend zum Thema – mit J4C selbst erstellt. Als Grundlage diente die von SAP vorgegebene Struktur für benutzerdefinierte Anweisungen, unter anderem zu Rolle und Aufgabenbereich sowie Vorgehen und Struktur. Ergänzt haben wir unsere eigenen Anforderungen: Antworten auf Deutsch, auf Executive-Consultant-Niveau und mit klarem Fokus auf den deutschen öffentlichen Sektor – inklusive der Haushaltsgrundsätze nach BHO/LHO und der SAGA-Standards.
Die resultierenden Anweisungen umfassen rund 5.300 der möglichen 10.000 Zeichen. Dazu kamen Tags für Haushalts-, Fonds- und Grantsmanagement sowie Starter-Prompts, etwa zur Umstellung auf das Budget Control System (BCS).
Anschließend haben wir J4C in drei Stufen dieselben 17 Fragen wie in unserem ersten Test gestellt. Diesmal galt die Vorgabe, pro Frage mit bis zu fünf Zeilen zu antworten. In unserem ersten Test waren die Antworten auf bis zu zwei Zeilen pro Frage begrenzt.
- Ohne Experten.
- Mit aktiviertem SAP-PSM-Experten.
- Mit SAP-PSM-Experten und zusätzlichen Anhängen: neun Markdown-Dateien mit insgesamt rund 207 KB. Diese haben wir mit Claude auf Grundlage unseres adesso-SAP-PSM-Wissens entwickelt – konkret aus unserem Claude-Skill „SAP PSM Consultant“. Dessen SKILL.md und Referenzdateien decken unter anderem Budgetierung, Stammdaten, Customizing, Fördermittel, Integration, BAdIs sowie Berichtswesen ab.
Das Ergebnis: Die Expertenrolle allein reicht nicht – das Wissen macht den Unterschied
Bewertet wurden die Antworten wie im ersten Test anhand derselben Musterlösungen. Die folgende Übersicht zeigt die Anzahl richtiger Antworten je Variante:
| Variante | Richtige Antworten (von 17) |
| SAP J4C (erster Test) mit bis zu zwei Zeilen pro Frage | 8 |
| SAP J4C mit bis zu fünf Zeilen pro Frage | 8 |
| SAP J4C mit SAP-PSM-Experte, mit bis zu fünf Zeilen pro Frage | 8 |
| SAP J4C mit SAP-PSM-Experte und adesso-Wissen als Anhang | 12 |
Weder die längeren Antworten noch der Experte allein verbesserten das Ergebnis. Die Antworten waren zwar strukturierter und enthielten Zusammenfassungen, Analysen der PSM-Komponenten, Hinweise zu Risiken und Konfigurationspfaden. Inhaltlich blieben die Fehler aber bestehen. Durch die professionelle Aufbereitung wirkten falsche Antworten teilweise sogar noch überzeugender.
Erst mit den Anhängen legte J4C deutlich zu: Mit 12 von 17 richtigen Antworten erreichte es das Niveau der besten Lösungen aus dem ersten Test. Vier zuvor falsch beantwortete Fragen waren nun richtig: zu den Stammdaten im Fördermittelmanagement (Grantee), zur Kombinierbarkeit von klassischer Budgetierung und Grantee Management, zu den Customizing-Schritten des BCS sowie zu Budgetunterarten im BCS.
Besonders deutlich zeigt sich der Effekt bei der Frage, ob sich klassische Budgetierung und Grantee Management kombinieren lassen. Ohne Anhänge hielt J4C beide Budgetierungsansätze für grundsätzlich kombinierbar. Mit Anhängen lautete die Antwort korrekt: „Nein – das Grantee Management setzt zwingend das BCS voraus, und unter S/4HANA ist die klassische Budgetierung ohnehin abgekündigt.“
Ähnlich verhielt es sich bei den Budgetunterarten: Zuvor bejahte J4C Budgetunterarten im BCS und untermauerte die Aussage mit erfundenen Beispielen. Mit Anhängen erklärte J4C korrekt, dass die Budgetunterart der klassischen Budgetierung im BCS durch kundendefinierte Budgetarten ersetzt wird.
Einige Fragen wurden in keiner Variante richtig beantwortet, etwa zur Fortschreibung von Buchungen zwischen zwei Finanzpositionen mit Finanzvorgang 30, zur PAYAC oder zu verbotenen Geschäftsvorfällen. Hier zeigt sich: Auch gut aufbereitetes Grundlagenwissen ersetzt tiefes Projekt- und Detailwissen nicht vollständig.
Grenzen im Praxistest
Auf dem Weg zum besseren Experten sind wir auf einige Grenzen gestoßen:
- Begrenzte Zahl an Anhängen: Maximal zehn Dateien pro Experte und 1 GB Speicher über alle Experten hinweg. Wer einen umfangreichen Skill mit vielen Referenzdateien mitbringt, muss die Inhalte konsolidieren.
- Keine direkte Skill-Nutzung: Skills, wie man sie aus anderen KI-Tools kennt, lassen sich nicht direkt verwenden. Ihre Inhalte müssen als Markdown-Dateien hochgeladen werden. Die Steuerungslogik eines Skills, also wann welche Referenz herangezogen wird, geht dabei verloren.
- Verarbeitungszeiten und Timeouts: Während Änderungen verarbeitet werden, ist ein Experte schreibgeschützt. Bei längeren Sitzungen kam es zudem zu Zeitüberschreitungen und Sitzungs-Timeouts.
Die Nutzer können den selbst erstellten Experten direkt testen. In unserem Test passierte aber sehr häufig nichts: von Joule kam die Anzeige „Nachdenken“, aber auch nach vielen Minuten war Joule nicht eingabebereit. Häufig kam es dann zu einem Timeout.
Fazit: Im Praxistest macht kuratiertes Wissen den Unterschied
Unser Test zeigt: Die Expertenfunktion in SAP Joule for Consultants ist ein sinnvolles Feature, aber kein Selbstläufer. Eine Rolle oder ein Systemprompt allein verbessert die fachliche Qualität in unserem Test nicht automatisch. Den Unterschied macht kuratiertes Expertenwissen: Mit den adesso-PSM-Inhalten als Anhang erreichte J4C in unserem Test das Niveau der besten Lösungen aus unserem vorherigen SAP PSM-Test. Das verfügbare SAP-Wissen allein genügte bei unserem Fragenkatalog also nicht. Offen bleibt, ob sich der zusätzliche Aufwand für die Aufbereitung des Wissens angesichts der vergleichsweise hohen Lizenzkosten von J4C lohnt.
Für Kunden und Beratungen heißt das: Der Mehrwert entsteht dort, wo sie geprüftes Projektwissen strukturiert aufbereiten und der KI zur Verfügung stellen – ob als Anhang in J4C, als Skill oder in einer eigenen KI-Lösung. Genau dieses Wissen bleibt der Kern guter SAP-Beratung – und bildet für adesso business consulting die Grundlage, KI in SAP-Projekten fachlich fundiert und mit echtem Mehrwert einzusetzen.
