Wie wähle ich das passende KI-Tool für eine Aufgabe aus?

Den einen, universell besten KI-Assistenten gibt es nicht. Der Lehrgang Manager für KI-Kompetenzen setzt deshalb nicht auf die Empfehlung eines Produkts, sondern auf eine Entscheidungshilfe: die Aufgaben-Tool-Matrix.

Warum Ranglisten kein Gesamturteil liefern

Wer Modelle vergleicht, stößt schnell auf Ranglisten. Zwei Messmethoden solltest du auseinanderhalten:

• Präferenz-Ranglisten wie die Chatbot Arena: Menschen vergleichen Antworten paarweise und stimmen ab, welche sie besser finden („Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference“, Chiang et al., 2024). Das misst, was Menschen bevorzugen. Der Lehrgang warnt: Eine eloquente, aber falsche Antwort kann gegen eine trockene, korrekte gewinnen.

• Aufgaben-Benchmarks wie MMLU: Der Test prüft die Genauigkeit eines Modells über 57 Fachgebiete („Measuring Massive Multitask Language Understanding“, Hendrycks et al., 2020). Der Lehrgang weist darauf hin, dass Ergebnisse nur zusammen mit Testsetup und Modellversion aussagekräftig sind.

Keine der beiden Messungen ergibt ein objektives Gesamt-Ranking. Der typische Fehler: Du setzt bei harter Recherche auf das Modell mit der besten Beliebtheitsplatzierung, obwohl diese Rangliste menschliche Präferenzen abbildet und keinen eigenständigen Nachweis der Faktengenauigkeit liefert. Auch die Neigung zu Halluzinationen unterscheidet sich zwischen Modellen. Solche Werte hängen von Modellversion und Testverfahren ab, deshalb nennt dieser Beitrag keine.

Die Aufgaben-Tool-Matrix: vier Felder

Frag dich vor jedem Prompt: Geht es um sprachliche Formung oder um harte Fakten? Dann ordnest du die Aufgabe einem Feld zu:

• Text- und Logikarbeit: große Allround-Modelle, zum Beispiel Gedanken strukturieren oder Texte umschreiben.

• Fakten-Recherche: Spezial-Werkzeuge, die externe Quellen einbeziehen (Grounding), zum Beispiel über RAG, etwa um aktuelle Studien zu suchen. Wie du dabei erfundenen Quellen entgehst, steht im Beitrag Wie recherchiere ich mit KI, ohne auf erfundene Quellen hereinzufallen?

• Visuelle Generierung: spezifische Bildmodelle, zum Beispiel Konzept-Grafiken erstellen.

• Unternehmensdaten: abgesicherte Unternehmenslösungen, zum Beispiel E-Mails analysieren.

Moderne Aufgaben koppeln oft mehrere Werkzeuge. In manchen Systemen „malt“ ein Textmodell nicht selbst, sondern erzeugt aus deinem Konzept einen Bild-Prompt und übergibt ihn an ein Bildmodell. Das Ergebnis hängt dann auch vom Bildmodell ab, nicht nur vom Textmodell.

In drei Schritten zu deiner persönlichen Matrix

Sammle drei bis fünf Aufgaben, die du am häufigsten erledigst, und gehe für jede so vor:

• Aufgabe benennen: so konkret wie möglich. Nicht „schreiben“, sondern „Transkripte von Kundeninterviews zusammenfassen“.

• Datensensibilität bewerten: Das ist der wichtigste Filter. Der Lehrgang unterscheidet öffentliche Daten, echt anonymisierte Daten, personenbezogene Daten (auch pseudonymisierte) und Geschäftsgeheimnisse. In seiner vereinfachten Vorauswahl gelten die ersten beiden als unkritisch, die letzten beiden gehören in ein intern freigegebenes Tool. Das ist eine Orientierung, keine rechtliche Bewertung deines Einzelfalls, und auch bei öffentlich zugänglichen Daten prüfst du betrieblich, was erlaubt ist. Mehr dazu im Beitrag Was darf ich in einen KI-Prompt eingeben?

• Tool und Modell zuordnen: Erst wenn die Datenfrage geklärt ist, entscheidet die Aufgabe über das Werkzeug. Bei Programmieraufgaben kann ein auf Code spezialisiertes Modell besser passen als ein reines Textmodell.

Ein Beispiel aus dem Lehrgang mit drei Aufgaben:

• Markttrends für einen Blogbeitrag recherchieren: öffentliche Daten, ein öffentliches Allround-Werkzeug. Weil es um Fakten geht, prüfst du die Quellen nach.

• Python-Skript zur Datenbereinigung entwerfen, ohne echte Daten: interne Arbeitsdaten ohne Personenbezug (und ohne Geschäftsgeheimnisse), ein Account mit Opt-out vom Modelltraining und ein Modell, das in Entwickler-Benchmarks stark abschneidet.

• Kundeninterview mit Gesundheitsdetails zusammenfassen: hochsensible personenbezogene Daten, ein intern freigegebenes Tool mit Auftragsverarbeitungsvertrag, dessen Zulässigkeit dein Datenschutz prüft. Identifizierende Angaben ersetzt oder entfernst du vorab. Das allein ist keine echte Anonymisierung, der Personenbezug kann bestehen bleiben.

Ein Opt-out kann je nach Anbieter und Einstellung die Nutzung fürs Modelltraining ausschließen, nicht aber die Übermittlung der Daten an den Anbieter. Deine Aufgaben sehen anders aus, die Logik der Zuordnung bleibt gleich.

Mit einer fertigen Matrix entscheidest du im Alltag schnell und nachvollziehbar statt aus dem Bauch. Die Ergebnisse prüfst du trotzdem: Wie prüfe ich, ob eine KI-Antwort stimmt?

Dieser Beitrag ordnet eine Methode ein und ersetzt keine Rechtsberatung. Welche Tools du nutzen darfst, entscheidet dein Unternehmen.

Quellen: Chiang et al., „Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference“ (2024, arXiv 2403.04132); Hendrycks et al., „Measuring Massive Multitask Language Understanding“ (2020, arXiv 2009.03300). Kursinhalt: Lehrgang Manager für KI-Kompetenzen, Modul 3, Lektion „Die Aufgaben-Tool-Matrix“ und Übung „Deine persönliche Aufgaben-Tool-Matrix“.