Quality- und Testmanager Full Stack KI-Systeme

Beschreibung

Job Zusammenfassung In dieser Rolle analysierst du die Leistung von KI-Systemen, entwickelst Tests für KI-Anwendungen und sicherst die Qualität über den gesamten Lebenszyklus durch automatisierte Tests, Berichte und Logging-Mechanismen. Job Zusammenfassung In dieser Rolle analysierst du die Leistung von KI-Systemen, entwickelst Tests für KI-Anwendungen und sicherst die Qualität über den gesamten Lebenszyklus durch automatisierte Tests, Berichte und Logging-Mechanismen. Deine Rolle im Team Monitoring Performance- und E2E-Monitoring, Auswertung von Antwortzeiten, Tracing Alerting über die gegebene Infrastruktur Erstellung von technischen und fachlichen Dashboards zur Überwachung aus Auswertung Konzeption und Umsetzung von Logging-/ Audit-Mechanismen Sicherstellung kontrollierter KI-Ausgaben und Nachverfolgbarkeit QS-Management und Testkonzepte Konzeption, Dokumentation und Durchführung von Maßnahmen zur Sicherstellung hoher Qualität über den gesamten Lebenszyklus Dokumentation der etablierten Prozesse, Maßnahmen, Werkzeuge und Artefakte zur Qualitätssicherung (z.B. Testkonzept, Testhandbuch) Unterstützung bei der kontinuierlichen Qualitätssicherung im CI/CD-Prozess (z.B. automatische Smoke-Tests, Nightly Builds) Erstellung von Berichten und Analysen zur Entscheidungsunterstützung Konzeption und Umsetzung von Logging- und Audit-Mechanismen Anforderungsbezogene QS / Testdatengenerierung Unterstützung bei der funktionalen und technischen Anforderungsspezifikation, -dokumentation und Validierung Konzeption und Erstellung von Testdaten (Gold-Standard) zur Definition und Verifikation von Qualitätsstandards der Konversation Unterstützung beim Aufbau redaktioneller Qualitätssicherung (Tonalität, Verständlichkeit, Nutzungsadäquanz) Konzeption, Umsetzung und Durchführung von Tests Unterstützung bei der Umsetzung von Komponententest (Modul- und Unit-Tests in React, Java, Python) Unterstützung bei der Umsetzung von Schnittstellentests (PACT, OpenAPI) Konzeption und Umsetzung von Integrationstests Konzeption und Umsetzung automatisierter End-to-End-Tests (Catchpoint) Konzeption und Umsetzung automatisierter Oberflächentests Konzeption, Dokumentation und Durchführung risikobasierter Tests KI-spezifische QS Konzeption und Umsetzung ML- und LLM-spezifischer Tests (z.B. Prompt-Stabilität, Regression, Antwortverhalten) GenAI-Pentesting, Vermeidung von Prompt-Injection Simulation und Validierung dialogischer Kontexte (z.B. Übergänge regelbasiert/generativ) Analyse und Bewertung generativer Antworten (z.B. Relevanz, Konformität) Validierung und Nachverfolgbarkeit von KI-Ausgaben inkl. Logging und Audit-Trails Usability, Barrierefreiheit und Performanz Konzeption, Durchführung und Evaluation von Usability-Tests mit Zielgruppe(n) Vorbereitung und Begleitung von Usability- und Accessibility-Tests (BITV 2.0) Konzeption, Vorbereitung und Begleitung von Last- und Performance-Tests Konzeption und Umsetzung technischer und fachlicher Reporting-Dashboards sowie Alerting (z.B. Grafana, Loki) Übergabe in den Linienbetrieb Vollständige Dokumentation aller Artefakte und Ergebnisse Qualitätssicherung der technischen und fachlichen Lieferartefakte Aufbau und Übergabe von Betriebs- und Wartungskonzepten inkl. Störfallmanagement und Eskalationswegen Durchführung von Workshops, Schulungen und Übergabegesprächen mit dem Linienbetriebsteam Übergabe von CI/CD-Pipelines und Deployment-Skripten, sowie Monitoring- und Logging-Strukturen an die Betriebsverantwortlichen Erstellung eines Übergabeberichts mit Handlungsempfehlungen und Dokumentation offener Punkte Detaillierte Spezifikation die zur Ausschreibung/Beschaffung von betrieblichen Leistungen geeignet sind Unsere Erwartungen an dich Qualifikationen Muss-Kriterien: Gute Kenntnisse in ISO 25010 Kenntnisse in Testautomatisierung und Konzeption von Testautomatisierung Additiv die gängigen Voraussetzungen eines Testmanagers Erfahrung Nachweisliche Erfahrung im Test von KI-Anwendungen Sehr gute Erfahrung mit NFR Reviews Benefits Work-Life-Integration ⏰ Flexible Arbeitszeiten 🏠 Home Office Gesundheit, Fitness & Fun ♿️ Barrierefreiheit Themen mit denen du dich im Job beschäftigst Machine Learning AI Metadaten Level: Erfahren Job Feld: IT, DevOps, Test/QA Anstellung: Teilzeit / Vollzeit Vertragsart: Freiberufler Arbeitsmodell: Hybrid, Onsite Unternehmenstyp: Recruiting Agentur Branche: Internet, IT, Telekom Ort: Nürnberg | Deutschland

Tech Stack