Doktorand*in im Bereich Evaluierung von KI-Systemen mit Schwerpunkt Benchma at GESIS – Leibniz-Institut für Sozialwissenschaften

Cologne, North Rhine-Westphalia, Germany -

Full Time

Start Date

Immediate

Expiry Date

06 Sep, 26

Salary

0.0

Posted On

08 Jun, 26

Experience

2 year(s) or above

Remote Job

Yes

Telecommute

Yes

Sponsor Visa

Skills

AI Benchmarking, Python, Natural Language Processing, Software Development, AI Evaluation, Large Language Models, Data Science, English Proficiency, German Proficiency, Performance Analysis, Reproducible Evaluation, Research Methodology

Industry

Research Services

Description

GESIS – Leibniz-Institut für Sozialwissenschaften ist eine von Bund und Ländern finanzierte, international tätige sozialwissenschaftliche Einrichtung der Leibniz-Gemeinschaft. Wir suchen zum 01. Oktober 2026 für den Standort Köln in der Abteilung Knowledge Technologies for the Social Sciences, Team Human Information Interaction eine*n Doktorand*in im Bereich Evaluierung von KI-Systemen mit Schwerpunkt Benchmarking(Entgeltgruppe 13 TV-L, Arbeitszeit 100%, befristet bis zum 31.12.2028 mit der Option auf Verlängerung) Die Abteilung Knowledge Technologies for the Social Sciences (KTS) forscht an der Schnittstelle von Information Retrieval, Natural Language Processing, semantischen Technologien und Human Information Interaction als Grundlage für innovative Webportale und Plattformen für die Suche und Nutzung von Forschungsdaten. Künstliche Intelligenz (KI) verändert den wissenschaftlichen Prozess in allen Disziplinen. Im Rahmen der Projekte NFDI4DS und BERD entwickeln wir Infrastrukturen, die Forschende dabei unterstützen, KI-Methoden verantwortungsbewusst einzusetzen. Dies umfasst die Festlegung fairer Benchmarking-Protokolle, die Gewährleistung einer transparenten Bewertung und Dokumentation von KI-Modellen und großen Sprachmodellen (LLMs) sowie die Pflege eines Repositoriums mit offenen, wiederverwendbaren KI-basierten Methoden. Ergänzend beiten wir entsprechende Schulungsmaterialien und Veranstaltungen an. In diesem Zusammenhang suchen wir eine*n motivierte*n Forscher*in, der*die diese Aktivitäten durch die Durchführung von Forschung in diesem Bereich unterstützt. Ihr Aufgabengebiet: Entwicklung, Implementierung und Bewertung von Infrastrukturen für den verantwortungsvollen Einsatz von KI in der Forschung, einschließlich Benchmarking-Protokollen, transparenter Bewertung und Dokumentation von KI-/LLM-Modellen KI-Modelle / LLMs für Forschungszwecke (“research co-pilots") trainieren und evaluieren, z.B. im Kontext der GESIS-Suche Durchführung von Forschung in den oben genannten Bereichen Publikation von Forschungsergebnissen Das lernst Du bei uns: Ihr Profil: Sehr guter Hochschulabschluss (Master/Diplom oder gleichwertig) in Informatik, Data Science oder einem verwandten Fachgebiet Erfahrung im Bereich KI-Benchmarking, einschließlich Metriken, reproduzierbarer Bewertungsabläufe und systematischer Leistungsanalysen Umfangreiche Erfahrung in der Softwareentwicklung mit Python, KI-Tools und NLP-Technologien Sehr gute Englischkenntnisse; gute mündliche und schriftliche Kommunikationsfähigkeiten in Deutsch sind wünschenswert Das bringst Du mit: Wir bieten: Möglichkeit zur Promotion an der Heinrich-Heine-Universität Düsseldorf unter der Betreuung von Prof. Dr. Stefan Dietze Flexible Arbeitszeiten und Regelungen zum mobilen Arbeiten Sehr gute Bedingungen für die Vereinbarkeit von Beruf und Familie u.a. durch Zuschüsse zur Betreuung von nicht schulpflichtigen Kindern Ganzheitliches Betriebliches Gesundheitsmanagement und die vergünstigte Teilnahme am Sportprogramm der Uni Großzügige Förderung Ihrer Altersvorsorge in Form einer Direktversicherung Förderung Ihrer Kompetenzen durch Weiterbildungsmaßnahmen Kontakt Für weitere Informationen zu den Aufgabengebieten wenden Sie sich bitte per E-Mail (Dagmar.Kern@gesis.org) oder Telefon +49 (221) 47694-536 an Dr. Dagmar Kern. Bei Fragen zum Bewerbungsprozess steht Ihnen Christine Laßmann per Email (Christine.Lassmann@gesis.org) zur Verfügung. Wir haben Dein Interesse geweckt? Wir haben Ihr Interesse geweckt? Dann bewerben Sie sich bitte bis einschließlich 29.06.2026 über unser Online-Bewerbungsportal. Die Kennziffer lautet: KTS-82 About us GESIS ist eine der weltweit führenden Infrastruktureinrichtungen für die Sozialwissenschaften und steht Forscher*innen mit Expertise und Infrastrukturangeboten auf allen Ebenen ihrer Forschungsprojekte zur Seite. Wir tragen dazu bei, dass gesellschaftlich relevante Fragen auf der Basis belastbarer Daten, neuester wissenschaftlicher Methoden und Forschungsinformationen beantwortet werden können. Wir helfen bei der Studienplanung und der Datenerhebung, bieten qualitativ hochwertige Forschungsdaten, unterstützen bei der Datenaufbereitung und -analyse sowie schließlich bei der Archivierung der Daten. GESIS unterstützt Sie dabei, sich weiter zu qualifizieren. Wir bieten unseren Mitarbeiter*innen ein breites Spektrum von Karrieremöglichkeiten in einer ansprechenden Arbeitsatmosphäre mit einem hohen Maß an Eigenverantwortung und Gestaltungsspielraum. Bei uns arbeiten Sie in einem internationalen Umfeld im Herzen von Mannheim und Köln und profitieren von einer flexiblen Arbeitsumgebung sowie internen und externen Netzwerken. GESIS gewährleistet die Beachtung der Schwerbehindertenrichtlinien und fördert die berufliche Gleichstellung von Frauen und Männern. In Vollzeit ausgeschriebene Stellen können auch in Teilzeit besetzt werden. Als familienfreundlicher Arbeitgeber tragen wir seit 2010 das Zertifikat audit „berufundfamilie“. Weitere Informationen zur Arbeit bei GESIS finden Sie hier.

Responsibilities

Develop and implement infrastructures for the responsible use of AI in research, focusing on benchmarking protocols and transparent documentation of LLMs. Train and evaluate AI 'research co-pilots' and publish research findings in the field of human information interaction.