Prof. Dr. Hans Uszkoreit
Gründer von UNICEPTA Corporate Intelligence und Wissenschaftlicher Direktor am DFKI
Potentiale großer Sprachmodelle
Eine neue Generation von mächtigen KI Systemen beruht auf großen vielseitig verwendbaren neuronalen KI Modellen, die durch systematisches Vortrainieren auf gigantischen generischen Datenbeständen ein implizites Wissens erreichen, das Umfang und Fundiertheit alle überwacht trainierten Modelle der bisherigen KI Anwendungen übertrifft. Spektakuläre Leistungsfähigkeit und besondere Bekanntheit haben große Sprachmodelle erlangt wie z.B. GPT-3, Wu Dao 2 und Gopher. Die Datenbestände für das Training können neben Texten auch Bilder oder Videos sein, aber auch generisches Wissen bestimmter Wissensdomänen repräsentieren, wie z.B. Gensequenzen oder Proteine mit Faltungen. Ein großes Potential liegt in der Nutzung von analogen Daten, die bedeutungsrelevant mit Sprachdaten verknüpft sind, wie z.B. Bilder und dazugehörige Textstücke, weil so Muster in Bildern, Tonaufnahmen, Videos semantisch interpretiert und mit Handlungen und Zwecken assoziiert werden können. Auch die Verknüpfung von Sprachdaten mit Wissensgraphen im Vortrainieren eröffnet interessante neue Anwendungen. Ich werde relevante Entwicklungen in dem Bereich der großen Sprachmodelle skizzieren, ihre Möglichkeiten und Grenzen besprechen und diese im Kontext der digitalen Kuratierungsanwendungen beleuchten.
Über Prof. Dr. Hans Uszkoreit
Prof. Dr. Hans Uszkoreit ist Gründer des KI-Startups GIANCE (jetzt UNICEPTA Corporate Intelligence) und Wissenschaftlicher Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) wo er den Forschungsbereich Sprachtechnologie und den Berliner Standort geleitet hat und heute Forschungskooperationen betreut. Uszkoreit ist seit über 35 Jahren in der KI Forschung aktiv. Er hat in Deutschland aber auch in den USA und in China gearbeitet – als Universitätsprofessor, Forschungsmanager, Industrieberater und Gründer bzw. Mitgründer mehrerer AI Startups. Er hat deutsche und internationale Forschungsverbünde initiiert und koordiniert und ist Autor von über 200 internationalen Publikationen.