Bau eines Chatbots und Erkennung chinesischer Musiknoten mit KI

Im vierten und letzten thematischen Wahlmodul beschäftigten sich die Teilnehmerinnen und Teilnehmer der KWF-Qualifizierungsprogramme Innovations.TALENT und Kooperations.TALENT Anfang März mit dem Thema »Daten & KI: Anwendungen«.

Am ersten Tag bauten die Teilnehmenden selbstständig einen Chatbot: Dazu legten die Vortragenden Harald Nezbeda (Anexia & FH Kärnten) und Philipp Hungerländer (Universität Klagenfurt) den Fokus zunächst auf den Aufbau einer Wissensbasis, wofür verschiedene Tools zur automatisierten Extraktion von Text aus Dokumenten, insbesondere das Erkennen von Text in Bildern mittels OCR (Optical Character Recognition), genutzt wurden. Danach setzten die Teilnehmenden mit Hilfe der Open-Source-Plattform Dify selbstständig einen einfachen KI-Workflow auf, bei dem die Wissensbasis mit einem Large Language Model (LLM) kombiniert wurde. Am Ende des ersten Tages konnten die erstellten Chatbots bereits Fragen zu unterschiedlichen Spezialbereichen beantworten – basierend auf öffentlichen Daten wie beispielsweise den FAQs oder Produktbeschreibungen der teilnehmenden Unternehmen.

Zum Start des zweiten Tages überraschte Tristan Repolusk (TU Graz & Know Center) die Runde mit seinem Vortrag zur Erkennung chinesischer Musiknoten mittels neuronaler Netze. Dabei schaffte er es einerseits die zugrundliegenden technischen und mathematischen Konzepte wie Faltungen und Convolutional Neural Networks (CNNs) sehr anschaulich zu erklären und andererseits gelang es ihm aufzuzeigen, dass sich die dieser humanistische Anwendung von KI zugrundeliegenden Methoden auch leicht auf industrielle Fragestellungen, wie beispielsweise sein aktuelles Projekt zur bildbasierten Fehlererkennung in Produktionslinien, übertragen lassen.
Die Teilnehmerinnen und Teilnehmer setzten anschließend mit Google Colab und der KI-basierten Code-Generierung von Gemini mehrere Use-Cases aus dem Bereich Bilderkennung und – klassifizierung selbständig um.  So trainierten sie etwa mit Hilfe des bekannten FashionMINST-Datensatzes ein neuronales Netz, das anschließend Bilder von Kleidungsstücken als Hose, T-Shirt oder Tasche klassifizieren konnte.

Zum Abschluss kamen die Teilnehmenden noch in den Genuss eines Live-Drohnenfluges von Lukas Wolbank (VUM Verfahren Umwelt Management GmbH) über die Kölnbreinsperre und das umliegende, beeindruckende Panorama. Dabei fertigte er ganz nebenbei Fotos einer ausgewählten Hangregion an, die zur Bestimmung der aktuellen Schneehöhen und somit zur Prognose des Wasserpotentials des Speichersees im Frühjahr genutzt werden.  »Erstaunlich war für mich, wie schnell Leute, die noch nie etwas mit einem neuronalen Netz zu tun hatten, mit Unterstützung von Gemini ihr erstes CNN erfolgreich trainieren konnten. Als Dozent habe ich das gleiche Fashion-MNIST-Beispiel Informatik-Studierenden beigebracht – was damals zwei Wochen brauchte, geht nun mit LLM-Unterstützung in zwei Stunden, obwohl die Teilnehmenden keinen Computer-Science-Background hatten. Welch spannende Zeit, in der wir leben!« zeigt sich Dominik Wurzer (KI-Experte bei applord Information Technologies) im Rahmen der finalen Feedback-Runde von der Geschwindigkeit der Entwicklungen im KI-Bereich beeindruckt.