Große Tech-Unternehmen wie Google und Meta haben sich in den letzten Jahren verstärkt mit KI-Musik beschäftigt. Google hat ein Modell namens MusicLM entwickelt, das neue Musik aus Texteingaben generieren kann. Meta hat kürzlich seinen eigenen Text-zu-Musik KI-Generator MusicGen vorgestellt, der auf 20.000 Stunden lizenzierter Musik trainiert wurde. Nun tritt auch Microsoft in dieses Spielfeld ein und entwickelt einen KI-Rap-Generator namens DeepRapper
Microsofts Engagement in KI-Musik
Microsoft betreibt ein umfangreiches Forschungsprojekt namens ‘Muzic’. Es widmet sich der KI-Musik und reicht von KI-gesteuerter Text-zu-Musik-Generierung über Lyrik-Generierung bis hin zum Songwriting. Muzic wurde 2019 gegründet und ist Teil der ‘Deep and Reinforcement Learning Group’ bei Microsoft Research Asia (MSR Asia) in China. Dieses Forschungszentrum beschäftigt sich mit grundlegender und angewandter Forschung in Bereichen, die für Microsofts langfristige Strategie und zukünftige Computer-Vision zentral sind.
DeepRapper: Ein Durchbruch in der KI-gesteuerten Rap-Generierung
Im Jahr 2021 entwickelten die Forscher von Muzic einen KI-gesteuerten ‘Rap-Generator’ namens DeepRapper. Laut den Forschern ist DeepRapper das erste KI-System, das Rap mit Reimen und Rhythmen erzeugt. Sowohl objektive als auch subjektive Bewertungen deuten darauf hin, dass DeepRapper kreative und hochwertige Raps erzeugt. Der Code für DeepRapper wurde auf GitHub veröffentlicht
Die Daten hinter DeepRapper Github
Um das DeepRapper-System zu erstellen, haben die Forscher einen “Daten-Mining-Pipeline” entwickelt, um ein großes Rap-Datenset zu sammeln. Dieses umfasst eine große Anzahl von Rap-Songs mit ausgerichteten Texten und rhythmischen Beats. Darüber hinaus haben sie ihre Daten-Mining-Pipeline verwendet, um zwei weitere Datensätze zu sammeln: Nicht-Rap-Songs mit ausgerichteten Beats und reine Texte. DeepRapper wurde in der “Vor-Trainingsphase” auf diesen beiden Datensätzen trainiert und anschließend auf den Rap-Songs mit ausgerichteten Beats weiter verfeinert
Ergebnisse und Auswirkungen
Die Forscher haben 5.000 zufällig generierte Samples erstellt, einige davon sind online einsehbar. Die generierten Samples waren in Mandarin, und Google Translate wurde verwendet, um die englischen Übersetzungen bereitzustellen. Die Forscher schließen daraus, dass DeepRapper hochwertige Raps mit guten Reimen und Rhythmen erzeugt
Weitere Forschungen und Projekte
Neben DeepRapper hat Microsoft auch ein US-Patent für einen “Voice Synthesized Participatory Rhyming Chat Bot”. Diese ‘Rap-Bot’-Technologie wurde von einer anderen Gruppe von Microsoft-Forschern in den USA erfunden. Der Chatbot könnte zum Beispiel in Rap-Battles eingesetzt werden und auf soziale Weise am Musikschaffensprozess teilnehmen. Dieses Patent wurde im April 2021 erteilt
Die Forscher bei Muzic haben auch an anderen Modellen gearbeitet, die sich auf die Synthese von Gesangsstimmen, auch bekannt als KI-gesteuerte Technologie zur Nachahmung der menschlichen Stimme, konzentrieren. Sie haben drei Arbeiten zur Synthese von Gesangsstimmen geschrieben. Die Ergebnisse zeigen, dass DeepSinger mit den rein aus dem Web abgeleiteten Gesangsdaten hochwertige Gesangsstimmen in Bezug auf Tonhöhenpräzision und Stimmennatürlichkeit erzeugen kann
Kontroversen und Herausforderungen
Die Verwendung von KI-Modellen zur Generierung von Musik wirft jedoch auch rechtliche Fragen auf, insbesondere in Bezug auf Urheberrechte. Da KI-Modelle auf umfangreichen Datenmengen trainiert werden, die oft aus dem Internet abgerufen werden, besteht die Gefahr, dass diese Modelle urheberrechtlich geschützte Musik verletzen. Dies ist ein Faktor, der von Musikrechteinhabern nicht besonders geschätzt wird. In diesem Zusammenhang ist die offene Erklärung des Microsoft-Teams über die Datenbeschaffung von DeepRapper bemerkenswert, obwohl diese nur für Forschungszwecke erfolgt
Insgesamt ist Microsofts DeepRapper ein spannender neuer Schritt in der Welt der KI-gesteuerten Musikgenerierung und zeigt das Potenzial von KI in der Musikindustrie.