Maschinelles Lernen treibt die neuen Musikklänge von NSynth Super an

Schauen Sie, was die Leute von Project Magenta gemacht haben. Nach der Erstellung des NSynth-Algorithmus haben sie eine Maschine entwickelt, die als Instrument dient und als physikalische Schnittstelle für den NSynth-Algorithmus fungiert.

Worum geht es also bei der Maschine und dem Algorithmus?

Zunächst einmal ist Magenta ein Projekt in Google. Es konzentriert sich auf Werkzeuge für maschinelles Lernen, die Künstlern helfen, Kunst und Musik auf neue Weise zu erschaffen. Sie waren mit Google Creative Labs beschäftigt, um das NSynth Super-Instrument zu entwickeln. So können Musiker jetzt Musik mit Klängen machen, die durch den NSynth-Algorithmus aus vier verschiedenen Quellklängen erzeugt werden.

NSynth Super hat einen Touchscreen: Sie können Ihre Finger darüber ziehen, um Sounds abzuspielen.

(NSynth ist die Abkürzung für “Neural Synthesizer”. NSynth verwendet ein tiefes neuronales Netzwerk, um die Eigenschaften von Klängen zu lernen und basierend auf diesen Eigenschaften neue Klänge zu erzeugen.)

Google hat am Dienstag ein Video gepostet und Sie können das Instrument in Aktion sehen und hören. Der in London ansässige Produzent Hector Plimmer erforschte Klänge, die vom NSynth-Algorithmus für maschinelles Lernen erzeugt werden. ich

NSynth Super kann über jede MIDI-Quelle wie DAW, Sequenzer oder Keyboard gespielt werden. (DAW ist eine digitale Audio-Workstation. MIDI steht für Musical Instrument Digital Interface.)

Wie funktioniert dieses Instrument eigentlich? In einem Experiment wurden 16 Original-Quellsounds über einen Bereich von 15 Tonhöhen in einem Studio aufgenommen und dann in den NSynth-Algorithmus eingegeben, um die Sounds vorzuberechnen. Die Ausgaben, über 100.000 neue Sounds, wurden in den Experience Prototyp geladen. Jedem Regler wurden 4 Quellklänge zugewiesen. Mit den Drehreglern können Musiker die Quellklänge auswählen, zwischen denen sie erkunden möchten, und ihren Finger über den Touchscreen ziehen, um durch die Klänge zu navigieren, die die akustischen Qualitäten der 4 Quellklänge kombinieren.

Bei DJ Mag, wurde die Nachricht in einen “neuen Touchscreen-Hardware-Synth auf KI-Basis” übersetzt. Den Zuschauern wurde gesagt, dass “NSynth Super eine neue Technologie verwendet, um Sounds und Texturen zu kombinieren.”

Declan McGlynn in DJ Mag betrachtet, was diesen Ansatz besonders macht. “NSynth interpretiert die Klänge als Zahlen und generiert mathematisch eine neue Reihe von ‘Zahlen’, die dann wieder in Klänge umgewandelt werden.”

Man könnte fälschlicherweise annehmen, dass dieser Ansatz nur Sounds mischt. Chris Davies in SlashGear erklärt, was an den Sounds “neu” ist: “Kurz gesagt, es nimmt die Kernaspekte verschiedener Sounds und erzeugt dann neue Klangfarben und Dynamiken, die mit einem traditionellen analogen oder digitalen Synthesizer schwer oder gar nicht zu erzeugen wären.”

Was sind einige Beispiele dafür, wie sich das abspielt? McGlynn: “Sounds beinhalten den Motor eines Autos in Kombination mit einer Sitar, einen Basssound, der sich mit Donner verwandelt und vieles mehr. Das Ergebnis ist eine wirklich einzigartige Ausgabe, wobei die neue Hardware es dem Benutzer ermöglicht, zwischen vier Sounds auf einem farbenfrohen X/Y-Pad zu wechseln. “

Was kommt als nächstes? Es ist nicht so, als ob Sie in ein Geschäft gehen und dies in einem Regal finden könnten. Trotzdem befinden sich die Code- und Designdateien auf GitHub. Chris Davies sagte: “Google veröffentlicht NSynth Super auch als Open-Source-Projekt. Dazu gehört nicht nur die Softwareseite, die TensorFlow und openFrameworks verwendet, sondern auch die Schaltpläne und Designvorlagen für die Hardware.”

Davies fügte hinzu, Ihr NSynth Super sollte funktional identisch sein, auch wenn es möglicherweise nicht so stilvoll aussieht wie das von Google, je nachdem, wie viel Sie für Materialien ausgeben müssen und was Sie für die Herstellung des Gehäuses verwenden.

Daher steht die Open-Source-Version des NSynth Super-Prototyps einschließlich des gesamten Quellcodes, der Schaltpläne und Designvorlagen auf GitHub zum Download bereit.

Auf der Seite von GitHub heißt es, dass die Touch-Oberfläche ein kapazitiver Sensor ist, wie das Mauspad auf einem Laptop, um die neuen Klänge zu erkunden, die NSynth zwischen Ihrem ausgewählten Quellaudio erzeugt.

Auf der Seite von GitHub heißt es, dass das Gehäuse für die Elektronik mit einem Laserschneider hergestellt und mit Standardschrauben und -beschlägen zusammengehalten werden kann. Dieses Design ist mit verschiedenen Materialien, Farben, Zifferblättern und Formen anpassbar.


Leave a Comment