Sentient: neurális hálóval tanuló AUv3 szinti iOS-re és macOS-re

A wavetable szintézisben ma már önmagában kevés az újdonság: a műfaj legismertebb hangszerei egyre nagyobb hullámforma-könyvtárakkal, modulációs rendszerekkel és vizuális szerkesztőkkel versenyeznek. Valery Mironov új Sentient szintetizátora ezért nem újabb wavetable-csomaggal próbál kitűnni, hanem azzal, ahogyan a hangszer saját alapanyagát létrehozza. A szeptember 12-én bemutatott AUv3 plugin neurális hálózattal elemzi a környezetéből érkező hangokat, majd ezekből alakít ki folyamatosan változó, személyes hangtérképet.

Mironov neve a Cellular szintetizátorból már ismerős lehet az iOS-es zenei alkalmazások követőinek. A Sentient azonban nem annak egyszerű továbbfejlesztése. A kiindulópont itt az, hogy a szintetizátor hallgatja és tanulja a környezetét, az elemzett hangminták tulajdonságait pedig egy neurális struktúrában rendezi el. Az eredményből olyan hullámformák választhatók ki, amelyek közvetlenül a felhasználó által betáplált vagy körülötte megszólaló hanganyagból származnak.

A gépi tanulást a Sentient nem rejti el egy háttérben futó „AI” gomb mögé. A kezelőfelület felső részén szemek jelenítik meg a neurális rendszer állapotát: amikor nyitva vannak, a hálózat tanul, becsukva pedig szünetel az elemzés. Hosszú érintéssel a folyamat azonnal leállítható. A vertikális mozdulat a tanulás sebességét szabályozza, a vízszintes húzás pedig azt, hogy az aktuális bemenetre legjobban reagáló neuron milyen mértékben befolyásolja a környezetében lévő neuronokat.

A különös vizuális nyelv valójában egy matematikai folyamatot próbál közvetlenül érthetővé tenni. Amikor a rendszer új hangot kap, megkeresi azt a neuront, amelynek meglévő reprezentációja legközelebb áll a bemenethez. Ez a „győztes” neuron módosul a legerősebben, míg a környezetében található egységek kisebb mértékben követik a változást. Így nem elszigetelt hangminták gyűjteménye keletkezik, hanem egy fokozatosan rendeződő hangtér, amelyben a hasonló karakterű hullámformák egymás közelébe kerülhetnek.

Ezt a tanulási folyamatot a Sentient szó szerint láthatóvá teszi. Az új információt befogadó neuronok „megduzzadnak”, a legerősebben reagáló egység pedig nagyobb lesz a környezeténél. A nyitott szemek száma és a pupillák szélessége szintén a rendszer aktuális működéséről ad visszajelzést. A megoldás játékos, de nem pusztán dekoráció: a hagyományos paraméterértékek helyett a hálózat viselkedését próbálja vizuális metaforákkal olvashatóvá tenni.

A következő szinten két rács jeleníti meg a hálózat két „féltekéjét”. Minden cella egy-egy neuronnak felel meg, és bármelyik közvetlenül kiválasztható. Ekkor a hozzá tartozó hullámforma narancssárga görbeként jelenik meg, így a felhasználó rögtön látja, milyen hangalakot tanult meg és tárolt az adott neuron. Innen már nincs éles határ az elemzés és a tényleges szintézis között: a neurális rendszer eredménye közvetlenül hangszeres alapanyaggá válik.

A Sentient egyik érdekesebb ötlete, hogy nemcsak a hálózat pillanatnyi állapotával lehet dolgozni. A „bolygós” kezelőszerv a rendszer memóriáját reprezentálja, és segítségével korábbi tanulási állapotok között lehet mozogni. Mentési, törlési és bezárási lehetőség is tartozik hozzá, vagyis egy érdekes környezeti hang elemzése után nem feltétlenül kell végleg elveszíteni egy korábbi neurális konfigurációt azért, mert a hangszer tovább tanult.

Még az idő megjelenítése is követi ezt a sajátos vizuális logikát. A hagyományos dátum- és órakijelzés helyett a sarló alakú árnyék a napszakot, a Hold helyzete a hónap aktuális napját, egy műhold pedig egy ISS-szerű keringési periódust jelképez. Ezek a részletek kevésbé a szintézis technikai oldaláról szólnak, inkább arról, hogy Mironov a Sentientet hagyományos plugin helyett önálló digitális tárgyként próbálta megtervezni.

A neurális réteg alatt már ismerősebb szintetizátoros paraméterek következnek. Hat vezérlővel lehet belenyúlni többek között az oszcillátor hullámformájába, frekvenciájába és hangerejébe, valamint a moduláció mélységébe és sebességébe. Ez fontos része a koncepciónak: a Sentient nem pusztán neurális hanggenerátor vagy kísérleti audioinstalláció, hanem a megtanult hanganyagot klasszikus szintézisparaméterekkel tovább alakítható hangszerként kezeli.

A különbség a generatív AI-alapú zenei eszközökhöz képest is lényeges. A Sentient nem szöveges utasításból próbál kész dalt, akkordmenetet vagy produkciót létrehozni. A gépi tanulás itt jóval szűkebb szerepet kap: a felhasználó saját hanganyagának elemzését és rendezését végzi, miközben a zenei döntések továbbra is a zenésznél maradnak. Ebben az értelemben közelebb áll egy új mintavételi vagy oszcillátorkészítési módszerhez, mint a jelenlegi text-to-music rendszerekhez.

Ez egyben a Sentient legérdekesebb ígérete is. Két felhasználó ugyanazzal a szoftverrel elvileg egészen eltérő hangszert nevelhet fel attól függően, milyen zajokat, hangszereket, tereket vagy felvételeket enged megtanulni neki. A wavetable így nem gyári tartalomként érkezik, hanem a használat történetéből épül fel. A Sentient iOS-en és macOS-en AUv3 formátumban működik, tehát mobil és asztali produkciós környezetbe egyaránt beilleszthető.

A koncepció persze csak akkor lesz több látványos kísérletnél, ha a tanuló rendszerből valóban zeneileg használható és reprodukálható hangszínek születnek. De éppen ezen a ponton kínál mást, mint a wavetable szintik többsége: nem azt kérdezi, hány hullámformát lehet még egy szintetizátorba csomagolni, hanem azt, hogyan készíthetné el a hangszer a saját hullámformáit abból a világból, amelyet a felhasználó megmutat neki.

Egy mondatból VST: az AI Pluginlab megosztotta a szakmát – más irányból közelíti meg a mesterséges intelligencia és a zenei eszközök találkozását: itt már természetes nyelvből létrehozott pluginek kerültek a vita középpontjába.

AI a zenei produkcióban: algoritmusok vagy emberi kreativitás? – tágabb háttér arról, hol lehet a gépi tanulás valóban alkotói segédeszköz, és hol kezd átvenni kreatív döntéseket a zenésztől.