Synth Patch Generation - Evolutionary Approach
| Week & month | Goal |
|---|---|
| w1/02 | Test FFT algos in rust, try plotting them in real time in UI |
| w2/02 | Prepare any prototype of synth graph building UI |
Useful links
- AudioFlux - audio analysis toolkit
- Riven@XXIIV - UI design inspiration
- Neuroevolution of augmenting topologies, could be interesting for keeping the graph population diverse
- Sound comparison with MFCC
- Song fingerprinting - Chromaprint
- Rust FFT
- Learn what short term fourier transform is
- Similar papers
- Could be a good learning resource - works of Curtis Roads
- neural nets generating FM patches
- Physical modeling using digital waveguides
- Mutable Instruments' Elements DSP folder in their GitHub repo
- https://sweetcocoa.github.io/pop2piano_samples/
- Stable Riffusion
Todo: Read the now entry and restructure it
Random notes in polish for uni
Zastosowanie algorytmów genetycznych do budowy grafu reprezentującego szereg algorytmów DSP, syntezujących zadany dźwięk. Analiza hiperparametrów krytycznych dla skuteczności algorytmu.
Zakres prac:
- Napisanie aplikacji pozwalającej na dynamiczne budowanie grafów DSP i odsłuch generowanych przez nie dźwięków. Podobne istniejące już aplikacje (umożliwiające jedynie ręczną budowę grafów):
- Wykorzystanie algorytmu genetycznego do automatycznego wygenerowania grafu DSP syntezującego wybrany przez użytkownika dźwięk
- Porównanie skuteczności algorytmu w zależności od:
- zastosowanej funkcji kosztu:
- MFCC
- Porównanie wykresu spektrum audio w czasie (waterfall)
- Algorytmy do fingerprintingu audio: Chromaprint, inne rozwiązania opisane w Computer vision for music identification
- różnego podejścia do generowania grafu (parametry algorytmu genetycznego, użycie NEAT, jestem w trakcie szukania badań, w których wykorzystywano jakąś formę automatycznego generowania grafów, żeby się zainspirować)
Prace o podobnej tematyce:
- Automatic design of sound synthesizers as pure data patches using coevolutionary mixed-typed cartesian genetic programming
- Differentiable FM Synthesis of Musical Instrument Sounds
- ml-synth-preset-generator