Дослідники Google створили модель MusicLM, яка за допомогою «штучного інтелекту» може генерувати хвилинні музичні твори за текстовими підказками. Система також здатна перетворювати просвистілу або наспівану мелодію в інші інструменти. Про це написали в матеріалі видання The Verge.

Наразі компанія завантажила лише фрагменти, створені за допомогою цієї моделі.

Серед прикладів є 30-секундні фрагменти створені з абзацних описів, які визначають жанр, атмосферу та навіть певні інструменти, а також п’ятихвилинні твори, створені з одного чи двох слів, як-от «мелодійне техно». 

Автор статті зазначив, що на демонстраційному сайті також представлені 10-секундні фрагменти  музичних інструментів, які створила програма. Однак не всі з них відтворені вдало. 

«MusicLM може навіть імітувати людський вокал, і, хоча він, здається, правильно відтворює тон і загальне звучання голосів, але вони звучать зернисто або статично», — додали у виданні.

Окрім цього, сайт демонструє аудіо, в якому хтось наспівує або насвистує мелодію, а потім дає змогу почути, як модель відтворює це як електронний синтезатор, струнний квартет, гітарне соло тощо. 

Наразі модель можуть використовувати лише ті, хто створює музичні системи ШІ. Google публічно оприлюднив набір даних із приблизно 5500 пар поєднання музики й тексту, який може допомогти розробникам під час навчання та оцінювання інших музичних систем.

Нагадаємо, Google навчився розшифровувати поганий почерк лікарів. Нова функція з'явиться в Google Lens та працюватиме на основі штучного інтелекту.

Ілюстрація: Google