Τι είναι η Deepfake Music; Και Πώς Δημιουργείται;

Για πολύ καιρό, η μουσική ήταν σε θέση να αποφύγει τον κόσμο των deepfakes επειδή ήταν απλά πολύ περίπλοκο για να συνθέσει τη φωνή κάποιου. Όλα αυτά άλλαξαν με τις εξελίξεις στην τεχνολογία AI. Έχει οδηγήσει σε κλώνους φωνής διάσημων καλλιτεχνών που μπορούν να χρησιμοποιηθούν για την παραγωγή νέων φωνητικών κομματιών.

Καθώς τα εργαλεία τεχνητής νοημοσύνης γίνονται πιο προσιτά στους μέσους ανθρώπους, η deepfake μουσική είναι ένα αυξανόμενο πρόβλημα. Δείτε τι είναι και πώς δημιουργείται.

Η εξέλιξη της μουσικής Deepfake

Όταν ακούτε τον αγαπημένο σας καλλιτέχνη να τραγουδά στο Spotify ή στο YouTube, δύσκολα πιστεύετε ότι θα μπορούσε να είναι ψεύτικο, αλλά οι εξελίξεις της τεχνητής νοημοσύνης το έχουν κάνει πραγματικότητα. Εκτός από τις ψεύτικες εικόνες και τα βίντεο, υπάρχει και deepfake μουσική.

Τα εργαλεία τεχνητής νοημοσύνης μπορούν να αναπαράγουν πιστά τη φωνή ενός ατόμου εκπαιδεύοντας ένα μοντέλο τεχνητής νοημοσύνης σε δείγματα ήχου της φωνής του. Δημιουργημένοι από θαυμαστές του καλλιτέχνη ή από θαυμαστές της τεχνολογίας AI, περισσότεροι άνθρωποι προσπαθούν να δημιουργήσουν φωνητικά doppelgängers.

Οι άνθρωποι προσπαθούσαν να συνθέσουν τη φωνή χρησιμοποιώντας έναν υπολογιστή εδώ και χρόνια, από το 1961 όταν ο IBM 7094 ήταν ο πρώτος υπολογιστής που τραγούδησε. Μπορείτε να ακούσετε το φωνή που δημιουργείται από υπολογιστή που τραγουδά η Daisy Bell σε ένα κλιπ YouTube και προσπαθήστε να φανταστείτε πόσο καταπληκτική ήταν αυτή η στιγμή.

Γρήγορη μετάβαση στον 21ο αιώνα και η τεχνολογία AI έχει βελτιώσει την ποιότητα της συνθετικής φωνής και μας επέτρεψε να κάνουμε πράγματα που οι περισσότεροι από εμάς δεν πιστεύαμε ποτέ πιθανά μέχρι τώρα, όπως η κλωνοποίηση των φωνών των ανθρώπων.

Απλώς ρίξτε μια ματιά σε αυτό το κλιπ του Roberto Nickson που μεταμορφώνει τη φωνή του στον καλλιτέχνη και ράπερ Kanye West. Η παρακολούθηση του βίντεο είναι παράξενη, ακούγεται πραγματικά όπως ο Kanye, αλλά είναι επίσης άβολο να το παρακολουθήσετε. Χωρίς υπερβολική σκέψη για το πώς μπορεί να σκέφτεται ή να αισθάνεται ο καλλιτέχνης και χωρίς άδεια, θα μπορούσε να θεωρηθεί ότι οικειοποιείται τη φωνή κάποιου.

Σε αντίθεση με την απόδοση σε υπολογιστή της Daisy Bell, η φωνητική κλωνοποίηση AI είναι σε θέση να αναπαράγει την ακριβή ομοιότητα η φωνή κάποιου, η οποία περιλαμβάνει όλες τις λεπτές διαφορές στη χροιά που μας βοηθούν να αναγνωρίσουμε τη μοναδική φωνή κάποιου Προφίλ. Ωστόσο, χωρίς άδεια, και χωρίς άδεια, η deepfake μουσική έχει κάποια σοβαρά προβλήματα, στα οποία θα φτάσουμε αργότερα.

Πώς δημιουργούνται τα Deepfake τραγούδια

Χρησιμοποιούνται διαφορετικές μέθοδοι για τη δημιουργία deepfake τραγουδιών, αλλά πολλές από αυτές χρησιμοποιούν τεχνολογία AI. Έργα ανοιχτού κώδικα όπως Έργο SoftVC VITS Singing Voice Conversion στο GitHubΓια παράδειγμα, έχουν αναπτύξει ένα μοντέλο τεχνητής νοημοσύνης που κάνει αυτό που λέει στο όνομά του: μετατρέπει ένα δείγμα ήχου σε τραγουδιστική φωνή.

Αυτό το μοντέλο παίρνει ένα υπάρχον αρχείο ήχου κάποιου που τραγουδά και το μετατρέπει στη φωνή κάποιου άλλου. Διατηρούνται πράγματα όπως οι στίχοι και ο ρυθμός της αρχικής φωνής, αλλά ο τόνος, η χροιά και οι προσωπικές φωνητικές ιδιότητες μετατρέπονται στη φωνή που καθορίζεται από το σύνολο δεδομένων εκπαίδευσης.

Λάβετε υπόψη ότι άλλα μέρη του τραγουδιού ενδέχεται να παράγονται χειροκίνητα, όπως η δημιουργία ρυθμών και μελωδιών στο ίδιο στυλ και είδος με τον αρχικό καλλιτέχνη.

Για να δημιουργηθεί ένα deepfake της φωνής του Kanye West, έπρεπε να εισαχθεί ένα σύνολο δεδομένων τρίτου μέρους στο μοντέλο SoftVC VITS, το οποίο θα περιλαμβάνει δείγματα της πραγματικής φωνής του Kanye. Το αρχείο που περιέχει το σύνολο δεδομένων έχει αφαιρεθεί έκτοτε από τον συγγραφέα, κάτι που δεν προκαλεί έκπληξη λαμβάνοντας υπόψη τη θολή νομική περιοχή που μπορεί να συνοδεύεται από μη εξουσιοδοτημένα σύνολα δεδομένων.

Αν και δεν έχει μετατραπεί σε εμπορική εφαρμογή, μπορείτε να βρείτε μια έκδοση του Μοντέλο SoftVC VITS στο Google Collab αυτό είναι πιο φιλικό προς το χρήστη.

Μέχρι να τεθούν σε εφαρμογή τα ηθικά και νομικά όρια, είναι πιθανό πιο εύχρηστες εφαρμογές κλωνοποίησης φωνής αναδυόμενο παράθυρο—δεν διαφέρει πολύ από την εφαρμογή Drayk.it, η οποία μετέτρεψε μια περιγραφή κειμένου σε τραγούδια με στυλ σύμφωνα με τον καλλιτέχνη Ντρέικ. Αργότερα έκλεισε.

Μερικά άλλα εργαλεία που χρησιμοποιούνται για τη δημιουργία deepfake μουσικής περιλαμβάνουν μεγάλα μοντέλα γλώσσας όπως ChatGPT, που μπορεί να χρησιμοποιηθεί για να γράψει στίχους στο στυλ ενός διάσημου καλλιτέχνη. και Το Jukebox του OpenAI και MusicLM της Google, τα οποία είναι παραγωγικά μοντέλα τεχνητής νοημοσύνης που μπορούν να δημιουργήσουν μουσική σε ακατέργαστη μορφή ήχου εντελώς από την αρχή.

Μπορείτε να ακούσετε τη διαφορά;

Ένα κομμάτι που δημιουργήθηκε από έναν ανώνυμο χρήστη που ονομάζεται Ghostwriter έγινε viral στο TikTok τον Απρίλιο του 2023, σε μεγάλο βαθμό επειδή περιείχε στίχους που τραγουδούσαν οι καλλιτέχνες Drake και The Weeknd. Φυσικά, αυτές δεν ήταν οι πραγματικές φωνές των καλλιτεχνών, αλλά οι ψεύτικες.

Αν τα φωνητικά δεν ήταν τόσο καλό αντίγραφο του πρωτοτύπου, μπορεί να μην είχε γίνει επιτυχία. Με λίγο σκάψιμο, θα μπορούσατε να μάθετε πολύ γρήγορα αν ήταν η πραγματική συμφωνία ή όχι, αλλά χρησιμοποιώντας μόνο τα αυτιά σας, μπορούσατε μόνο να μαντέψετε αν ήταν αυθεντικό.

Αν θέλεις ταυτοποιήστε μια εικόνα που δημιουργήθηκε από AI υπάρχουν τουλάχιστον μερικές οπτικές εκτροπές που θα μπορούσατε να αναζητήσετε. Όσον αφορά τον ήχο, σημάδια όπως ήχος χαμηλής πιστότητας ή δυσλειτουργίες στο κομμάτι δεν σημαίνουν πολλά, καθώς πρόκειται για δημιουργικές επιλογές που χρησιμοποιούνται συνεχώς στη μουσική παραγωγή.

Αυτό που είναι ακόμα πιο ενδιαφέρον είναι ότι σε πολλούς ανθρώπους αρέσει πραγματικά το τραγούδι, ακόμη και αφού ανακάλυψαν ότι δεν ήταν οι πραγματικές φωνές του Drake ή του The Weeknd. Οι θαυμαστές τόνισαν ότι δεν δημιουργήθηκαν όλα απλά με την τεχνητή νοημοσύνη και ότι η πραγματική δεξιότητα και δουλειά χρειάστηκε να γράψουν τους στίχους, να συνθέσουν τα beat και να συνδυάσουν το όλο θέμα.

Το κομμάτι έφτασε στο Spotify και στο YouTube προτού καταργηθεί τις επόμενες ημέρες, αλλά όχι πριν οι θαυμαστές κατεβάσουν το τραγούδι ως mp3. Μπορείτε ακόμα να βρείτε αντίγραφα του τραγουδιού στο Διαδίκτυο αν αναζητήσετε "Heart On My Sleeve, Drake ft. Το Σαββατοκύριακο".

Σύντομα, ο εντοπισμός της διαφοράς μεταξύ των φωνητικών κλώνων που δημιουργούνται από AI και της πραγματικής ανθρώπινης φωνής θα γίνει σχεδόν αδύνατος. Έχοντας αυτό κατά νου, οι άνθρωποι αναρωτιούνται εάν πρόκειται για καλή χρήση της τεχνολογίας AI εξαρχής ή ακόμη και για νόμιμη χρήση της.

Προβλήματα με τη μουσική Deepfake

Από τη μία πλευρά, οι άνθρωποι απολαμβάνουν να ακούνε λάτρεις των αγαπημένων τους καλλιτεχνών και σέβονται τη δημιουργικότητα που χρειάζεται για να γίνει πραγματικότητα. Αλλά η ικανότητα να υπάρχουν φωνητικοί κλώνοι στην πρώτη θέση βασίζεται σε σύνολα δεδομένων που μπορεί να είναι ή να μην είναι εξουσιοδοτημένα.

Χωρίς άδεια, δείγματα της φωνής ενός ατόμου συλλέγονται σε ένα σύνολο δεδομένων που στη συνέχεια χρησιμοποιείται για την εκπαίδευση ενός μοντέλου φωνητικής μετατροπής AI. Είναι παρόμοιο με το πρόβλημα που αντιμετωπίζει καλλιτέχνες που θέλουν να αφαιρέσουν τις εικόνες τους από τα σύνολα δεδομένων εκπαίδευσης που χρησιμοποιούνται για την εκπαίδευση γεννητριών εικόνων AI όπως το Dall-E ή το Midjourney.

Ο νόμος περί πνευματικών δικαιωμάτων δεν είναι επίσης αρκετά έτοιμος να ασχοληθεί με την deepfake μουσική. Το 2020, ο καλλιτέχνης Jay-Z απέτυχε στην προσπάθειά του να αναγκάσει το YouTube να αφαιρέσει τον ήχο που δημιουργήθηκε από την τεχνητή νοημοσύνη του να ραπάρει γραμμές από τον μονόλογο του William Shakespeare "To Be or Not to Be".

Όταν ένα deepfake τραγούδι ανεβάζεται στο Spotify ή στο YouTube, υπάρχει επίσης το ερώτημα ποιος βγάζει χρήματα. Θα πρέπει να μπορείτε να κερδίσετε χρήματα σε ένα τραγούδι που αντιγράφει σχεδόν ακριβώς τη φωνή κάποιου άλλου;

Χόλι Χέρντον είναι μια καλλιτέχνης που προσπάθησε να δημιουργήσει ένα σύστημα για να την αποζημιώσουν οι άνθρωποι με αντάλλαγμα να χρησιμοποιήσει το μοντέλο φωνής της για να δημιουργήσει πρωτότυπα έργα. Ενώ άλλοι καλλιτέχνες όπως ο Nick Cave έχουν μίλησε κατά της τεχνητής νοημοσύνης, Γραφή:

Τα τραγούδια προκύπτουν από τα βάσανα, με το οποίο εννοώ ότι βασίζονται στον πολύπλοκο, εσωτερικό ανθρώπινο αγώνα της δημιουργίας και, καλά, από όσο ξέρω, οι αλγόριθμοι δεν αισθάνονται.

Ωρες ωρες, Το κείμενο που δημιουργείται από AI μπορεί να μην έχει δημιουργικότητα συνολικά, ωστόσο εξακολουθούν να δημοσιεύονται στο διαδίκτυο. Η τεχνητή νοημοσύνη θα μπορούσε να οδηγήσει σε πολλή κακή μουσική που έχει καταβάλει πολύ λίγη προσπάθεια.

Εύρεση ισορροπίας μεταξύ μουσικής και τεχνητής νοημοσύνης

Η Deepfake μουσική δημιουργείται χρησιμοποιώντας εργαλεία AI και μοντέλα AI που έχουν εκπαιδευτεί σε μη εξουσιοδοτημένα σύνολα δεδομένων. Ορισμένα μοντέλα είναι ανοιχτού κώδικα και είναι ελεύθερα προσβάσιμα, ενώ άλλες προσπάθειες έχουν γίνει να συσκευαστούν σε μια φιλική προς το χρήστη εφαρμογή.

Καθώς περισσότεροι άνθρωποι παίρνουν στα χέρια τους μοντέλα ή εφαρμογές deepfake μουσικής, αξίζει να σκεφτούμε τον αντίκτυπο στον καλλιτέχνη. Η λήψη συναίνεσης για την εκπαίδευση συνόλων δεδομένων και η αποζημίωση για τον καλλιτέχνη είναι μερικά μόνο από τα προβλήματα που διαφαίνεται στην τεχνολογία μουσικής AI.