SI klonuje głosy celebrytów i generuje wulgarne wypowiedzi
Oczywiście za poleceniem użytkowników.
Voice Lab to bazujące na SI oprogramowanie, które w błyskawiczny sposób analizuje mowę danej osoby i jest w stanie ją odtworzyć, czytając wpisany przez użytkownika tekst. To nie mogło skończyć się dobrze - w sieci pojawiły się już nagrania z celebrytami mówiącymi obraźliwe rzeczy. Firma ElevenLabs obiecuje zmiany.
Możliwość „klonowania” głosu wybranej osoby i zmuszenia go do wypowiadania dowolnych treści była do tej pory dostępna dla każdego użytkownika, za darmo. Więkość internautów wykorzystywała oprogramowanie do generowania nieszkodliwych, żartobliwych wypowiedzi, ale do akcji wkroczyli też użytkownicy 4Chana - forum o wątpliwej reputacji.
Jak raportuje Vice, pojawiły się tam wypowiedzi rasistowskie, homofobiczne oraz propagujące mowę nienawiści i dezinformację. Przykładem jest Emma Watson czytająca „Mein Kampf” czy Ben Sharpio wygłaszający rasistowskie uwagi na temat Alexandrii Ocasio-Cortez, amerykańskiej polityk. Jest też Rick Sanchez z „Ricka i Morty'ego” twierdzący, że zamierza pobić na śmierć swoją żonę - to odniesienie do niedawnych oskarżeń wobec aktora.
Oto kilka przykładów możliwości Voice Lab, ale nie wypowiedzi wymienionych powyżej:
Tego rodzaju nagrania są o tyle niebezpieczne, że Voice Lab jest naprawdę dobre w klonowaniu i odtwarzaniu głosów. Bardzo łatwo jest więc wprowadzić nieświadome osoby w błąd. Umieszczanie na Twitterze zabawnych nagrań z hashtagiem #elevenlabs to jedno, ale rozpowszechnianie nagrań bez żadnych oznak fałszerstwa jest już znacznie groźniejsze.
Doniesienia o wykorzystywaniu Voice Lab w niewłaściwy sposób dotarły do producentów z firmy ElevenLabs, którzy zapowiedzieli wprowadzenie środków ostrożności. Choć twórcy zawsze mieli możliwość wyśledzenia autora danego klipu, teraz system zostanie rozszerzony, obejmując wszystkich internautów. Każdy będzie mógł „zweryfikować, czy dana próbka została wygenerowana przy użyciu technologii [Voice Lab - dop. red.] i zgłosić nadużycie”.
Ponadto, Voice Lab będzie od teraz dostępne tylko za opłatą - darmowa wersja została już usunięta z oficjalnej strony. Jak zauważa ElevenLabs, nie powstrzyma to w pełni nadużyć, ale uczyni użytkowników „mniej anonimowymi”.
ElevenLabs obecnie śledzi i banuje wszelkie konta, które tworzą szkodliwe treści naruszające zasady.