Microsoft Patenkan AI Pengubah Kata dan Wajah dalam Video Langsung

Kecerdasan buatan terus mengubah cara manusia membuat, menyampaikan, dan menonton video. Kamera kini tidak hanya merekam gambar. Dengan bantuan AI, sistem dapat mengenali ucapan, melacak wajah, menyesuaikan gerak bibir, menerjemahkan bahasa, dan membuat avatar yang merespons secara langsung.

Perkembangan ini memunculkan perhatian terhadap teknologi Microsoft yang berpotensi mengubah kata-kata dan tampilan wajah seseorang saat video berlangsung. Teknologi semacam itu berbeda dari penyuntingan video biasa. Pada penyuntingan konvensional, perubahan dilakukan setelah rekaman selesai. Dalam sistem waktu nyata, perubahan diproses ketika kamera menangkap gambar dan mikrofon merekam suara.

Kemampuan tersebut dapat mendukung aksesibilitas, penerjemahan langsung, produksi siaran, permainan, dan dunia virtual. Namun, teknologi yang sama juga dapat digunakan untuk meniru identitas, memanipulasi pernyataan, membuat penipuan, atau menyebarkan informasi palsu.

Hal penting yang perlu dipahami: pengajuan atau pemberian paten tidak berarti teknologi sudah tersedia sebagai produk. Paten melindungi klaim atas metode atau sistem tertentu. Perusahaan masih dapat mengembangkan, mengubah, melisensikan, atau tidak meluncurkan teknologi yang dipatenkan.

Dokumen ringkasan yang tersedia untuk topik ini tidak mencantumkan nomor publikasi, tanggal, penemu, klaim, atau URL yang dapat diverifikasi. Karena itu, detail teknis tidak boleh dianggap sebagai fakta pasti sebelum dicocokkan dengan dokumen paten primer pada basis data resmi, seperti Google Patents dan basis data paten Amerika Serikat.

Apa yang Dimaksud dengan AI Pengubah Kata dan Wajah?

Pengubahan kata dalam video langsung

Istilah “pengubah kata” dapat merujuk pada beberapa fungsi. Sistem mungkin mengenali kata atau frasa tertentu, menggantinya dengan teks lain, menghasilkan audio baru, lalu menyesuaikan gerak bibir agar sesuai dengan ucapan tersebut.

Fungsi lain dapat berupa pengubahan subtitle, penerjemahan ucapan, atau penyensoran istilah tertentu. Perbedaannya penting karena judul berita atau ringkasan singkat tidak selalu menjelaskan kemampuan sebenarnya.

Kemungkinan fungsi meliputi:

• Penggantian ucapan dengan kata atau frasa baru.
• Penerjemahan ucapan ke bahasa lain.
• Penyensoran bagian tertentu.
• Pengubahan karakter suara tanpa mengubah isi ucapan.
• Pembuatan ulang audio agar selaras dengan video.

Klaim teknis harus dibaca dari bagian klaim paten, uraian, dan diagram sistem. Tanpa pemeriksaan tersebut, tidak tepat menyatakan bahwa Microsoft pasti memiliki sistem yang dapat mengubah semua kata seseorang secara langsung.

Pengubahan wajah dalam video langsung

Pengubahan wajah memiliki beberapa tingkat. Sistem sederhana dapat memperbaiki pencahayaan atau menambahkan efek visual. Sistem yang lebih kompleks dapat mengubah ekspresi, gerak bibir, arah pandangan, atau tampilan avatar.

Fungsi yang mungkin meliputi:

• Menyesuaikan ekspresi dengan nada suara.
• Menggerakkan bibir agar cocok dengan audio baru.
• Mengubah tampilan wajah untuk karakter virtual.
• Menyamarkan identitas visual.
• Membuat wajah digital yang berbeda dari wajah asli.
• Memperbaiki gangguan visual dalam konferensi atau siaran.

Pengubahan wajah tidak selalu berarti penggantian identitas secara penuh. Sistem dapat mempertahankan bentuk dasar wajah sambil mengubah ekspresi atau gerakannya. Sebaliknya, teknologi tertentu dapat membuat wajah digital yang hampir tidak memiliki hubungan visual dengan orang asli.

Perbedaan dengan penyaring wajah biasa

Penyaring wajah pada aplikasi media sosial biasanya menambahkan elemen di atas wajah, seperti telinga hewan, kacamata, riasan, atau efek warna. Sistem yang lebih maju dapat memproses struktur wajah, ekspresi, gerakan kepala, suara, dan hubungan antara audio serta video.

Pemrosesan waktu nyata membutuhkan latensi rendah. Jika perubahan suara muncul terlalu lambat atau gerak bibir tidak mengikuti ucapan, hasilnya terlihat tidak alami. Sistem juga harus mempertahankan pencahayaan, latar belakang, posisi kepala, dan konsistensi gambar dari satu bingkai ke bingkai berikutnya.

Cara Kerja Teknologi AI Ini

1. Menangkap video dan audio

Kamera menangkap wajah, gerakan, pencahayaan, latar belakang, dan perubahan posisi tubuh. Mikrofon menangkap suara yang kemudian dianalisis oleh perangkat lunak pengenalan ucapan.

Sistem dapat memisahkan unsur yang perlu diubah dari unsur yang harus dipertahankan. Wajah pembicara, misalnya, perlu diproses tanpa mengubah latar belakang. Suara tertentu dapat diganti, sementara suara latar tetap dipertahankan.

Pencahayaan buruk, kamera beresolusi rendah, suara bising, atau wajah yang tertutup dapat meningkatkan kesalahan dan menghasilkan artefak visual maupun audio.

2. Mengenali ucapan

AI mengubah suara menjadi teks atau unit bahasa yang dapat diproses. Sistem kemudian dapat mencari kata, frasa, bahasa, atau konteks tertentu.

Tantangan utamanya meliputi aksen, kebisingan, percakapan bersamaan, istilah teknis, bahasa campuran, jeda, pengulangan, dan ucapan yang tidak lengkap. Satu kata yang salah dikenali dapat mengubah arti pernyataan. Karena itu, sistem untuk berita, hukum, kesehatan, politik, atau keuangan memerlukan pengawasan manusia.

3. Menghasilkan ucapan baru

Setelah kata atau frasa ditentukan, sistem dapat menghasilkan audio pengganti. Audio tersebut perlu mempertahankan nada suara, kecepatan bicara, jeda, emosi, karakter suara, volume, dan sinkronisasi dengan gerak bibir.

Jika kata baru memiliki panjang atau pola bunyi berbeda, sistem harus menyesuaikan durasi ucapan. Mekanisme pasti yang digunakan Microsoft harus mengikuti dokumen paten terverifikasi. Model, perangkat lunak, atau metode tertentu tidak boleh disebutkan jika tidak tercantum dalam sumber primer.

4. Menyesuaikan gerak wajah

Sistem memetakan posisi wajah dan gerakan bibir, termasuk mata, alis, hidung, mulut, rahang, dan arah kepala. Video kemudian dirender ulang agar ekspresi serta gerak bibir sesuai dengan audio baru.

Sistem harus mempertahankan kontur wajah, arah pandangan, pencahayaan, gerakan kepala, bayangan, konsistensi antarbingkai, dan hubungan wajah dengan latar belakang. Ketidaksesuaian dapat menimbulkan wajah bergetar, bibir tidak tepat, bentuk gigi berubah, atau ekspresi tidak wajar.

5. Menampilkan hasil secara langsung

Video yang sudah diproses dikirim ke layar, aplikasi konferensi, atau platform siaran. Kinerja dipengaruhi oleh latensi pemrosesan, daya komputasi, kualitas jaringan, resolusi video, jumlah orang dalam bingkai, konsumsi energi, dan beban server.

Pemrosesan lokal dapat mengurangi pengiriman data ke server, tetapi membutuhkan perangkat yang cukup kuat. Pemrosesan awan menyediakan sumber daya lebih besar, tetapi menimbulkan pertanyaan tentang privasi, lokasi penyimpanan, akses pihak ketiga, dan ketergantungan pada jaringan.

Potensi Penggunaan

Teknologi ini dapat mendukung aksesibilitas dengan mengubah masukan alternatif menjadi ucapan atau avatar. Teknologi serupa juga dapat menerjemahkan ucapan dan gerak bibir secara langsung untuk komunikasi lintas bahasa.

Dalam penyiaran dan produksi konten, sistem dapat membantu memperbaiki kesalahan kecil, membuat avatar, atau menampilkan karakter digital. Dalam rapat daring, teknologi ini dapat menyediakan penerjemahan langsung dan avatar multibahasa. Dalam permainan serta dunia virtual, avatar dapat bereaksi terhadap percakapan dan gerakan pengguna.

Perusahaan juga dapat menggunakan avatar untuk menguji variasi dialog, bahasa, atau ekspresi. Namun, penggunaan wajah atau suara orang lain memerlukan izin yang jelas. Persetujuan untuk tampil dalam video tidak otomatis mencakup hak untuk mengubah ucapan, menggandakan suara, atau membuat versi digital baru.

Manfaat yang Mungkin Ditawarkan

Produksi lebih cepat

Perubahan kecil dapat dilakukan tanpa merekam ulang seluruh video. Tim produksi dapat membuat variasi konten untuk beberapa bahasa atau format. Manfaat ini paling aman jika perubahan terbatas, terdokumentasi, dan ditinjau manusia.

Pengalaman lebih personal

Avatar dapat menyesuaikan bahasa, ekspresi, dan gaya komunikasi dengan kebutuhan pengguna. Personalisasi tetap harus memiliki batas. Sistem tidak boleh mengubah pernyataan atau identitas seseorang secara tersembunyi.

Efisiensi siaran langsung

AI dapat membantu memperbaiki gangguan teknis, mengatur tampilan avatar, dan menjaga konsistensi suara serta video. Hasilnya tetap bergantung pada akurasi sistem, kemampuan perangkat, kualitas masukan, dan pengawasan operator.

Risiko Etika, Hukum, dan Keamanan

Deepfake dan penipuan

Wajah serta suara yang dimodifikasi secara realistis dapat membuat seseorang tampak mengucapkan sesuatu yang tidak pernah disampaikan. Penipu dapat meniru pejabat, pemimpin perusahaan, tokoh publik, atau anggota keluarga.

Identitas tidak boleh diverifikasi hanya berdasarkan wajah atau suara. Transaksi penting harus dikonfirmasi melalui kanal lain.

Persetujuan wajah dan suara

Persetujuan yang jelas perlu menjelaskan tujuan penggunaan, lama penyimpanan, pihak yang memiliki akses, penggunaan untuk pelatihan AI, cara mencabut izin, prosedur penghapusan data, serta wilayah dan jenis layanan yang tercakup.

Persetujuan untuk mengikuti konferensi video tidak selalu berarti persetujuan untuk mengganti wajah atau kata-kata.

Perubahan makna

Penggantian satu kata dapat mengubah keseluruhan arti pernyataan. Kesalahan pengenalan suara atau terjemahan dapat menimbulkan fitnah, konflik, dan informasi keliru.

Sistem perlu menyimpan catatan perubahan, menyediakan versi asli jika diperlukan, dan memberi kesempatan kepada pembicara untuk memeriksa hasil sebelum ditayangkan dalam konteks berisiko tinggi.

Privasi dan perlindungan data

Wajah, suara, dan pola perilaku dapat menjadi data sensitif. Pemrosesan awan menambah pertanyaan tentang lokasi penyimpanan, perpindahan lintas negara, akses pengelola layanan, dan penggunaan oleh pihak ketiga.

Pengamanan yang diperlukan mencakup enkripsi, pembatasan akses, penghapusan data, audit, dan kebijakan retensi yang mudah dipahami. Prinsip tata kelola AI Microsoft menekankan keadilan, keandalan, privasi, keamanan, inklusivitas, transparansi, dan akuntabilitas melalui pedoman AI yang bertanggung jawab.

Kepercayaan publik

Ketika video mudah dimodifikasi, penonton semakin sulit membedakan rekaman asli dan hasil manipulasi. Label, metadata, catatan perubahan, verifikasi identitas, dan pendidikan publik perlu digunakan bersama.

Apakah Paten Berarti Teknologi Sudah Diluncurkan?

Tidak. Paten dan produk adalah dua hal berbeda.

Paten dapat melindungi metode yang memenuhi persyaratan hukum, mengamankan strategi bisnis, membuka peluang lisensi, atau mencegah pihak lain mengklaim metode serupa. Paten tidak membuktikan bahwa teknologi sudah tersedia untuk masyarakat, menjadi fitur produk, diuji pada skala luas, aman digunakan, akan dirilis, atau dapat bekerja seperti yang digambarkan dalam berita.

Sebelum menerbitkan artikel yang menyebut detail spesifik, periksa nomor publikasi, judul resmi, pemohon, penemu, tanggal pengajuan, tanggal publikasi, klaim, diagram, status hukum, dan wilayah perlindungan. Informasi tersebut harus berasal dari dokumen primer.

Status hukum juga perlu diperiksa karena pengajuan paten tidak selalu berakhir dengan pemberian hak paten.

Cara Memastikan Video yang Diubah AI Tetap Transparan

Label dan pemberitahuan

Platform perlu memberi tahu penonton sebelum atau selama siaran. Label harus menjelaskan bagian yang diubah, seperti suara, kata-kata, wajah, ekspresi, atau bahasa. Pemberitahuan “dibuat dengan AI” sering terlalu umum.

Jejak asal konten

Sistem sebaiknya menyimpan waktu pembuatan, versi asli, dan riwayat perubahan. Metadata atau mekanisme autentikasi dapat membantu pemeriksa memastikan asal konten. Untuk siaran berisiko tinggi, rekaman asli perlu dipertahankan sebagai bahan audit atau penyelesaian sengketa.

Pengawasan manusia

Keputusan otomatis tidak boleh menjadi satu-satunya pengaman. Konten politik, hukum, kesehatan, keuangan, dan berita memerlukan tinjauan manusia. Platform juga perlu menyediakan kanal pengaduan bagi orang yang merasa wajah atau suaranya digunakan tanpa izin.

Kesimpulan

AI yang dapat mengubah kata, suara, wajah, dan ekspresi dalam video langsung berpotensi mengubah komunikasi digital. Teknologi ini dapat membantu aksesibilitas, penerjemahan, siaran, produksi konten, permainan, dan avatar interaktif.

Risikonya juga besar, termasuk deepfake, penipuan, pencurian identitas, pelanggaran privasi, dan perubahan makna pernyataan.

Paten bukan bukti bahwa sebuah fitur telah diluncurkan. Pembaca perlu membedakan pengajuan paten, prototipe, pengujian internal, dan produk yang tersedia bagi publik. Detail teknis, nomor paten, tanggal, penemu, serta status hukum harus diperbarui setelah dokumen primer terverifikasi.

Penggunaan yang bertanggung jawab membutuhkan persetujuan eksplisit, label yang jelas, pencatatan perubahan, keamanan data, pengawasan manusia, dan verifikasi identitas melalui kanal lain.

Pertanyaan Umum

Apakah Microsoft sudah meluncurkan AI pengubah wajah dan kata untuk video langsung?

Belum dapat disimpulkan hanya dari informasi tentang paten. Status terbaru harus diperiksa melalui pengumuman resmi Microsoft dan dokumentasi produknya.

Bagaimana AI dapat mengubah ucapan seseorang saat video berlangsung?

Alur umumnya terdiri dari pengenalan suara, pemrosesan kata atau frasa, pembuatan audio baru, dan penyesuaian gerak bibir. Mekanisme pasti harus mengikuti isi dokumen paten yang telah diverifikasi.

Apakah teknologi ini termasuk deepfake?

Pengubahan wajah atau suara secara realistis dapat termasuk deepfake, bergantung pada cara penggunaan dan tingkat manipulasinya. Teknologi yang digunakan dengan izin dan diberi label berbeda dari peniruan identitas tanpa persetujuan.

Apa risiko terbesar dari teknologi ini?

Risiko utamanya mencakup penipuan, pencurian identitas, manipulasi pernyataan, pelanggaran privasi, dan misinformasi. Verifikasi melalui kanal lain, label konten, catatan perubahan, dan pengawasan manusia dapat mengurangi risiko tersebut.

Apakah pengguna dapat menolak wajah atau suaranya diproses AI?

Idealnya, layanan menyediakan persetujuan eksplisit, pilihan menolak, penghapusan data, pembatasan pemrosesan, dan kanal pengaduan. Hak pengguna bergantung pada layanan, kontrak, serta peraturan yang berlaku.

Bagaimana cara memverifikasi informasi tentang paten tersebut?

Periksa basis data paten resmi. Cocokkan nomor publikasi, judul, pemohon, penemu, tanggal pengajuan, tanggal publikasi, klaim, dan status hukum. Bedakan berita tentang pengajuan paten dari pengumuman produk.