Proyek ini merupakan kolaborasi antara tim Hunyuan Tencent, Universitas Sains dan Teknologi Hong Kong, dan Universitas Tsinghua, salah satu dari dua universitas terkemuka di Tiongkok daratan di Beijing.
Tencent mengatakan akan merilis kode lengkap untuk model tersebut pada bulan April, tetapi demonya sudah tersedia di GitHub. Para peneliti memamerkan beberapa kemampuannya di sana, dengan salah satu hasil menunjukkan bagaimana gambar seekor burung dengan perintah “mengepakkan sayap” berubah menjadi file MP4 pendek yang menampilkan seekor burung berwarna pelangi yang mengepakkan salah satu sayapnya.
Gambar lain dari seorang gadis yang berdiri di luar ruangan dengan perintah sederhana “badai” berubah menjadi animasi dengan kilatan petir di latar belakang.
Follow-Your-Click bertujuan untuk memecahkan masalah yang dihadapi oleh model gambar-ke-video lain di pasar yang cenderung menggerakkan keseluruhan adegan daripada berfokus pada objek tertentu dalam gambar, menurut makalah akademis yang ditulis oleh para peneliti dari tiga organisasi tersebut. Model lain mengharuskan pengguna untuk memberikan deskripsi yang rumit tentang bagaimana dan ke mana mereka ingin gambar tersebut dipindahkan.
“Kerangka kerja kami memiliki kontrol pengguna yang lebih sederhana namun tepat dan kinerja pembangkitan yang lebih baik dibandingkan metode sebelumnya,” kata para peneliti dalam makalah yang diterbitkan pada hari Rabu di arXiv, sebuah gudang makalah ilmiah online.
Di bidang pembuatan teks dan gambar ke video, Pika Labs yang berbasis di Silicon Valley, yang didirikan bersama oleh kandidat PhD asal Tiongkok, Guo Wenjing di Universitas Stanford, juga merupakan salah satu bintang yang sedang naik daun. Perusahaan rintisan ini telah mengumpulkan modal awal sebesar US$55 juta dan putaran pendanaan Seri A dari beberapa nama besar di bidang teknologi.
Follow-Your-Click bergabung dengan toolbox pembuatan dan pengeditan teks ke video sumber terbuka Tencent yang disebut VideoCrafter2, yang dirilis oleh raksasa teknologi itu pada bulan Januari. Ini adalah versi terbaru dari VideoCrafter1, dirilis pada Oktober 2023, tetapi terbatas pada video berdurasi hanya dua detik.