هوش مصنوعی چینی متن را به ویدئو تبدیل می‌کند

به گزارش خبرگزاری مهر به نقل از اینترستینگ انجینرینگ، استارت آپ چینی شنگشو تکنولوژی و دانشگاه تسینگهوا از هوش مصنوعی «ویدو»(Vidu) رونمایی کرده اند که پاسخی به هوش مصنوعی Sora اوپن ای آی است. این اپلیکیشن تبدیل متن به ویدئو، با یک کلیک کلیپ های ۱۶ ثانیه ای با وضوح ۱۰۸۰ پیکسل می سازد.

هرچند این ویدئوها کوتاهتر از محصول ۶۰ ثانیه ای سورا هستند. این نرم افزار جدید تبدیل متن به ویدئو در انجمنی در پکن رونمایی شد.

ژو جون محقق ارشد شنگشو و معاون رییس انستیتو هوش مصنوعی دانشگاه تسینگهوا دراین باره می گوید: ویدئو جدیدترین دستاورد یک نوآوری متکی بر خود است و در حوزه های مختلف دستاوردهایی دارد. این سیستم می تواند دنیای فیزیکی را شبیه سازی کند و ویدئوهای ۱۶ ثانیه ای با کاراکترها، صحنه ها و زمانبندی منسجم و یکپارچه بسازد.

او همچنین توضیح داد ویدئو می تواند عناصر چینی را درک کند.

طبق گزارش ها ویدو بر اساس یک معماری مدل تبدیل بصری خود توسعه یافته به نام Universal Vision Transformer (U-ViT) ساخته شده است. توسعه دهندگان اعلام کرده اند این سیستم دو مدل هوش مصنوعی Diffusion و Transformer را یکپارچه می کند.

طبق نوشته نشریه مدیوم این ساختار ویدئوهایی واقع گرایانه با حرکات دینامیک دوربین ، حالات دقیق صورت، نور و سایه های طبیعی می سازد. ژو در این باره می گوید: پس از عرضه سورا ما متوجه شدیم این سیستم به نقشه راه فنی ما بسیار نزدیک است و همین امر بیش از پیش به ما انگیزه داد تا تحقیق مان را پیش ببریم.