NVIDIA esitteli hermoverkon videon luomiseen kuvauksen perusteella

NVIDIA yritys ilmoitti uusi VideoLDM AI -malli, joka luo lyhyitä videoita tekstin perusteella. Se on kehitetty yhteistyössä Cornellin yliopiston tutkijoiden kanssa.

VideoLDM ottaa huomioon jopa 4,1 miljardia parametria, joista 2,7 miljardia on opetettu videolla. Luodut leikkeet voivat olla jopa 2048 × 1280 pikseliä 24 ruudulla ja niiden kesto enintään 4,7 sekuntia.

Neuraaliverkko pystyy luomaan sekä yksinkertaisia ​​kohtauksia, joissa on pari sanaa pyynnössä, että jotain monimutkaisempaa. Muutama esimerkki:

• Ilotulitus.

• Iskusotilas imuroi rantaa.

• Matkustaja kävelee yksin sumuisessa metsässä auringonlaskun aikaan.

Lisää esimerkkejä löytyy projektin verkkosivuilla.

Tämä NVIDIA-hermoverkko ei ole vielä julkisessa käytössä. Se esiteltiin tutkimuspaperina Konenäköön ja kuvioiden tunnistusta käsittelevän konferenssin puitteissa.

Kehittäjät panivat merkille vaikuttavan ja nopean edistymisen oppimisessa, mutta eivät puhuneet hermoverkon mahdollisesta tulevaisuudesta. Siitä huolimatta voimme olettaa, että saamme pian täysimittaisen videoanalogin