Adobe 宣布今年將在 Firefly 中推出影片生成功能

facebooktwitterplurklinkedin

Adobe用戶將在幾個月內得以首度試用 Adobe 的影片生成 AI 功能。該公司表示,由 Adobe 的 Firefly Video 模型所驅動的功能將於 2024 年底前,在 Premiere Pro的測試版應用程序和一個免費網站上推出。

Adobe 表示將推出三個功能—生成式擴展(Generative Extend)、文字生成影片(Text to Video) 和圖片生成影片(Image to Video)—目前處於私密測試(private beta)階段,但很快將公開。

生成式擴展允許用戶將視頻延長兩秒,這一功能將於今年晚些時候嵌入 Premiere Pro測試版應用程序中。Firefly 的文字轉影片和圖片轉影片功能則能夠根據文字提示或輸入的圖像創建五秒鐘的視頻,也將於今年晚些時候在 Firefly網站上提供。(Adobe 表示,時間限制可能會增加。)

多年來,Adobe的軟體一直受到創意工作者青睞,但這樣的生成式 AI 功能卻可能會給整個業界帶來極大的影響,好的或壞的。Firefly 是 Adobe 推出的一系列 AI 驅動的創意工具,旨在跟進生成式 AI 的最新潮流,例如OpenAI 的 Sora 和 Runway 的 Gen-3 Alpha。這些工具吸引了大量觀眾,能夠在幾分鐘內生成影片片段,而人工製作則通常需要數小時。然而,這些初推出不久的功能若是使用在專業環境中,則可能被認為過於難以預測。

但 Adobe 認為,良好的可控性是其所推出AI相關功能可脫穎而出的關鍵所在。Adobe數位媒體首席技術官 Ely Greenfield 告訴 TechCrunch,Firefly 的 AI 工具將能回應市場在補充或加速現有工作流程方面的“巨大需求”。

例如,Greenfield 說,去年新增到 Adobe Photoshop 的 Firefly 生成填充功能是“我們在過去十年中推出的最常用功能之一”。

Adobe 尚未披露這些 AI 影片功能的價格。對於其他 Firefly 工具,Adobe 為 Creative Cloud 客戶分配了一定數量的“生成積分”,每個積分通常能用來產生一個生成結果。但更昂貴的方案也能提供更多積分。

在與 TechCrunch 的演示中,Greenfield 展示了即將於今年晚些時候推出的 Firefly 驅動功能。

生成式擴展功能可以從原始影片停止的地方繼續,無縫添加額外的兩秒影片。該功能會使用場景中的最後幾幀影像,通過 Firefly 的 Video 模型來預測接下來的幾秒。對於場景的音頻,該功能將重建背景噪音,例如交通或自然聲音,但不包括人聲或音樂。Greenfield 表示,這是為了遵守音樂行業的許可要求。

在一個例子中,Greenfield 展示了一個太空人看向太空的視頻片段,該片段使用了這個功能進行了修改。我能夠察覺到延長的片段,當時屏幕上出現了不尋常的鏡頭光暈,但鏡頭的平移和場景中的物體保持一致。當一個場景結束得太早,需要稍微延長以過渡或淡出時,這個功能會很有用。

Firefly 的文字轉影片和圖片轉影片功能對大眾來說則更熟悉。這些功能讓用戶能輸入文字或圖像提示,並生成最多五秒鐘的影片。用戶將能在 firefly.adobe.com 上訪問這些 AI影片生成器,可能會有使用限制(雖然 Adobe 沒有具體說明)。

Adobe 還表示,Firefly 的文字轉影片功能在正確拼寫單詞方面表現相當好,這是 AI 影片工具通常會遇到的困難。

關於安全保障,Adobe 在開始時採取了謹慎的態度。Greenfield 說,Firefly 的影片工具設有包含色情、毒品和酒精影片的阻擋。此外,他補充道,Adobe 的影片生成模型沒有針對公共人物如政治家等名人進行訓練。而競爭對手中有些公司則不一定如此。