我們擅長商業(yè)策略與用戶體驗的完美結(jié)合。
歡迎瀏覽我們的案例。
谷歌 AI 發(fā)布了一篇關(guān)于 Muse 的研究論文，這是一種新的文本至圖像生成技術(shù)，它基于掩碼生成(Masked Generative)Transformer，可以生成與 DALL-E 2和 Imagen 等競爭對手相媲美的高質(zhì)量圖片，但是速度要快得多。
Muse 被訓(xùn)練為預(yù)測隨機掩碼圖像的 token，它會使用業(yè)已訓(xùn)練過的大型語言模型所生成的嵌入式文本。這項工作涉及在離散的 token 空間中進(jìn)行掩碼建模。Muse 使用一個 9 億個參數(shù)的模型，稱為掩碼生產(chǎn) transformer(masked generative transformer)，以創(chuàng)造視覺效果，而不是采用像素空間擴散或自回歸模型。
谷歌聲稱，借助 TPUv4 芯片，可以在 0.5 秒內(nèi)創(chuàng)建一個 256*256 的圖像，而使用 Imagen 則需要 9.1 秒，根據(jù)谷歌的說法，Imagen 使用的擴散模型提供了“前所未有的逼真程度”和“深度的語言理解”。TPU，即張量處理單元(Tensor Processing Unit)，是谷歌開發(fā)的定制芯片，專門用作 AI 的加速器。
根據(jù)研究，谷歌 AI 已經(jīng)訓(xùn)練了一系列不同規(guī)模的 Muse 模型，參數(shù)從 6.32 億到 30 億不等，研究發(fā)現(xiàn)，預(yù)先訓(xùn)練好的大型語言模型，對于生成逼真的高質(zhì)量圖像至關(guān)重要。
Muse 的性能也超過了最先進(jìn)的自回歸模型 Parti，因為它使用了并行解碼，在推理時間上比 Imagen-3B 或 Parti-3B 模型快 10 倍以上，根據(jù)使用同等硬件的測試，比 Stable Diffusion v1.4 快 3 倍。
Muse 創(chuàng)建的視覺效果與輸入中的各種語義成分相對應(yīng)，如名詞、動詞和形容詞。此外，它還展示了視覺風(fēng)格和多對象特性的知識，如合成性(compositionality)和基數(shù)(cardinality)。
近年來，由于新的訓(xùn)練方法和改進(jìn)的深度學(xué)習(xí)架構(gòu)，圖像生成模型有了長足的進(jìn)步。這些模型有能力生成非常詳盡和逼真的圖像，在廣泛的行業(yè)和應(yīng)用中，它們正在成為越來越強大的工具。
（碼上科技）
