三明AIGC案例

    AIGC推動(dòng)創(chuàng)意落地，突破表達(dá)瓶頸雖然AI能幫助人類更好的釋放創(chuàng)意，但從劇本到熒幕仍是一段漫長(zhǎng)的距離。從創(chuàng)意到表達(dá)的跨越，AI可以保駕護(hù)航，幫助人類化不可能為可能。舉例來(lái)說(shuō)，當(dāng)前勞動(dòng)密集型的影視生產(chǎn)方式難以滿足觀眾對(duì)質(zhì)量日益提高的要求。2009年上映的《阿凡達(dá)》令全球觀眾旗艦了解3D電影的魅力，此后沉浸式觀影體驗(yàn)成了影視產(chǎn)業(yè)鏈上共同的追求。為了滿足這種追求，影視特技與應(yīng)用呈現(xiàn)井噴式發(fā)展，但后期制作與渲染，復(fù)雜程度也都水漲船高，傳統(tǒng)的作業(yè)方式已經(jīng)難以為繼，而AI技術(shù)就有推動(dòng)變革的潛力。從技術(shù)角度來(lái)說(shuō)，影視特技行業(yè)的作業(yè)流程是極為繁瑣的，比如場(chǎng)景中的建模就需要從一草一木、一人一物開(kāi)始，逐漸打造世界的雛形，再通過(guò)骨骼綁定和動(dòng)作設(shè)計(jì)讓模型活起來(lái)，之后的定分鏡、調(diào)燈光、鋪軌道、取鏡頭等等無(wú)不費(fèi)時(shí)費(fèi)力，后期的解算和渲染等工作同樣如此?？梢哉f(shuō)在影視工作的每個(gè)環(huán)節(jié)都有大量重復(fù)性工作或等待時(shí)間，無(wú)形中拖慢了工作節(jié)奏。因此現(xiàn)在就有企業(yè)致力于解封流程生產(chǎn)力，比如優(yōu)酷的“妙嘆”工具箱，在動(dòng)漫中實(shí)時(shí)渲染，幫助工作者實(shí)時(shí)把握效果或做出修改，節(jié)省了大量成本，減輕人員負(fù)擔(dān)，目前已被多家國(guó)漫企業(yè)采用。 另外DAVID MARR提出了機(jī)器視覺(jué)方 面的新理論，例如，如何通過(guò)一副圖像的陰影，形狀，顏色，等信息辨別圖像.三明AIGC案例

    【應(yīng)用】：圖像生成（AI繪畫(huà)）、文本生成（AI寫(xiě)作、ChatBot）、視頻生成、多模態(tài)生成等。從生成內(nèi)容層面AIGC可分為五個(gè)方面：1、文本生成基于NLP的文本內(nèi)容生成根據(jù)使用場(chǎng)景可分為非交互式與交互式文本生成。非交互式文本生成包括摘要/標(biāo)題生成、文本風(fēng)格遷移、文章生成、圖像生成文本等。交互式文本生成主要包括聊天機(jī)器人、文本交互游戲等?！敬硇援a(chǎn)品或模型】：JasperAI、、ChatGPT、Bard、AIdungeon等。2、圖像生成圖像生成根據(jù)使用場(chǎng)可分為圖像編輯修改與圖像自主生成。圖像編輯修改可應(yīng)用于圖像超分、圖像修復(fù)、人臉替換、圖像去水印、圖像背景去除等。圖像自主生成包括端到端的生成，如真實(shí)圖像生成卡通圖像、參照?qǐng)D像生成繪畫(huà)圖像、真實(shí)圖像生成素描圖像、文本生成圖像等?！敬硇援a(chǎn)品或模型】：EditGAN，Deepfake，DALL-E、MidJourney、StableDiffusion，文心一格等。3、音頻生成音頻生成技術(shù)較為成熟，在C端產(chǎn)品中也較為常見(jiàn)，如語(yǔ)音克隆，將人聲1替換為人聲2。還可應(yīng)用于文本生成特定場(chǎng)景語(yǔ)音，如數(shù)字人播報(bào)、語(yǔ)音客服等。此外，可基于文本描述、圖片內(nèi)容理解生成場(chǎng)景化音頻、樂(lè)曲等?！敬硇援a(chǎn)品或模型】：DeepMusic、WaveNet、DeepVoice、MusicAutoBot等。 漳州谷歌AIGC前景盡管經(jīng)歷了這些受挫的事件，AI仍在慢慢恢復(fù)發(fā)展.新的技術(shù)在日本被開(kāi)發(fā)出來(lái)，如在美國(guó)原創(chuàng)的模糊邏輯。

    諸如我們熟知的聊天對(duì)話模型ChatGPT，基于。計(jì)算機(jī)視覺(jué)（CV）預(yù)訓(xùn)練大模型自然語(yǔ)言處理（NLP）預(yù)訓(xùn)練大模型多模態(tài)預(yù)訓(xùn)練大模型微軟Florence（SwinTransformer）谷歌Bert/LaMDA/PaLMOpenAI的CLIP/DALL-EOpenAI的GPT-3/ChatGPT微軟的GLIPStabilityAI的StableDiffusion（1）計(jì)算機(jī)視覺(jué)（CV）預(yù)訓(xùn)練大模型FlorenceFlorence是微軟在2021年11月提出的視覺(jué)基礎(chǔ)模型。Florence采用雙塔Transformer結(jié)構(gòu)。文本采用12層Transformer，視覺(jué)采用SwinTransformer。通過(guò)來(lái)自互聯(lián)網(wǎng)的9億圖文對(duì)，采用UnifiedContrasiveLearning機(jī)制將圖文映射到相同空間中。其可處理的下游任務(wù)包括：圖文檢索、圖像分類、目標(biāo)檢測(cè)、視覺(jué)對(duì)答以及動(dòng)作識(shí)別。（2）自然語(yǔ)言處理（NLP）預(yù)訓(xùn)練大模型LaMDALaMDA是谷歌在2021年發(fā)布的大規(guī)模自然語(yǔ)言對(duì)話模型。LaMDA的訓(xùn)練過(guò)程分為預(yù)訓(xùn)練與微調(diào)兩步。在預(yù)訓(xùn)練階段，谷歌從公共數(shù)據(jù)數(shù)據(jù)中收集了，feed給LaMDA，讓其對(duì)自然語(yǔ)言有初步認(rèn)識(shí)。到這一步通過(guò)輸入prompt能夠預(yù)測(cè)上下文，但是這種回答往往不夠準(zhǔn)確，需要二次調(diào)優(yōu)。谷歌的做法是讓模型根據(jù)提問(wèn)輸出多個(gè)回答，將這些回答輸入到分類器中，輸出回答結(jié)果的安全性Safety，敏感性Sensible。

    一.AIGC是什么？AIGC（即ArtificialIntelligenceGeneratedContent），中文譯為人工智能生成內(nèi)容。簡(jiǎn)單來(lái)說(shuō)，就是以前本來(lái)需要人類用思考和創(chuàng)造力才能完成的工作，現(xiàn)在可以利用人工智能技術(shù)來(lái)替代我們完成。在狹義上，AIGC是指利用AI自動(dòng)生成內(nèi)容的生產(chǎn)方式，比如自動(dòng)寫(xiě)作、自動(dòng)設(shè)計(jì)等。在廣義上，AIGC是指像人類一樣具備生成創(chuàng)造能力的AI技術(shù)，它可以基于訓(xùn)練數(shù)據(jù)和生成算法模型，自主生成創(chuàng)造新的文本、圖像、音樂(lè)、視頻、3D交互內(nèi)容等各種形式的內(nèi)容和數(shù)據(jù)。二.AIGC發(fā)展歷史AIGC的發(fā)展歷程可以分成三個(gè)階段：早期萌芽階段（上世紀(jì)50年代至90年代中期），沉淀累積階段（上世紀(jì)90年代至本世紀(jì)10年代中期），快速發(fā)展階段（本世紀(jì)10年代中期至今）。在早期萌芽階段（1950s~1990s）由于技術(shù)限制，AIGC有限于小范圍實(shí)驗(yàn)和應(yīng)用，例如1957年出現(xiàn)了首支電腦創(chuàng)作的音樂(lè)作品《依利亞克組曲（IlliacSuite）》。然而在80年代末至90年代中期，由于高成本和難以商業(yè)化，AIGC的資本投入有限，因此未能取得許多斐然進(jìn)展。作者：HOTAIGC鏈接：源：簡(jiǎn)書(shū)著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。 從圖靈影響深遠(yuǎn)的奠基性研究到機(jī)器人和新人工智能的飛躍。

    智能數(shù)字內(nèi)容編輯：智能數(shù)字內(nèi)容編輯通過(guò)對(duì)內(nèi)容的理解以及屬性控制，進(jìn)而實(shí)現(xiàn)對(duì)內(nèi)容的修改。如在計(jì)算機(jī)視覺(jué)領(lǐng)域，通過(guò)對(duì)視頻內(nèi)容的理解實(shí)現(xiàn)不同場(chǎng)景視頻片段的剪輯。通過(guò)人體部位檢測(cè)以及目標(biāo)衣服的變形控制與截?cái)嗵幚?，將目?biāo)衣服覆蓋至人體部位，實(shí)現(xiàn)虛擬試衣。在語(yǔ)音信號(hào)處理領(lǐng)域，通過(guò)對(duì)音頻信號(hào)分析，實(shí)現(xiàn)人聲與背景聲分離。以上三個(gè)例子均在理解數(shù)字內(nèi)容的基礎(chǔ)上對(duì)內(nèi)容的編輯與控制?！緫?yīng)用】：視頻場(chǎng)景剪輯、虛擬試衣、人聲分離等。3、智能數(shù)字內(nèi)容生成：智能數(shù)字內(nèi)容生成通過(guò)從海量數(shù)據(jù)中學(xué)習(xí)抽象概念，并通過(guò)概念的組合生成全新的內(nèi)容。如AI繪畫(huà)，從海量繪畫(huà)中學(xué)習(xí)作品不同筆法、內(nèi)容、藝術(shù)風(fēng)格，并基于學(xué)習(xí)內(nèi)容重新生成特定風(fēng)格的繪畫(huà)。采用此方式，人工智能在文本創(chuàng)作、音樂(lè)創(chuàng)作和詩(shī)詞創(chuàng)作中取得了不錯(cuò)表現(xiàn)。再比如，在跨模態(tài)領(lǐng)域，通過(guò)輸入文本輸出特定風(fēng)格與屬性的圖像，不僅能夠描述圖像中主體的數(shù)量、形狀、顏色等屬性信息，而且能夠描述主體的行為、動(dòng)作以及主體之間的關(guān)系。 而從一個(gè)語(yǔ)言研究者的角度來(lái)看，要讓機(jī)器與人之間自由交流那是相當(dāng)困難的，是一個(gè)永無(wú)答案的問(wèn)題。。莆田科技AIGC好處

大腦不是計(jì)算機(jī)，不會(huì)亦步亦趨、按部就班的根據(jù)輸入產(chǎn)生輸出。三明AIGC案例

    應(yīng)用：在擴(kuò)散模型（diffusionmodel）的基礎(chǔ)上產(chǎn)生了多種令人印象深刻的應(yīng)用，比如：圖像超分、圖像上色、文本生成圖片、全景圖像生成等。如下圖，中間圖像作為輸入，基于擴(kuò)散模型，生成左右視角兩張圖，輸入圖像與生成圖像共同拼接程一張全景圖像。生成全景圖像產(chǎn)品與模型：在擴(kuò)散模型的基礎(chǔ)上，各公司與研究機(jī)構(gòu)開(kāi)發(fā)出的代替產(chǎn)品如下：DALL-E2（OpenAI文本生成圖像，圖像生成圖像）DALL-E2由美國(guó)OpenAI公司在2022年4月發(fā)布，并在2022年9月28日，在OpenAI網(wǎng)站向公眾開(kāi)放，提供數(shù)量有限的無(wú)償圖像和額外的購(gòu)買(mǎi)圖像服務(wù)。Imagen（GoogleResearch文本生成圖像）Imagen是2022年5月谷歌發(fā)布的文本到圖像的擴(kuò)散模型，該模型目前不對(duì)外開(kāi)放。用戶可通過(guò)輸入描述性文本，生成圖文匹配的圖像。StableDiffusion（StabilityAI文本生成圖像，代碼與模型開(kāi)源）2022年8月，StabilityAI發(fā)布了StableDiffusion，這是一種類似于DALL-E2與Imagen的開(kāi)源Diffusion模型，代碼與模型權(quán)重均向公眾開(kāi)放。（4）Transformer2017年由谷歌提出，采用注意力機(jī)制（attention）對(duì)輸入數(shù)據(jù)重要性的不同而分配不同權(quán)重，其并行化處理的優(yōu)勢(shì)能夠使其在更大的數(shù)據(jù)集訓(xùn)練，加速了GPT等預(yù)訓(xùn)練大模型的發(fā)展。 三明AIGC案例