21日，周四凌晨，AI target=_blank class=infotextkey>OpenAI在官網宣布將在今年十月份通過API向ChatGPT Plus和企業版用戶提供全新文生圖大模型DALL-E 3，ChatGPT也將集成在其中，彼此加持下將開啟久違的多模態輸出模式，用戶通過文本就能直接在ChatGPT中生成各種類型圖片。官網鏈接：https://openai.com/dall-e-3
根據OpenAI官方的說法，DALL-E 3“比以往系統更能理解細微差別和細節，讓用戶更加輕松地將自己的想法轉化為非常準確的圖像”。這里舉個網友分享的例子，提示詞（prompt）都是“一幅描繪籃球運動員扣籃的油畫，并伴以爆炸的星云”，來對比下前代的DALL-E 2（左）和現在DALL-E 3（右）的繪圖效果。
很明顯的能看出來，DALL-E 3在細節、亮度、清晰度等方都進步明顯，甚至人物的側臉還頗有NBA喬幫主--邁克爾·喬丹年輕時的感覺。除了炸裂的繪圖效果之外，此次 DALL-E 3 的最大看點莫過于和ChatGPT的集成，它原生構建在ChatGPT之上，用ChatGPT來創建、拓展和優化提示詞。這樣一來，用戶無需在提示詞上花費太多時間即可完成繪圖。具體說來，因為與ChatGPT的集成，用戶不必絞盡腦汁地想出詳細的提示詞來引導和完成繪圖了。只要輸入一個想法，ChatGPT會自動為DALL-E 3生成詳細的prompt，匹配程度之高宛如量身定制，同時用戶也可以使用自己的提示詞。
通過這幾個實例，可以發現DALL-E 3在繪制寫實、二次元、平面、創意、朋克、3D等多種類型的圖片時的表現還是可圈可點的。
2021年1月5日，OpenAI公布了第一代DALL-E，通過120億參數的GPT-3來理解自然語言輸入并生成相應的圖片，既可以生成現實的對象也能生成現實中不存在的對象，這也是它保留至今的特點。它的名字源于Pixar（皮克斯）2008年的動畫電影，《機器人總動員》中的主角WALL-E（瓦力），以及20世紀西班牙加泰羅尼亞著名畫家Salvador Dalí（薩爾瓦多·達利），是二者的混成詞。兩個月后，DALL-E的論文和代碼正式公開。
在DALL-E之前已有其他許多人工神經網絡可以生成逼真圖像，而DALL-E的特點在于它能夠通過純文本描述生成類似的圖像。2021年與DALL-E同時公布的還有CLIP（Contrastive Language-Image Pre-training，對比式圖文預訓練）大模型，這是一個獨立于DALL-E之外的并行大模型，主要用于理解輸出圖像并為其打分。DALL-E生成圖像后還有要由CLIP模型進行篩選，以保證繪制圖像的質量。
2022年4月，OpenAI宣布了新一代產品DALL-E 2，表示它可以從文本描述中生成照片級的圖像，是一個“可以從文本描述中生成原創、逼真的圖像和藝術”的產品，另外還有一個配套的編輯器，允許對繪圖進行簡單修改。雖然DALL-E 2是新產品，但有時仍會犯一些人類不常犯的錯誤，比如“一本黃色的書與一個紅色的花瓶”和“一本紅色的書與一個黃色的花瓶”，面對這種繞口令似的提示詞時DALL-E 2就非常容易混淆。
時隔一年半左右，DALL-E 3即將面世，雖然目前仍處于研究預覽版本。OpenAI的想法是在十月首先向ChatGPT Plus會員和ChatGPT企業版用戶發布，隨后再向研究實驗機構及其API服務發布。不過，OpenAI并未透露何時或者是否計劃發布免費的公開版本，DALL-E 3背后的技術細節和相關論文可能也不會公開。
自消息公布以來，關于DALL-E 3與Midjourney孰優孰劣的話題迅速就引起了各界的爭論。X（之前的推特）用戶@MattGarciaEth已經將二者生成的圖片進行了很多比較。具體結果也是見仁見智，此處不予置評。
提示詞“一個鱷梨坐在治療師的椅子上，說‘我只是覺得內心很空虛’，中間有一個坑大小的洞。”
提示詞“一顆由半透明玻璃制成的人心，矗立在驚濤駭浪中的基座上。”
OpenAI稱在DALL-E 3的開發上投入了大量精力，包括強力的安全措施以防止生成有害內容。OpenAI表示通過與外部的“紅隊”成員（一個系統測試團隊，用故意試圖破壞的辦法測試系統的安全性）合作，同時加入了輸入分類器的協作，這是一種訓練大模型忽略某些單詞以避免顯式或暴力提示詞的方法。此外，DALL-E 3也無法生成公眾人物的圖像，以及在世藝術家風格的圖像，這一點是相比前代很大的不同。
過去曾介紹過，有藝術家社區曾起訴Stability AI和Midjourney，以及藝術網站DeviantArt，指控使用他們擁有版權的作品來訓練文生圖大模型。前不久OpenAI也差點面臨類似的麻煩，此次將允許藝術家將其作品從未來版本的文生圖大模型中刪除，不用于訓練。創作者可以提交一張他們擁有版權的圖片，并在網站上填寫表格要求將其移除。這樣，未來的DALL-E 3上線時就可以屏蔽與藝術家的圖像和風格相似的結果。
