本文提出了一種精心設(shè)計的分階段訓(xùn)練方法,逐步訓(xùn)練大型語言模型以理解視覺和語音信息,最終實現(xiàn)流暢的視覺和語音交互。我們的方法不僅保留了強(qiáng)大的視聽能力,而且無需單獨(dú)的自適應(yīng)語音識別(ASR)和文本到語音(TTS)模塊,就能實現(xiàn)高效的語音轉(zhuǎn)語音對話能力,顯著加快了多模態(tài)端到端的響應(yīng)速度。
DeepSeekVL是一款開源多模態(tài)模型,通過對訓(xùn)練數(shù)據(jù)、模型架構(gòu)和訓(xùn)練策略的聯(lián)合拓展,構(gòu)建了7B與1.3B規(guī)模的強(qiáng)大模型。相關(guān)資源可通過論文鏈接、模型下載頁面和GitHub主頁獲取。