本文提出了一種精心設(shè)計的分階段訓(xùn)練方法,逐步訓(xùn)練大型語言模型以理解視覺和語音信息,最終實(shí)現(xiàn)流暢的視覺和語音交互。我們的方法不僅保留了強(qiáng)大的視聽能力,而且無需單獨(dú)的自適應(yīng)語音識別(ASR)和文本到語音(TTS)模塊,就能實(shí)現(xiàn)高效的語音轉(zhuǎn)語音對話能力,顯著加快了多模態(tài)端到端的響應(yīng)速度。
北京第二十六維信息技術(shù)有限公司(至頂網(wǎng))版權(quán)所有. 京ICP備15039648號-7 京ICP證161336號京公網(wǎng)安備 11010802021500號
舉報電話:010-62641205-5060 涉未成年人舉報專線:010-62641208 舉報郵箱:jubao@zhiding.cn
網(wǎng)上有害信息舉報專區(qū):https://www.12377.cn