GLM-Realtime是什么？

GLM-Realtime是由智譜推出的低延遲端到端多模態模型，具備視頻理解、語音交互、內容記憶、清唱功能和 Function Call 功能。它適用于多種實時交互場景，通過 Function Call 功能可以拓展到更廣泛的商業應用。開發者可以免費調用該模型，體驗其強大的實時交互能力。

GLM-Realtime 的功能特性

• 低延遲視頻理解與語音交互：實現了低延遲的視頻理解與語音交互，特別適合實時應用場景，如視頻通話和智能硬件交互。
• 2分鐘內容記憶能力：在視頻通話中，能夠記憶長達2分鐘的內容，提供更連貫的交互體驗。
• 清唱功能：創新性地實現了清唱功能，讓大模型具備在對話中的歌唱能力，增加了互動的趣味性。
• Function Call 功能：支持 Function Call 功能，能夠靈活調用外部知識和工具，拓展到更廣泛的商業場景。
• 端到端模型：GLM-Realtime 是一個端到端的多模態模型，能夠同時處理視頻和語音輸入，提供更全面的交互體驗。
• 高性能與低延遲：優化了模型的性能，確保在實時應用中保持低延遲，提供流暢的交互體驗。

GLM-Realtime的應用場景

1、AI 硬件

• 智能眼鏡：集成 GLM-Realtime 的智能眼鏡能夠提供實時信息提示，如導航、天氣、日程提醒等。用戶可以通過語音命令與眼鏡交互，執行操作如撥打電話、發送消息等，提升日常使用的便捷性和效率。
• 陪伴娃娃：利用 GLM-Realtime 的語音交互和記憶功能，陪伴娃娃可以與用戶進行更自然的對話，提供情感支持和教育互動，如講故事、教唱歌、解答問題等，增強用戶的陪伴體驗。

2、視頻通話

• 內容記憶與實時翻譯：在視頻通話中，GLM-Realtime 能夠記憶長達2分鐘的內容，提供更連貫的交互體驗。同時，支持實時語音翻譯，幫助用戶與不同語言的用戶進行無障礙交流，特別適合跨國會議和國際交流。

3、在線教育

• 互動教學與智能輔導：教師可以利用 GLM-Realtime 的視頻和語音交互功能進行實時互動教學，提高教學效果。學生可以通過與 GLM-Realtime 交互獲取即時的學習輔導和解答，增強學習體驗，特別是在需要個性化學習支持的場景中。

4、遠程辦公

• 會議助手與協作工具：在遠程會議中，GLM-Realtime 可以提供實時的會議記錄、內容總結和關鍵信息提示，提高會議效率。同時，支持團隊成員之間的實時語音和視頻交互，增強協作體驗，特別適合需要高效溝通的團隊。

5、智能客服

• 客戶支持與多語言服務：通過 Function Call 功能，GLM-Realtime 可以調用外部知識庫，為客戶提供更準確、更及時的解答。支持多語言交互，幫助客服團隊更好地服務全球客戶，提升客戶滿意度。

6、商業應用

• 智能展廳與智能零售：在商業展廳中，GLM-Realtime 可以提供實時的語音導覽和產品介紹，提升客戶體驗。在智能零售中，通過視頻和語音交互為顧客提供購物建議和產品信息，增強購物體驗，特別適合需要提升客戶互動的商業環境。

如何使用GLM-Realtime？

GLM-Realtime?API已經上線智譜開放平臺bigmodel.cn，現階段可以免費調用。