AIHub 最新消息 2024年12月26日，深言科技“語鯨大模型”正式通過《生成式人工智能服務(wù)管理暫行辦法》備案，將陸續(xù)面向社會(huì)公眾開放服務(wù)。那么語鯨大模型是什么，可以做什么，如何使用呢，一起來看看。
語鯨大模型是什么？
LingoWhale-8B是由深言科技推出的語鯨系列大模型中首個(gè)開源的中英雙語大語言模型，擁有約80億參數(shù)，在數(shù)萬億token的高質(zhì)量中英數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，具有強(qiáng)大的基礎(chǔ)能力，在多個(gè)公開評(píng)測(cè)基準(zhǔn)上均達(dá)到領(lǐng)先效果。在預(yù)訓(xùn)練階段，模型使用8K的上下文長(zhǎng)度進(jìn)行訓(xùn)練，能夠完成更長(zhǎng)上下文的理解和生成任務(wù)。
語鯨大模型可以做什么？
“語鯨大模型”具備強(qiáng)大的語義理解與文本生成、代碼理解與生成、邏輯推理等能力，提供文本創(chuàng)作、數(shù)學(xué)計(jì)算、代碼補(bǔ)全等服務(wù)，在中文理解和生成能力上行業(yè)領(lǐng)先，做到了更懂中文，更懂中文使用場(chǎng)景。
以下是深言科技提供的測(cè)試樣例：
語鯨大模型測(cè)評(píng)結(jié)果
語鯨大模型在各種公開評(píng)測(cè)基準(zhǔn)上進(jìn)行了測(cè)試，比如 C-Eval、MMLU 和 CMMLU。這些評(píng)估基準(zhǔn)提供了標(biāo)準(zhǔn)化的測(cè)試和度量，用于評(píng)估語言模型在不同任務(wù)和領(lǐng)域上的性能和能力。
語鯨大模型在多個(gè)公開評(píng)測(cè)基準(zhǔn)上取得了領(lǐng)先效果。評(píng)測(cè)方法和測(cè)評(píng)結(jié)果如下表所示：
| Model | C-Eval | MMLU | CMMLU | GAOKAO | HumanEval | GSM8K | BBH | AGIEval |
|---|---|---|---|---|---|---|---|---|
| 5-shot | 5-shot | 5-shot | 5-shot | 0-shot | 8-shot | 3-shot | 5-shot | |
| GPT-4 | 68.4 | 83.9 | 70.3 | 66.2 | 69.5 | 90.0 | 75.1 | 63.3 |
| GPT-3.5 Turbo | 51.1 | 68.5 | 54.1 | 47.1 | 52.4 | 57.8 | 61.6 | 46.1 |
| LLaMA2-7B | 28.9 | 45.7 | 31.4 | 26.0 | 12.8 | 16.2 | 39.2 | 26.5 |
| ChatGLM2-6B* | 51.7 | 47.9 | - | - | - | 32.4 | 33.7 | - |
| Baichuan2-7B-Base* | 54.0 | 54.2 | 57.1 | 47.5 | 18.3 | 24.5 | 41.6 | 42.7 |
| Qwen-7B v1.1* | 63.5 | 58.2 | 62.2 | - | 29.9 | 51.7 | 45.0 | - |
| LingoWhale-8B-base | 63.6 | 60.2 | 62.8 | 50.3 | 32.9 | 55.0 | 47.5 | 43.8 |
*表示其模型結(jié)果來自于官方， 所有的結(jié)果都精確到小數(shù)點(diǎn)后1位。
如何使用語鯨大模型？
語鯨大模型模型已經(jīng)開源，供學(xué)術(shù)研究免費(fèi)使用，商業(yè)用途需要通過申請(qǐng)獲取授權(quán)。
在開源模型權(quán)重的同時(shí)，語鯨大模型也提供了符合用戶習(xí)慣的Huggingface推理接口以及LoRA等參數(shù)高效微調(diào)示例，便于開發(fā)者快速使用LingoWhale-8B模型。
開源地址：
- GitHub：https://github.com/DeepLangAI/LingoWhale-8B
- Huggingface：https://huggingface.co/deeplang-ai/LingoWhale-8B
- ModelScope：https://www.modelscope.cn/models/DeepLang/LingoWhale-8B
- Wisemodel：https://wisemodel.cn/models/DeepLang/LingoWhale-8B
若你期望將此源模型或其衍生品用作商業(yè)用途，請(qǐng)?zhí)顚?a target="_blank" rel="noopener nofollow">問卷進(jìn)行申請(qǐng)，通過后即可免費(fèi)商用。
關(guān)于深言科技
深言科技官網(wǎng)：https://deeplang.ai/
深言科技（DeepLang AI）由清華大學(xué)計(jì)算機(jī)系自然語言處理實(shí)驗(yàn)室（THUNLP）與北京智源人工智能研究院（BAAI）共同孵化，是國(guó)內(nèi)最早開展大模型研發(fā)與探索大模型落地的創(chuàng)業(yè)公司之一。
公司創(chuàng)始團(tuán)隊(duì)曾深度參與智源·悟道大模型的研發(fā)，目前已發(fā)布產(chǎn)品包括世界首個(gè)中文及跨語言反向詞典WantWords、名句語義檢索系統(tǒng)WantQuotes、智能寫作工具深言達(dá)意等，已為超過800萬用戶提供智能文本信息處理服務(wù)。
公司成立以來已獲得多項(xiàng)榮譽(yù)，包括入選《中國(guó)企業(yè)家》大模型新銳9名單、中國(guó)最具價(jià)值 AGI 創(chuàng)新機(jī)構(gòu) TOP 50、第十一屆中國(guó)創(chuàng)新創(chuàng)業(yè)大賽（初創(chuàng)組）優(yōu)秀企業(yè)等，并已入選北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計(jì)劃。
