近日，在2024 世界人工智能大會(WAIC)期間，商湯科技發(fā)布了首個“大模型+城市服務(wù)”的解決方案及應(yīng)用實(shí)踐“SenseFoundry-VL 方舟多模態(tài)新智平臺”(以下簡稱“方舟多模態(tài)新智平臺”)。該平臺基于 “日日新5.5”大模型體系能力，在此前推出的“SenseFoundry 商湯方舟城市開放平臺”基礎(chǔ)上進(jìn)行全新產(chǎn)品架構(gòu)升級，助力城市服務(wù)場景提智提效，賦能釋放新質(zhì)生產(chǎn)力。

AI 2.0時代，商湯結(jié)合豐富的行業(yè)理解及前沿大模型能力，進(jìn)一步提升了AI服務(wù)的效率和準(zhǔn)確率，正式推出了方舟城市開放平臺全新升級版——“方舟多模態(tài)新智平臺”，著力解決傳統(tǒng)視覺業(yè)務(wù)所面臨的交互方式單一化、泛化場景看不懂、復(fù)雜場景誤報高、大模型應(yīng)用難上手等問題。據(jù)悉，該平臺在傳統(tǒng)的智慧城市解決方案基礎(chǔ)上，主要進(jìn)行了三方面的升級：

一、“需求即指令”。通過Agent技術(shù)，方舟多模態(tài)新智平臺構(gòu)建了可理解并處理多種業(yè)務(wù)的AI智能體，實(shí)現(xiàn)了需求描述向具象指令的高效轉(zhuǎn)化。這種方式更接近于人類之間的交互，用戶可以像提問一樣輸入查詢，大模型則會理解用戶的意圖，并給出相應(yīng)的答案。例如在交通運(yùn)輸場景，交通部門或物流企業(yè)可通過構(gòu)建物流運(yùn)力分析智能體，提取車輛位置、車流狀況、天氣等相應(yīng)信息提取派單信息，最終制定更科學(xué)合理的物流車輛運(yùn)輸時空圖譜。

二、“對話即檢索”。依托大模型視圖語義理解能力，可實(shí)現(xiàn)圖文資源的智能語義化檢索和對話式研判。讓用戶獲得“所說即所得”“所問即所應(yīng)”的體驗(yàn)。例如在劇烈臺風(fēng)后，城市管理者可通過對話即刻檢索出樹木倒伏、電線桿翻倒等各類危害交通安全的場景，從而進(jìn)行快速響應(yīng)處理。

三、“提示即提優(yōu)”。依托大模型良好的泛化能力，無需海量的定制研發(fā)投入，只需少量正負(fù)樣例數(shù)據(jù)和提示詞調(diào)整，即可一鍵生成通用模型和特定模型，對部分復(fù)雜城市事件的識別準(zhǔn)確率高達(dá)90%以上，真正實(shí)現(xiàn)了模型生產(chǎn)和調(diào)優(yōu)的使用易、落地快、成本低。

作為一款“聽的懂、會交流、擅優(yōu)化”多模態(tài)大模型平臺，方舟多模態(tài)新智平臺未來有望持續(xù)推動智慧城市+大模型的迭代升級，聚焦多模態(tài)、高效化、個性化、可解釋性和數(shù)據(jù)驅(qū)動決策等方向，并拓展至智能交通、公共服務(wù)智能化、應(yīng)急響應(yīng)、城市服務(wù)與決策支持、區(qū)域協(xié)同發(fā)展等應(yīng)用場景，進(jìn)一步為企業(yè)及城市管理者提升運(yùn)營效率，為城市居民提供安全、便利、高效、高質(zhì)的城市服務(wù)。

　　落地一線，方舟多模態(tài)新智平臺實(shí)現(xiàn)城市服務(wù)的十倍提效

目前，方舟多模態(tài)新智平臺已在城市服務(wù)場景中實(shí)際落地。以城市便民服務(wù)為例，該平臺可以實(shí)現(xiàn)便民窗口服務(wù)的智能化分類分撥、智能視頻設(shè)備調(diào)取，智能處置建議、智能系統(tǒng)信息查詢等能力。

在某一線城市的12345公共服務(wù)便民熱線場景中，方舟多模態(tài)新智平臺助力12345工單的分類分撥速度提升至原先的10倍以上，并統(tǒng)一了分類標(biāo)準(zhǔn)。在短短一個月內(nèi)，完成了超過30萬次的訴求分撥，平均每天處理一萬余次。換言之，借助方舟多模態(tài)新智平臺，單個分撥員原本一個月的工作量現(xiàn)在僅需一天即可完成，且經(jīng)過二次復(fù)核，準(zhǔn)確率高達(dá)90%以上。這一智能化分撥的應(yīng)用不僅切實(shí)有效，更極大地減輕了政務(wù)工作的壓力，顯著提升了工作效率。

此外，方舟多模態(tài)新智平臺支持自然語言調(diào)取10萬路以上前端點(diǎn)位，實(shí)現(xiàn)分鐘級精準(zhǔn)檢索;升級后的模型架構(gòu)支持通過簡單提示詞，即刻創(chuàng)建全新場景分析功能，實(shí)現(xiàn)1天內(nèi)快速部署上線，3天內(nèi)手動快速調(diào)優(yōu)，部分場景通過二次分析后的準(zhǔn)確率可達(dá)90%以上。真正讓大模型可以迅速落地在各類應(yīng)用場景中，實(shí)現(xiàn)所想即所得。

　　穩(wěn)扎穩(wěn)打，方舟多模態(tài)新智平臺強(qiáng)化優(yōu)勢打造行業(yè)新標(biāo)桿

據(jù)了解，方舟多模態(tài)新智平臺(SenseFoundry-VL)與常見的行業(yè)方案相比，其差異化及優(yōu)勢主要體現(xiàn)在平臺的技術(shù)布局、硬件選型、業(yè)務(wù)應(yīng)用三方面。

首先，是其融合架構(gòu)的技術(shù)布局。商湯科技在視覺領(lǐng)域的深厚算法積累，以及日日新體系的大模型能力，為方舟多模態(tài)新智平臺的全面架構(gòu)升級奠定了扎實(shí)基礎(chǔ)。方舟多模態(tài)新智平臺采用的視覺-語言多模態(tài)大模型，集圖文對比、文本理解生成及交錯圖文理解三大能力為一體，在國際權(quán)威機(jī)構(gòu)的國產(chǎn)化大模型評測中，位列第一梯隊(duì);同時視覺模型+大模型融合架構(gòu)，AI智能體等技術(shù)引入，為城市AI應(yīng)用創(chuàng)新提供了全方位的技術(shù)支撐。

其優(yōu)勢之二，是國產(chǎn)適配的硬件選型。據(jù)悉，方舟多模態(tài)新智平臺充分研討了國產(chǎn)自主可控的方針政策;商湯也是國內(nèi)最早一批啟動國產(chǎn)化適配的大模型AI公司，目前充分適配了國內(nèi)主流的國產(chǎn)芯片和硬件服務(wù)器，為大模型國產(chǎn)化落地提供了全面的算力保障。

優(yōu)勢之三，在于靈活可配的業(yè)務(wù)應(yīng)用。城市場景有復(fù)雜性高、碎片化強(qiáng)的特點(diǎn)，而方舟多模態(tài)新智平臺能夠根據(jù)智慧城市的具體需求，進(jìn)行高度定制化開發(fā)，應(yīng)對城市交通安全、應(yīng)急響應(yīng)，公共安全、養(yǎng)老關(guān)懷等方面的需求。此外，其創(chuàng)新性配套圖文可視化的提示工程設(shè)計(jì)，也很好地兼顧了方案落地的泛化性及系統(tǒng)應(yīng)用的低門檻，有效保障了AI大模型的落地效果。

　　未來可期，方舟多模態(tài)新智平臺讓城市服務(wù)更上一層樓

隨著全球數(shù)字化轉(zhuǎn)型的加速，“智慧城市”與“大模型”的結(jié)合被視為未來城市發(fā)展的關(guān)鍵。近年來，政策、場景、數(shù)據(jù)等多方因素的驅(qū)動，也正在加速未來城市的構(gòu)建和實(shí)現(xiàn)。根據(jù)市場研究機(jī)構(gòu)Grand View Research預(yù)計(jì)，2027年全球智慧城市市場規(guī)模將達(dá)4639億美元，2020-2027年的年復(fù)合增長率將達(dá)24.7%。

方舟多模態(tài)新智平臺的問世和應(yīng)用，是商湯科技在助力城市服務(wù)智能化發(fā)展中取得的突破性進(jìn)展，也代表著人工智能在城市集約化、智能化發(fā)展的進(jìn)程中必將逐步發(fā)揮不可替代的作用。未來，我們相信大模型在城市中的應(yīng)用，必將作為新質(zhì)生產(chǎn)力，開啟城市智能化發(fā)展的新篇章，為構(gòu)建更加人性化、綠色、高效的未來城市奠定堅(jiān)實(shí)基礎(chǔ)。