行業率先實現原生多模態大模型的車端部署，商湯絕影端側8B模型首包延遲低至300毫秒以內，推理速度40Tokens/秒，覆蓋主流算力平臺DriveAGI可解釋、可交互，多模態讓端到端智駕安全可信賴商湯絕影發布行業首個車載生成式交互界面「隨心界面」FlexInterface絕影自動駕駛小巴：WAIC 2024唯一L4自動駕駛接駁小巴，行駛總里程已超300萬公里

2024年7月5日，中國上海——2024世界人工智能大會暨人工智能全球治理高級別會議（WAIC 2024）于7月4日-7月7日在上海舉行。商湯絕影攜多款基于全新發布的商湯「日日新5.5」原生多模態大模型打造的智能駕駛和智能座艙產品亮相本屆WAIC，引領「以人為本」的智能汽車交互革新。

作為加速智能汽車駛入AGI時代的戰略合作伙伴，商湯絕影展示了可解釋、可交互的自動駕駛大模型DriveAGI，同時還發布了行業首個車載生成式交互界面 「隨心界面」（FlexInterface）、「隨意操控」（AgentFlow）等車載AI Agent應用。此外，商湯絕影自動駕駛小巴也亮相本屆WAIC，并成為大會唯一承擔接駁任務的L4級別自動駕駛小巴。

在7月5日由WAIC 2024戰-略合作伙伴商湯科技召開的「大愛無疆·向新力」人工智能論壇上，商湯科技發布國內首個所見即所得模型「日日新5o」，實時流式多模態交互體驗對標GPT-4o，展現采用混合端云協同專家架構的商湯「日日新5.5」大模型的強大實力。商湯科技聯合創始人、首席科學家、絕影智能汽車事業群總裁王曉剛表示，“原生多模態大模型是打開AGI大門的鑰匙，商湯絕影正在激發AGI創造力，推動多模態大模型與智能汽車的深度融合，打造一系列全新的車載智能化產品，加速智能汽車向超級智能體進化，引領一場「以人為本」的智能汽車交互的變革?！?/p>

王曉剛在「大愛無疆·向新力」論壇分享商湯絕影最新的技術和產品進展

真·「以人為本」，商湯絕影多模態大模型引領智能汽車交互革新

多模態大模型能夠將語音、文字、圖像、手勢、視頻等各種模態進行高效且深度地融合，提供更加豐富且自然的人機交互體驗。

過去許多模型處理不同模態信息是先把語音等輸入轉化為文字，文字和圖像結合進行分析，輸出反饋也是先生成文字，根據文字再生成語音輸出，會有大量信息丟失和很高的延遲。

由「日日新5.5」體系支持的全新商湯多模態大模型是一種端到端的模型，也就是文字、語音、視頻等模態一同輸入，模型統一處理后輸出相應模態的信息，相較于過去的方案，多模態融合的技術難度是幾何倍數的提升。

技術上的高難度是商湯行業領先的原生多模態能力的直接體現。今年4月發布的「日日新5.0」是國內首個對標GPT-4 Turbo的國產大模型，「日日新5.5」體系更是全面升級，數學推理、英文能力和指令跟隨等能力明顯增強，交互效果和多項核心指標實現對標GPT-4o。

此前GPT-4o的發布為消費者展示了多模態實時交互的方式，讓更多人領略多模態感知和交互的魅力，也開始幫助釋放多模態大模型的商業落地想象空間。

相較于手機，智能汽車才是更適合承載多模態大模型的落地場景。因為智能汽車內外的各種攝像頭是常開的，用戶可以實時跟汽車通過多模態的方式進行交互。同時，智能汽車的保有量不斷增加，能夠產生豐富的終端用戶反饋和數據信息，讓模型不斷迭代成長。

這些因素綜合展現了一個令人激動的未來智能汽車發展方向：從智能汽車正在進化為超級智能體，多模態大模型則是這一進程的核心驅動力。

和OpenAI等公司相比，商湯絕影是智能汽車的核心供應商，在智能駕駛和智能座艙領域具備豐富的量產經驗，將以多模態大模型為核心加速「以人為本」的智能汽車交互革新。

智能汽車的人機交互正在從「以車為中心」向「以人為中心」轉型。在這個轉型中，現階段用戶仍需用文本或語音給智能汽車提供信息和數據以獲取被動式的服務，其他的信息都丟失了，尚未真正做到主動服務用戶。商湯絕-影正在用多模態大模型打造真·「以人為中心」的智能汽車交互方式，這種交互覆蓋了座艙、汽車周邊的環境，讓有關于“人”的信息不會被忽視，甚至它還突破了空間的限制，實現艙內用戶與更廣闊的物理和數字世界的聯接。

商湯絕影在行業率先實現原生多模態大模型的車端部署

商湯絕影車載端側8B多模態模型性能行業領先

車端模型部署能力是智能汽車交互革新不可或缺的技術保障，商湯絕影能夠以云側、端云結合、端側等全棧方式靈活部署多模態大模型，讓商湯原生多模態能力能夠快速落地智能汽車。

在本屆WAIC上，商湯絕影在行業率先實現原生多模態大模型的車端部署，并對外展示了在3個不同算力平臺上運行2.1B或8B端側多模態大模型的適配能力。相較于動輒就有幾秒鐘延遲的云上部署方案，商湯絕影車載端側8B多模態模型可以實現首包延遲低至300毫秒以內，推理速度40Tokens/秒，為「以人為本」的智能汽車交互革新保駕護航。

DriveAGI可解釋、可交互，多模態讓端到端智駕安全可信賴

2022年底，商湯及其聯合實驗室提出了行業首個感知決策一體化自動駕駛通用模型UniAD，并在次年榮獲2023年國際計算機視覺與模式識別會議(CVPR)最佳論文，今年北京車展，商湯絕影展示了UniAD的實車上路成果，持續引領端到端自動駕駛的創新潮流。

北京車展以來，UniAD穩步前行，通過持續的數據采集、真值生產、模型訓練、實車測試，UniAD系統穩定性大幅增強，體驗連續性和舒適性不斷提升。在本屆WAIC上，商湯絕影展示了只搭載7個攝像頭的UniAD，在無圖情況下實現城區復雜道路、鄉村小路等場景一鏡到底的實車演示，端到端智駕模型持續迭代進化。

UniAD顯著提升了智駕系統的駕駛能力，但純粹的端到端自動駕駛模型不是自動駕駛的最終答案，進一步具備對開放世界的感知、推理、決策及交互能力，將是智能汽車走向超級智能體的重要標志。因此，商湯絕影開創性地研發了首個應用于駕駛決策規劃的智駕大模型，即基于多模態大模型打造的DriveAGI，讓端到端智駕可解釋、可交互。

DriveAGI增強了端到端系統的可解釋性，不僅讓車輛能夠更像人一樣理解復雜的現實世界，洞察各類交通參與者的行為動機，快速學習各種交通規則，掌握瞬息萬變的道路信息，還能向用戶解釋駕駛決策的推理過程。

目前，商湯絕影DriveAGI智駕大模型能在無限寬標識的道路上，安全順利穿過兩個石墩形成的狹窄通道；它還能準確辨識并理解包括公交車道、潮汐車道及施工車道等各類交通標識，并自主進行變道或規避，甚至當后方有救護車接近時，DriveAGI會進行思考推理，最終進行及時變道避讓。

DriveAGI不僅能識別救護車，還能做到主動讓行執勤救護車

多模態大模型還賦予了DriveAGI強大的可交互性，用戶不僅可以通過問詢讓DriveAGI解釋自己的決策過程，還能通過語音或手勢指令來控制自動駕駛行為。例如，未來在自動駕駛狀態下，導航指示車輛需在下個路口調頭以抵達目的地，但駕駛員知曉可在前方有近路可以直接轉彎，那么他只需對系統說出「直接左拐」，系統便會根據當前路況來執行這一指令。

UniAD和DriveAGI智駕大模型的驚艷表現依賴于商湯絕影強大的模型能力，同時也需要大量的高質量數據支持學習和訓練。作為「新質生產力」，以多模態為代表的大模型極大提高了端到端智駕訓練、迭代的生產效率。

以真實的多模態數據為基礎，商湯絕影的世界模型、交通流仿真大模型等一系列云端大模型源源不斷生產出高質量數據，同時通過各個大模型之間相互協同，實現場景生產、交通流仿真、真值生產、系統診斷等能力，打造出智駕大模型時代的端到端數據閉環，為端到端自動駕駛方案的落地與進化提供有力的保障。

多模態融入智能座艙，讓智能汽車成為你的專屬「賈維斯」