火山引擎云基础、模型服务等多产品更新发布 为企业大模型应用落地再提效

 人参与 | 时间:2024-12-25 13:25:45

每一次工业革命 ,火山都为我们带来了跃迁式发展。引擎云基用落当以 AI 为代表的础模又一次技术变革浪潮向我们奔来时,企业如何才能获得所必须的型服新发型技术支撑。为开启通用人工智能时代做好充分准备?多产大模地再12月18日,2024火山引擎FORCE原动力大会·冬 技术主论坛,品更带来了一系列全新产品及升级。企业帮助企业解决,提效落地大模型所面临的火山实际问题。


字节跳动基础架构负责人 赵鹏伟

火山引擎云基础、模型服务等多产品更新发布 为企业大模型应用落地再提效

“为了迎接通用人工智能时代的引擎云基用落来临,企业需要在性价比、础模创新以及安全等方面做好准备。型服新发型火山引擎为企业提供了 AI 云原生式的多产大模地再全链路产品服务能力,以豆包大模型、品更大模型服务、企业AI 基础设施、数据和安全方向的产品新成果,与众多企业和开发者用户在未来的 AI 创新变革之路上携手共进。”字节跳动 基础架构负责人赵鹏伟表示。

AI云原生 打造以AI负载为中心的基础架构新范式

过去十年中,云原生架构的弹性、存算分离以及服务化等能力,成为了企业高效构建大规模业务系统的有力支持。随着 AI 时代的来临,更多的计算变成以 GPU 为核心,旧有架构难以充分发挥 GPU 高算力、高带宽优势,同时 GPU 训练和推理场景,也对高速互联、在线存储和隐私安全提出了更高的要求。

火山引擎认为,下一个十年,计算范式应该进入 AI 云原生的新时代。AI 云原生,将以 GPU 为核心重新来优化计算、存储与网络架构,GPU 可以直接访问存储和数据库,来显著的降低 IO 延迟。同时,全系统提供更高规模的高速互联,和端到端的安全保护。为此,火山引擎将打造以 AI 负载为中心的基础架构新范式,推出新一代计算、网络、存储和安全产品。

✔ 在计算层面,新一代的火山引擎 GPU 实例,通过 vRDMA 网络,支持大规模并行计算和 P/D 分离推理架构,显著提升训练和推理效率,降低成本。

✔ 存储上,新推出的 EIC 弹性极速缓存,能够实现 GPU 直连,使大模型推理时延降低至1/50;成本降低20%。

✔ 在安全层面,火山将推出 PCC 私密云服务,构建大模型的可信应用体系。基于 PCC,企业能够实现用户数据在云上推理的端到端加密,而且性能很好,推理时延比明文模式的差异在5%以内。

火山方舟加速大规模落地 全新发布Prompt优解

作为一站式大模型服务平台,火山方舟将凭借 Cache、离线推理模式等产品与升级,以及全新发布的 Prompt 优解,加速大模型能力落地。

大模型落地过程中,prompt(提示词)的编写,往往是横在面前的第一道门槛,大模型能力越强,对指示词、指令的遵循程度也就越高。

火山引擎发布 Prompt 优解,可以通过“自动+互动”方式协助用户编写提示词,让用户在互动中表达需求,快速上手。用机器实现类似人类的反思、类比、错误总结能力,全自动优化  prompt,助力企业低成本高效率获得高质量  prompt。目前,Prompt 优解已通过火山方舟开放全量公测。

火山引擎始终把更低、更好的成本和价格放在首位。为进一步践行“人人用得起,才是好模型”理念,火山引擎发布离线批量推理方案和上下文缓存,帮助用户实现更为精细化和低成本的运营。

全新扣子1.5、HiAgent1.5 助力打造企业级AI原生应用

从通用大模型到企业 AI 应用落地,需跨越“到一个好用的应用”、“到 N 个好用的应用”、“到组织、流程、战略”三道鸿沟。

此外,豆包大模型最新发布的豆包·视觉理解模型、豆包·文生图模型2.1和豆包·音乐模型,都可以在扣子通过插件的方式体验,将有助于更多多模态 AI 应用在扣子诞生。

数据飞轮2.0发布 开启数智生产力新时代

为了帮助企业用好数据,用数据驱动业务价值的提升,火山引擎发布数据飞轮2.0,通过 AI 创新,来重新定义企业数据智能。数据飞轮2.0将全面注入大模型,带来前所未有的决策洞察;通过一体化数智研发与一站式数据智能运营,让工作流程化繁为简;在多元异构计算引擎的加速下,快速处理结构与非结构数据资产,激发企业更多潜在数据资产,实现更大的动力。

围绕企业数据建设与数据应用的各个环节,数据飞轮2.0的全系产品迎来了全面实现 AI 创新的新阶段。此外,发布两大核心方案:

✔ Data Fabric 驱动下的 ChatBI 智能体,可以让数据消费变得更简单直接。该方案通过构建完整的智能数据服务体系,打破数据“专业”壁垒,帮助企业内每个业务都能定制专属智能体,持续降低数据使用门槛,提升大模型能力下的数据反馈效率和准确率。

✔ 多模态数据湖,拓宽了数据资产的边界,可以实现海量结构化、半结构化及非结构化数据的统一精细化管理,全方位兼容各类数据格式,为 LLM 预训练、持续训练和微调全程各个环节提供更好的数据支持。

让智能更安全,让安全更智能

火山引擎云安全围绕“让智能更安全、让安全更智能”理念,为 AI 基础设施提供透明可信的安全保障,同时也通过安全智能体,希望字节跳动沉淀的安全经验服务好每个企业。

大模型应用进入开花结果阶段,企业对模型能力、价格以及落地难度都提出了更高要求。火山引擎本次发布的多款全新产品与升级,进一步降低模型训练、推理应用难度,以更高性价比、更强安全保障,为企业落地 AI 能力形成增长奠定了坚实基础。

未来,火山引擎将继续强化全栈 AI 服务能力,不断推动技术与行业场景深度融合,助力企业凭借 AI 等创新技术,实现更大价值飞跃。

 

顶: 9踩: 48