Neel Somani 指出,虽然人工智能看似依赖数据和算法驱动,但其真正的核心动力是“优化”。在他看来,AI 领域的每一次重大突破——从训练大型语言模型,到部署实时决策系统——本质上都是在大规模解决优化问题。优化不仅是数学工具,更是现代人工智能所使用的“语言”。
作为研究者、技术专家与创业者,Neel Somani 为这一主题带来了独特视角。他毕业于加州大学伯克利分校,拥有数学、计算机科学与商业三重学位;曾就职于 Airbnb 和 Citadel,并于 2022 年创立 Eclipse——基于 Solana 虚拟机的以太坊高速 Layer 2 网络,累计融资 6500 万美元。如今,除区块链领域外,他也是活跃的天使投资人和慈善家,并将重点投入到人工智能前沿项目中。
优化在人工智能中的根源
优化长期存在于各类工程与科学应用场景中,例如减少飞机油耗、提升工厂产能等。在人工智能领域,优化的重要性进一步放大。训练模型的过程,就是不断调整成千上亿个参数,以减少误差、提升性能。广为人知的梯度下降算法正是这种思维的典型体现:沿着减少误差的方向逐步调整参数,使模型逼近最佳状态。
因此,许多从业者认为,训练 AI 更像是“调参”,而非传统意义上的教学或编程。正如 Neel Somani 所强调的:“优化不是编写规则,而是在引导参数找到更好的解。”
优化:AI 学习的真正引擎
从本质上讲,AI 的学习就是一个持续优化目标函数的过程。不同学习方式,其优化方向各不相同:
监督学习:最小化预测值与真实标签之间的差异。
无监督学习:优化数据结构,使数据在内部差异更小或符合特定概率分布。
强化学习:优化长期奖励,在探索和利用之间取得平衡。
这些优化机制推动模型性能不断提升,也解释了现代 AI 对计算资源的高度依赖。系统需要求解极其庞大、复杂的优化问题,因此需要 GPU、TPU 等专用硬件进行加速。
正如 Somani 所说:“AI 的学习不是魔法——它就是优化。不论模型是在匹配标签、聚类数据,还是追求长期奖励,它永远在既定空间中寻找更优解。”
大型语言模型:大规模优化的典型代表
大型语言模型(如 GPT-5 等)体现了优化在 AI 中的极致规模化应用。训练此类模型,需要在庞大数据集上调整数千亿个参数。其目标虽看似简单——最小化模型预测的下一个 token 与真实 token 的差异——但需要经过数万亿次预测,不断重复执行,涉及极高的计算成本和复杂的资源调度。
模型在准确性、流畅性和推理能力上的提升,均来自优化策略的进步,例如更高效的梯度下降方法、合理的学习率调度、以及针对过拟合的正则化手段等。
而在训练完成后,优化过程并未停止。微调、人类反馈强化学习、提示工程等技术,都是进一步提升模型实用性、安全性和对齐度的优化方式。
不仅是训练:部署阶段同样依赖优化
模型训练完成后,优化依旧在实际部署阶段发挥关键作用:
推理优化(Inference Optimization)
实现实时响应需要优化延迟与吞吐量。工程师常将大型模型压缩、蒸馏为更小版本,以提升速度并保持足够性能。
资源优化(Resource Optimization)
AI 公司和云服务商需要不断优化能耗、内存与并行处理能力。运行顶级模型不仅是算法问题,也是基础设施的优化挑战。
用户体验优化(User Experience Optimization)
系统会根据用户反馈持续学习,实现更准确和更个性化的推荐体验。例如 Netflix、Amazon、Spotify 等都依赖不断优化实现更精准的服务。
正如 Neel Somani 所指出:“训练阶段更容易获得关注,但部署阶段才真正体现优化的价值。每节省的一毫秒或一瓦能耗,都可能决定一个系统能否成功规模化。”
（来源：点财网）
