导语
ChatGPT 凭借大型语言模型（LLMs）引发了创新的巨浪，越来越多的公司将自然语言交互的能力引入到他们的产品中。语言模型 API 的采用正在逐渐形成新的技术栈。为了更好地理解人们正在构建的应用以及他们使用的技术栈，我们采访了投资 portfolio 中的 33 家公司，范围从种子阶段的初创公司到大型上市企业。我们分别在两个月前和上周与他们交谈，来抓住变化的步伐。许多创始人正在努力解决他们自身的 AI 策略，尽管这个领域正在快速发展，我们仍希望分享我们的发现。
01.
几乎所有公司都在产品中用到语言模型
我们看到了一些神奇的自动完成（auto-complete）功能，应用范围从编程（Sourcegraph, Warp, Github）到数据科学（Hex）。我们看到更好的聊天机器人，应用于从客户支持、员工支持到消费者娱乐的各个领域。其他一些公司正在用 AI 优先的视角重塑整个工作流程：视觉艺术（Midjourney）、营销（Hubspot, Attentive, Drift, Jasper, Copy, Writer）、销售（Gong）、接触中心（Cresta）、法律（Ironclad, Harvey）、会计（Pilot）、生产力（Notion）、数据工程（dbt）、搜索（Glean, Neeva）、购物（Instacart）、消费支付（Klarna）以及旅行计划（Airbnb）。这些只是几个例子，而且只是个开始。
02.
这些应用主要基于 API、检索和编排，但开源使用也在增长
65% 的公司已经将应用投入生产，比两个月前的 50% 有所提高，其余的公司仍在实验阶段。
94% 的公司正在使用基础模型 API，在我们的样本中，OpenAI 的 GPT 是首选，占比达到了 91%，但是，Anthropic 在上个季度的关注度增长到了 15%。（有些公司使用多个模型）。
88% 的公司认为检索技术，如向量数据库，将继续是他们技术栈的关键部分。检索模型通过检索相关上下文来提高结果的质量，减少“幻觉”（不准确之处），并解决数据实时性的问题。一些公司使用专门构建的向量数据库（如 Pinecone，Weaviate，Chroma，Qdrant，Milvus 等），而其他公司则使用 pgvector 或 AWS 的产品。
38% 的公司对像 LangChain 这样的 LLM 编排和应用开发框架感兴趣，一些公司用它进行原型设计，而其他公司则将其投入生产。在过去的几个月里，采用率有所提高。
不到 10% 的公司正在寻找用于监控 LLM 输出、成本或性能并进行 A/B 测试提示的工具。我们认为，随着越来越多的大公司和受监管的行业开始采用语言模型，这些一数字可能会增加。
少数公司正在研究补充性的生成技术，如将生成文本和语音结合。我们也认为这是一个令人兴奋的增长领域。
15% 的公司从头开始或使用开源资源构建了自定义的语言模型，通常还会使用 LLM API。从几个月前开始，自定义模型的训练意义增加了。这需要自己的计算堆栈、模型中心、托管、训练框架、实验跟踪等，来自 Hugging Face，Replicate，Foundry，Tecton，Weights & Biases，PyTorch，Scale 等受人喜爱的公司对此提供了支持。
我们与每一位实践者交谈的结果显示，AI 的发展速度太快，以至于很难对最终的技术栈有高度的信心，但大家一致认为，LLM API 将继续作为一个关键支柱，其次是检索机制和像 LangChain 这样的开发框架。开源和自定义模型的训练和调整似乎也在增长。语言模型技术栈的其他领域也很重要，但成熟度较低。
03.
公司希望根据自己的上下文来定制语言模型
通用语言模型非常强大，但对于许多用例来说，它们并不能区分和满足需求。公司希望在他们的数据上启用自然语言交互——他们的开发文档、产品库存、人力资源或 IT 规则等。在某些情况下，公司也希望根据用户的数据定制他们的模型：你的个人笔记、设计布局、数据指标和代码库等。
目前，有三种主要的方式来定制语言模型：
从头开始训练自定义模型，难度最高。
这是解决此问题的最传统且最困难的方式，它通常需要高度熟练的机器学习科学家、大量相关的数据、训练基础设施和计算能力。这也是历史上大部分自然语言处理创新发生在大型科技公司的主要原因之一，BloombergGPT 是一个在大型科技公司之外进行自定义模型尝试的例子，他们使用了 Hugging Face 和其他开源工具的资源。随着开源工具的改进和更多公司使用 LLM 进行创新，我们预计会看到更多的自定义和预训练模型的使用。
微调基础模型，难度中等。
这是通过使用进一步的专有或领域特定数据对预训练模型的权重进行额外训练来进行微调，开源创新也使这种方法越来越可行，但它仍然通常需要一个成熟的团队。一些实践者私下承认，微调比听起来要难得多，可能会产生意想不到的后果，如模型漂移和无预警的“破坏”模型的其他技能。虽然这种方法有很大的可能性会变得更为常见，但目前对大多数公司来说仍然遥不可及。但再次强调，这种情况正在快速改变。
使用预训练模型并检索相关上下文，难度最低。
人们经常认为他们想要一个专门为他们微调的模型，但实际上他们只是希望模型在正确的时间推理他们的信息。有许多方法可以在正确的时间向模型提供正确的信息：向 SQL 数据库提出结构化查询，搜索整个产品目录，调用一些外部 API 或使用嵌入检索。嵌入检索的优点是它使得使用自然语言轻松搜索非结构化数据成为可能。从技术上讲，这是通过获取数据，将其转换为嵌入（embedding），将这些嵌入存储在向量数据库中，当查询发生时，搜索这些嵌入以找到最相关的上下文，并将其提供给模型来实现的。这种方法可以帮助你解决模型有限的上下文窗口问题，成本更低，解决了数据实时性的问题（例如，ChatGPT 不知道 2021 年 9 月以后的世界），而且它可以由没有正规机器学习培训的独立开发者完成。关于这块技术内容可以看深思圈之前的文章：零基础｜搭建基于私域数据的 ChatGPT
向量数据库很有用，因为在高规模下，它们使存储、搜索和更新嵌入变得更加简单。到目前为止，我们观察到大公司往往会遵守他们的企业云协议，并使用他们的云提供商的工具，而初创公司倾向于使用专为向量数据库设计的工具。然而，这个领域的变化非常快。上下文窗口正在扩大（最新消息，OpenAI 刚刚扩展到 16K，而 Anthropic 已经推出了一个 100K token 的上下文窗口）。基础模型和云数据库可能会直接将检索嵌入到他们的服务中，我们将密切关注这个市场的演变。
04.
如今 API 调用和训练模型是相互独立的，但未来两者将慢慢融合在一起
有时候，我们可能会觉得我们面临着两种技术栈的选择：一种是利用 LLM API 的技术栈（更倾向于闭源，针对开发人员设计）；另一种是训练自定义语言模型的技术栈（更倾向于开源，历史上针对更复杂的机器学习团队设计）。有些人想知道，如果 LLMs 通过 API 轻松获取，那么公司是否会减少自己的自定义训练。然而，我们目前看到的情况正好相反。随着人工智能的关注度提高和开源开发的加速，越来越多的公司对训练和微调自己的模型产生了兴趣。我们认为，随着时间的推移，LLM API 技术栈和自定义模型技术栈会越来越融合。例如，一家公司可能会从开源项目中训练自己的语言模型，但又通过向量数据库来进行检索以解决数据实时性的问题。为自定义模型堆栈构建工具的智能初创公司也正在努力扩展他们的产品，以适应 LLM API 革命的需求。
05.
技术栈正在变得越来越易于开发者使用
语言模型 API 让普通开发者也能手握强大的现成模型，而不仅仅是机器学习团队。现在，与语言模型打交道的人群已经明显扩大到所有开发者，我们相信将会看到更多面向开发者的工具。例如，LangChain 通过抽象化常见问题，帮助开发者构建 LLM 应用：将模型组合成更高级的系统，将多个模型调用链接在一起，将模型连接到工具和数据源，构建能够操作这些工具的代理，以及通过简化语言模型切换的过程，帮助避免对供应商的依赖。有些人使用 LangChain 进行原型设计，而其他人则继续在生产中使用它。
06.
语言模型需要变得更可靠（输出质量、数据隐私和安全性）
在全面引入 LLM 到他们的应用之前，许多公司希望有更好的工具来处理数据隐私、隔离、安全、版权和监控模型输出。来自金融科技到医疗保健的受监管行业的公司特别关注这一点，并报告说他们在寻找软件解决方案来解决这个问题（对创始人来说这是一个成熟的领域）上遇到了困难。
理想的情况是：如果不能防止模型生成错误 / 幻觉、歧视性内容、危险内容或其他问题，软件可以及时给出警告信息。一些公司也关注与模型分享的数据如何被用于训练：例如，很少有人知道 ChatGPT 消费者数据默认用于训练，而 ChatGPT 商业版和 API 数据则不是。随着政策的明确和更多的安全措施到位，语言模型将得到更好的信任，这时候我们就会看到采用率的另一个阶段性改变。
07.
语言模型应用将变得越来越多模态
有公司已经在寻找有趣的方式将多个生成模型结合起来产生巨大的效果：结合文本和语音生成的聊天机器人解锁了新的对话体验层次。文本和语音模型可以结合起来，帮助你快速修复视频录制错误，而不用重新录制整个视频。模型本身也正变得越来越多模态。我们可以想象未来丰富的消费者和企业 AI 应用，将文本、语音 / 音频和图像 / 视频生成结合起来，创造更吸引人的用户体验，并完成更复杂的任务。
08.
目前还仅仅只是初期阶段
AI 刚刚开始渗透到技术的每一个角落，只有 65% 的受访者今天已经开始尝试，而且其中很多都是相对简单的应用。随着更多的公司推出 LLM 应用，新的难题将会出现——为创业者创造更多的机会。基础设施层（我理解就是中间层的意思）将在未来几年内快速发展，如果我们看到的一半 Demo 演示都能真正落地投入生产，那么前方等待我们的将是一次令人激动的旅程。看到我们最早期的 Arc 孵化投资的公司到 Zoom 的创业者们都在专注于同一件事情：用 AI 让用户愉快，这是令人激动的。
If you’re founding a company that will become a key pillar of the language model stack or an AI-first application, Sequoia would love to meet you.
红杉美国正在寻找并投资那些将成为语言模型技术栈的关键支柱或 AI 优先应用的公司。
本文为深思圈编译文章，转载请联系公众号后台
参考材料
[1]https://www.sequoiacap.com/article/llm-stack-perspective/
结尾
在看完这篇文章后，又重新回顾了一下去年 9 月份在这波 AI 浪潮还未开始前的这篇红杉美国的预判和分析——《红杉观点｜生成式 AI：一个创造性的新世界》。不得不感叹老牌 VC 的分析和预判能力，成功预测了最近几个月的 AI 浪潮或者说正是这篇文章开启了这样一个新的浪潮。希望这篇文章也能给更多 AI 创业者一些新的启发与思考，另外关于更多 Plugin 和 AI 生态的分析，可以阅读我之前的文章——AGI 要来了？AI Paradigm 的新阶段和新趋势。
另外我们在生成式 AI 这方面的创业项目也逐渐走上正轨了，目前正在找一位早期的产品小伙伴加入，懂海外 SaaS 产品，特别是对通用型和工具类 SaaS 有经验的小伙伴，欢迎后台回复【微信】，加我交流一下哈！
最后再提一下：之前创建的深思圈信息分享群已经运行快半年了，里面会实时分享最新有用和有趣的信息，特别是 AIGC 和出海运营增长这块，群里的信息密度和新鲜度非常高，交流氛围也很好，大家一块在群内讨论和学习。目前 1 群、2 群、3 群、4 群、5 群、6 群和 7 群都已经满员了，我刚刚新建了 8 群，欢迎感兴趣的朋友可以后台回复关键词【信息】，扫码入群。
觉得内容不错的朋友能够帮忙右下角点个赞，分享一下。您的每次分享，都是在激励我不断产出更好的内容。
欢迎关注深思圈，一起探索更大的世界。
往期文章
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
