在 I/O 开发者大会上，谷歌今天宣布推出其最新的大型语言模型 (LLM) PaLM 2。PaLM 2 将为谷歌更新的 Bard 聊天工具提供动力，该公司是 OpenAI 的 ChatGPT 的竞争对手，并作为该公司今天宣布的大多数新人工智能功能的基础模型。PaLM 2 现在可通过 Google 的 PaLM API、Firebase 和Colab提供给开发人员。
与 OpenAI 类似，谷歌没有提供很多关于它如何训练这个下一代模型的技术细节，包括参数计数（PaLM 1 是一个 5400 亿参数模型，就其价值而言）。谷歌在此提供的唯一技术细节是 PaLM 2 构建在谷歌最新的JAX和TPU v4基础设施之上。
DeepMind 副总裁 Zoubin Ghahramani 在今天宣布之前的新闻发布会上说：“我们在工作中发现，这并不是真正的模型大小——越大并不总是越好。” “这就是为什么我们提供了一系列不同大小的模型。我们认为实际上参数计数并不是思考模型能力的有用方法，而能力真的要由使用模型的人来判断，并找出是否它们在他们试图用这些模型实现的测试中很有用。”
相反，该公司决定专注于其能力。谷歌表示，新模型更擅长常识推理、数学和逻辑。事实上，正如 Ghahramani 指出的那样，该公司在大量数学和科学文本以及数学表达式上训练了模型。众所周知，专注于语言的大型语言模型在不借助第三方插件的情况下难以处理数学问题。然而，谷歌认为 PaLM 2 可以轻松解决数学难题、通过问题推理甚至提供图表。
PaLM 2 现在还改进了对编写和调试代码的支持。该模型使用 20 种编程语言进行了训练，包括 JavaScript 和 Python 等流行语言，还包括 Prolog、Verilog 和 Fortran 等语言。PaLM 2 构成了 Codey 的基础，Codey 是 Google 用于编码和调试的专业模型，它今天也作为其代码完成和生成服务的一部分推出。
谷歌今天还强调，PaLM 2 是在一个包含 100 多种语言的语料库上进行训练的，用谷歌的话来说，这使得它“擅长多语言任务”，包括比以前的模型更微妙的措辞。
谷歌将 PaLM 视为一个模型家族，其中包括 Codey 以及 Med-PaLM 2 等模型，后者是该公司专注于医学知识的模型。还有 Sec-PaLM，一个专注于安全用例的版本和一个可以在智能手机上运行的更小的 PaLM 2 模型，这可能会向更多以隐私为中心的用例开放 PaLM，尽管谷歌不会承诺任何时间表为了这。谷歌表示这个模型每秒可以处理 20 个令牌，这不是非常快，但对于某些用例来说可能是可以接受的（不过谷歌不会说它在哪部手机上进行了测试）。
众所周知，谷歌采用非常慎重的方式来推出这些人工智能功能——该公司承认这一点。但与此同时，谷歌代表对此的标准说法是，该公司希望负责任地构建这些工具，并牢记安全性。当然，这也是该公司对 PaLM 的评价。由于无法在今天发布之前对其进行测试，我们显然不知道它的性能如何以及它如何处理边缘情况。
本文转载自雅虎，本文观点不代表飞鱼出海立场。转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢
