详情

机器之心报谈

作家：Sia、杨文

能搜网页、写代码，还能教你打游戏。

OpenAI 接连几天的「轰炸」，一经让东谈主审好意思疲钝。

行动叮咛，周三，推出新一代至强 AI 大模子 Gemini 2.0 Flash 。

网友体验先走一波。

就模子所看到的本体及时对话， 嗅觉就像科幻演义相通。

通过分享屏幕，及时商论说文，这个谋划助理很强啊。

让AI在对话过程中天然地生成图像。

当今，一个辅导词就能生成包含门径确认和配图，食谱blog，一步到位。

据谷歌先容，除了能生成翰墨外，还能奏凯生成图片和语音。

不仅如斯，2.0 Flash 还能调用第三方应用和服务，比如可以使用谷歌搜索、运行代码等功能。

从今天启动，开辟者可以通过以下几种形式尝试使用 2.0 Flash 的测试版：

Gemini 的 API 接口谷歌的 AI 开辟平台：AI Studio 和 Vertex AI

不外，生成图片和语音的功能暂时只对「早期融合伙伴」怒放，要比及来岁 1 月才会向总计东谈主怒放。谷歌透露，在接下来几个月里，会把 2.0 Flash 的各式版块整合到多个家具中，包括：

Android Studio（安卓开辟用具）Chrome 开辟用具Firebase（应用开辟平台）Gemini 代码助手

主力模子 Gemini 2.0

今天发布的 Gemini 2.0 Flash 的实验版块，是 Gemini 2.0 系列的第一个模子，亦然刻下主力模子。

它反应速率快（低蔓延），性能弘大，代表了谷歌 Gemini 最顶尖的工夫水平。

除了速率是「前任」的 2 倍，援手图像、视频和音频等多模态输入外，2.0 Flash 当今还援手多模态输出，比如原生生成的图像与文本夹杂，以及可甘休的多谈话文本转语音（ TTS ）音频。

它还好像原生调用用具，如谷歌搜索、代码奉行以考中三方用户自界说函数。

底下这张图展示了 Gemini 不同版块在各项测试中的发扬对比。

总体来看，新模子在编程、数学和多模态处理方面皆有澄清升迁，杰出是在代码生成方面的跳跃最为显赫。

真义的是，在长文才智略( MRCR )这一项上，2.0 Flash ( 69.2% )反而比 1.5 Pro ( 82.6% )发扬差一些，这是少数几个莫得跳跃的标的之一。

图表展示了Gemini不同版块在各项测试中的发扬对比。

Gemini 2.0 Flash 的郑再版块将于 1 月份推出。但在此期间，谷歌正在发布一个 API —— Multimodal Live API（多模态及时 API ），匡助开辟者构建具有及时音频和视频流功能的应用轮番。

网友们一经满足性玩耍起来。

能帮你画好下一步棋子的位置。来自X网友@robertriachi

使用 Multimodal Live API，开辟者可以创建及时的多模态应用，这些应用好像领受来自录像头或屏幕的音频和视频输入。该 API 援手集成各式用具来完成任务，况兼好像处理天然对话模式。

比如，对话中的打断。这和 OpenAI 的 Realtime API 很像。

在对话中天然地生成图像，就像东谈主类聊天时唾手画个透露图相通天然

对图像的后续裁剪

一边处理及时音频输入，一边奉行数据可视化等复杂任务

Project Astra：通用助手的朝阳

本年 5 月份，谷歌发布了通用 AI 助手谋划原型 Project Astra ，这是一个多模态 AI 智能体表情，旨在为用户提供一个好像融会和反馈复杂、动态实在宇宙「 AI 助手」。

此次，谷歌对搭载了 Gemini 2.0 的最新版块 Project Astra 进行了一系列矫正：

更流通的对话：Project Astra 当今好像用多种谈话和夹杂谈话进行相通，对各式口音和陌生词汇的融会也愈加精确。

新用具的哄骗：借助Gemini 2.0，Project Astra 好像使用谷歌搜索、谷歌镜头和谷歌舆图，使其成为你往常生计中愈加过劲的助手。

更弘大的顾忌功能：增强了 Project Astra 的顾忌才智，并确保你可以甘休其顾忌。它当今好像保捏长达 10 分钟的会话顾忌，并能记取你畴昔与它进行的更多对话，从而为你提供愈加个性化的服务。

更低的蔓延：通过新的流媒体功能和原生音频融会工夫，智能体好像以接近东谈主类对话的蔓延速率融会谈话。

他们正勤劳于于将这些功能引入谷歌家具，如 Gemini app 以及眼镜等其他形态的家具。同期，他们也启动在原型眼镜上测试 Project Astra。

在官方演示视频中，番邦小哥用一部装配了最新测试版 Project Astra 的 Pixel 手机进行测试。

收到一封包含公寓信息的电子邮件后，它可以告诉你公寓大门的密码，并记取它。

只需要使用录像头拍摄一稔上的标签和洗衣机上复杂的按钮，它就能告诉你这件一稔是否能机洗、漂白、烘干，以及洗衣机该如何使用。

还可以把一又友读过的书发给它，让它以此分析出一又友的念书试吃并推选联系竹帛。

偶遇一辆巴士，问它是否可以去唐东谈主街隔邻。Project Astra不仅可以搜索出该巴士的行驶阶梯，还能回话出沿线盛名地标。

此外，小哥还戴上原型眼镜来测试Project Astra，成果十分酷炫。

只需一个问题指示，它就能进行天气预告、告诉你是否可以骑自行车进公园，搜索通盘是否有超市等。

Project Mariner：浏览器版「贾维斯」

Project Mariner 是一个基于 Gemini 2.0 构建的早期谋划原型。它通过 Chrome 浏览器插件，能融会你屏幕上的总计本体 —— 不论是翰墨、代码、图片如故表单。

它的利弊之处在于，在 WebVoyager 基准测试中，Project Mariner 行动一个孤苦智能体成就，完成网页任务的准确率达到了 83.5% ，这在咫尺来说是十分可以的得益。

天然当今可能还有点慢，准确度也不是百分之百，但这项工夫正在快速跳跃。

为了确保安全，谷歌作念了好多谨防措施。

比如，它只可在你刻下掀开的网页标签里操作，要作念一些迫切的事情（比如网购）时，还得先问问你痛快不痛快。这就像有个助手帮你就业，但迫切决定如故由你来作念。

Jules：有素养的编程助手

Jules 是一个懂编程的智能助理，奏凯集成在 GitHub 责任历程中。假定你有一个轮番问题需要处理，它能融会问题，制定处理决策，然后在你的领导和监督下把代码写出来。

就像是你多了一个有素养的编程搭档，能帮你分析问题、筹备决策、写代码，但最终的决定权如故在你手中。你可以随时查抄它的责任，确保一切皆稳健你的条件。

游戏过头他鸿沟的智能体

谷歌 DeepMind 一直心爱用游戏来磨练 AI 的才智，就像前几天推出的 Genie 2 ，惟有给它一张图片，它就能创造出可以玩的 3D 宇宙。

当今，他们又在 Gemini 2.0 的基础上开辟了游戏智能体。

它杰出特真义，能看懂你在玩什么游戏，融会游戏画面里发生的事情，然后及时跟你聊天，给你提议该若何玩。就像有个资深玩家一又友在操纵率领你。

他们还和 Supercell 这么的大游戏公司融合，在《部落突破》这么的战略游戏和《卡通农场》这么的模拟谋划游戏中测试 AI 。AI 需要融会不同类型游戏的规则和挑战，这可不是件容易的事。

更利弊的是，这个智能体还能用谷歌搜索，帮你找到网上的游戏攻略和手段。就像是一个既懂游戏、又知谈去哪找谜底的游伴。

除了在虚构宇宙中探索智能体才智，谷歌还在尝试将 Gemini 2.0 的空间推理才智应用于机器东谈主工夫，匡助智能体在施行宇宙中提供匡助，不外咫尺仍处于早期阶段。

https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=

https://developers.googleblog.com/en/the-next-chapter-of-the-gemini-era-for-developers/

https://x.com/simonw/status/1866942603020910866