Google AI Edge Gallery – 谷歌开源项目｜完全本地运行大模型APP

Google 在大上周的发布会还悄悄发布了一个开源项目，一个完全本地运行的开源大模型APP——Google AI Edge Gallery。

这个项目使用 Gemma3n, 并且同时集成了多模态能力，可以上传图片和音频。想要自己构建安卓 AI APP 的同学完全可以把这个项目当作模板使用。

Google AI Edge 画廊是一款实验性应用，将最先进的生成式 AI 模型直接交到您的手中，在您的 Android (现已上线) 和 iOS (即将推出) 设备上完全本地运行。探索一个充满创意和实用 AI 应用场景的世界，在加载模型后无需网络连接即可运行。您可以尝试不同的模型，进行对话，用图片提问，探索提示，等等！

概览

图片查询

提示实验室

AI 聊天

核心功能

• 📱 本地运行，完全离线： 无需网络连接，体验 GenAI 的神奇。所有处理都在您的设备上直接进行。
• 🤖 选择模型： 轻松切换来自 Hugging Face 的不同模型，并比较它们的性能。
• 🖼️ 询问图片： 上传图片并提问。获取描述，解决问题，或识别物体。
• ✍️ Prompt Lab: 概要总结、重写代码或使用自由格式提示来探索单轮 LLM 用例。
• 💬 AI Chat: 进行多轮对话。
• 📊 性能洞察: 实时基准测试（TTFT、解码速度、延迟）。
• 🧩 自带模型: 测试您本地的 LiteRT .task 模型。
• 🔗 开发者资源: 快速链接到模型卡片和源代码。

技术亮点

• Google AI Edge: 用于设备端机器学习的核心 API 和工具。
• LiteRT: 优化模型执行的轻量级运行时。
• LLM 推理 API: 用于设备端大型语言模型的强大支持。
• Hugging Face 集成： 用于模型发现和下载。

更新日志

v 1.0.3

修复图像捕获表中的一些潜在内存泄漏问题

获取方式

官方网站

https://github.com/google-ai-edge/gallery