游吧乐下载

MNN Chat官方下载2025安卓版

大小：34.7M
时间：2025-09-10 09:17
性质：免费
版本：v0.7.3.1

软件介绍
评论(4)

标签： ai

MNN Chat 2025安卓版(com.alibaba.mnnllm.android)，高效部署大语言模型！支持千问、百川、LLAMA等多种模型，兼容Tensorflow、ONNX等格式。亮点在于多模态大模型支持，新增LLM单步执行、扩展采样算法等功能，CPU/GPU性能大幅优化，加载速度更快。适用于手机、PC等设备，快来体验流畅的AI对话！

MNN Chat是什么

MNN-LLM是基于MNN引擎开发的大语言模型运行方案，解决大语言模型在本地设备的高效部署问题(手机/个人电脑/嵌入式设备)。支持常见的千问/百川/智谱/LLAMA等大语言模型。

MNN Chat怎么用

1、在本站下载安装软件，打开后进入主页，进入主页可以看到AI模型，大家可以根据自己的需求选择想要部署的AI模型；

MNN Chat

2、然后选择需要下载的文件，直接点击就能快速下载；

MNN Chat

3、还可以在搜索框输入关键词进行搜索下载。

MNN Chat

支持哪些

支持 Tensorflow、Caffe、ONNX、Torchscripts 等主流模型文件格式，支持CNN / RNN / GAN / Transformer 等主流网络结构。

支持多输入多输出，支持任意维度的输入输出，支持动态输入（输入大小可变），支持带控制流的模型

算子丰富，支持 178 个Tensorflow Op、52个 Caffe Op、163个 Torchscipts Op、158 个 ONNX Op（ONNX 基本完整支持）

支持服务器 / 个人电脑 / 手机及具有POSIX接口的嵌入式设备，支持使用设备的 CPU / GPU 计算，支持部分设备的 NPU 计算（IOS 11 + CoreML / Huawei + HIAI / Android + NNAPI）

支持 Windows / iOS 8.0+ / Android 4.3+ / Linux 及具有POSIX接口的操作系统

使用说明

1、兼容 Tensorflow、Caffe、ONNX、Torchscripts 等多种主流模型文件格式，并适配 CNN、RNN、GAN、Transformer 等主流网络架构。

2、具备多输入多输出能力，可处理任意维度的输入输出数据，支持动态输入（即输入大小不固定），同时兼容含有控制流的模型。

3、算子库丰富，涵盖 178 个 Tensorflow 操作符、52 个 Caffe 操作符、163 个 Torchscripts 操作符、158 个 ONNX 操作符（ONNX 操作符基本实现全面支持）。

4、广泛适用于服务器、个人电脑、手机以及具有POSIX接口的嵌入式设备，支持利用这些设备的 CPU、GPU 进行计算，同时部分设备还支持 NPU 计算（如 IOS 11 及以上版本的 CoreML、华为 HIAI、Android NNAPI）。

5、操作系统兼容性强，支持 Windows、iOS 8.0 及以上版本、Android 4.3 及以上版本、Linux 以及具有POSIX接口的其他操作系统。

MNN Chat最新版本更新内容

LLM 相关更新

App 发布

Android

新增Android的大模型应用（LLM / Diffusion），详见 apps/Android/MnnLlmChat/README.md

iOS

新增 iOS 的大模型应用，详见 apps/iOS/MNNLLMChat/README.md

新特性

模型支持

支持 Qwen2-VL / Qwen2-Audio / Qwen2.5-VL 等多模态大模型的导出和运行。

支持 DeepSeek-R1-1.5B-Qwen 和 DeepSeek-R1-7B-Qwen

LLM 单步执行支持

新增了对 LLM 单步执行的支持，便于调试和优化模型推理过程。

LLM 扩展采样算法支持

扩展了采样算法的支持，提升了模型推理的灵活性和多样性。

LLM 导出模型时支持输出历史 Token 的概率值

在导出 LLM 模型时，新增了输出历史 Token 概率值的功能，便于后续分析和优化。

LLM-CPU 支持 mmap 文件缓存

新增了对 mmap 文件缓存的支持，使二次加载模型时避免内存重排，提升了加载效率。

性能优化

CPU 多线程性能进一步提升

对 LLM 多线程性能进行了优化，进一步提升了整体推理速度。

CPU prefill 性能优化

优化了 CPU 上 prefill 性能，使 1024 token 输入和 512 token 输入的 prefill 性能持平。

GPU 优化 OpenCL AutoTuning 耗时

优化了 OpenCL AutoTuning 的耗时，避免了首次推理耗时过长的问题。

GPU 优化：Metal / OpenCL 支持 fp16 的 scale/bias，支持对称量化优化

Metal / OpenCL 后端支持 fp16 的 scale/bias 和对称量化优化的支持，提升了推理效率。

LLM 加速：Metal / OpenCL 后端支持 scale/bias 使用 fp16

Metal / OpenCL 支持 scale/bias 使用 fp16（设置 precision = low 时启用），进一步优化了 GPU 推理性能。

厂商：
官网：https://www.mnn.zone/m/0.3/index.html
包名：com.alibaba.mnnllm.android.release
名称：MNN Chat
MD5值：917a1819ecc8075f0361eff1deb7efd0
备案号：

猜你喜欢

ai ai视频生成工具 ai文案创作

ai 进入专区

ai视频生成工具 进入专区

ai文案创作 进入专区

热门推荐

用户评论

跟帖评论

第 4 楼 广东广州电信网友客人 发表于: 2025/9/2 9:46:18: MNNChat2025的更新速度和功能迭代令人称赞。最新版本对多模态大模型的支持，以及LLM扩展采样算法的加入，都展现了团队的创新力。特别是CPU prefill性能和OpenCL AutoTuning的优化，让我在体验AI对话时感受到了前所未有的流畅和稳定。期待未来的更多突破！
支持( 0 ) 盖楼(回复)
第 3 楼 山东青岛联通网友客人 发表于: 2025/9/2 8:45:55: 这款应用最让我惊喜的是它极强的兼容性。我的旧安卓平板和新PC都能流畅运行，甚至连家里的嵌入式设备也能部署。MNN引擎的优化让各种设备都能发挥出最大潜力，无论是CPU、GPU，还是部分NPU，都能有效利用。真正做到了让高性能AI触手可及，普惠大众。
支持( 0 ) 盖楼(回复)
第 2 楼 宁夏银川中移铁通网友客人 发表于: 2025/9/2 5:47:23: 作为一名开发者，我对MNNChat2025的技术实力深感佩服。它不仅支持Tensorflow、ONNX等多种模型格式，最新的多模态大模型如Qwen2-VL和LLM单步执行功能更是锦上添花。动态输入和丰富的算子库让模型部署变得前所未有的灵活，是一款真正为AI落地而生的利器！
支持( 0 ) 盖楼(回复)
第 1 楼 山东青岛联通网友客人 发表于: 2025/9/2 3:42:29: MNNChat2025安卓版简直是移动AI应用领域的里程碑！它让大语言模型在我的手机上跑得飞快，无论是千问还是LLAMA，响应都非常流畅。最新的性能优化，特别是CPU多线程和GPU的改进，让加载速度和推理效率都达到了一个新的高度，现在能随时随地体验高质量的AI对话了，完全超出预期。
支持( 0 ) 盖楼(回复)

查看更多评论

最新更新

本类排行