Operit AI

Operit AI官方正版是一个跑在手机本地的Agent工作台，模型负责理解意图，工具负责动手，系统权限负责落地。

Operit AI前端发文字、语音、图片、文件、屏幕截图都行，AI把模糊需求拆成步骤，调工具、读结果、再决定下一步，后端执行读文件、发请求、开浏览器、点界面、跑Linux命令、写回结果。

核心特点

• 面向任务的 Agent 工作台：支持附件、工作区上下文、工具执行过程、文件变更和多轮任务管理

• 自主选择模型与服务：连接主流云模型、自定义兼容端点和密钥池，也可使用 MNN 模型或通过 llama.cpp 运行 GGUF 模型

• 深度集成 Android 与网页环境：在授权后调用系统能力、操作应用界面，或通过内置浏览器读取和操作网页

• 移动开发与终端环境：在手机上管理项目、编辑代码、预览网页，并使用 Ubuntu 24.04 用户空间、SSH 和 SFTP

• 长期记忆与角色体系：管理图谱化记忆、对话历史、角色卡和多角色对话，并为不同角色绑定独立能力

• 可组合的扩展与自动化：通过统一市场、工作流和系统集成组合工具，构建可重复执行的任务流程

Operit AI手机版基本流程讲解

初次使用/试用

初次使用 Operit AI 时，需要进行一些简单的配置。以下我们将会以最快的步骤，完成配置：

步骤一：阅读我们的协议

步骤二：授予权限

在这里，授予软件几个基本权限。

特别说明: 悬浮窗权限一定要的，不然会导致申请授权的弹窗弹不出来。

权限引导

步骤三：选择权限级别

这一步，如果不清楚这些选择都是啥意思，就直接选择标准权限。

有Shizuku的，选择调试权限，有root的，选择root权限。

无障碍权限下有一些风险，如果想要自动点击功能的话可以考虑 无障碍权限 以及它下面的选项。

选择权限级别

步骤四：设置用户偏好

用户偏好将会在和ai聊天的时候发送给ai，并且也会在对话之中逐渐自动修正。

这里之前会有人纠结，这个身份认同到底是啥东西。这个的意思是代表，你想要被ai以什么身份去认为。

当然。这里的这些选项也可以一个都不填，直接划到底确认，这样也是没有任何影响的。

偏好配置

步骤五：配置自己的API

情况1：使用软件自带的直接配置

这个地方，你可以点击获取token，跳转到deepseek官方，然后去申请一个key。中间可能需要给deepseek官方充钱。这个是按使用量计费的。

申请之后填进去，点一下按钮，就可以开始对话了。

配置API后开始使用

情况2：使用自定义api

当然如果你有自己的api，可以点击那个自定义按钮。

这里面，需要选择你对应的模型的供应商。主要选择为: OpenAI兼容，以及OpenAI Response兼容两种情况。当然，如果你使用的供应商可以直接在列表找到，那就直接选，不用再去用通用的了。而且这样有个好处就是不需要自己去填url，只需要token和模型。

如果选择其他供应商，那么和选择OpenAI兼容是一样的。

选择之后填入url，然后填入token，再点击模型输入右边那个按钮去选择模型。完成后滑到顶部点击测试模型。

如果通过，接下来往下滑动，未通过的话请尝试更换供应商/根据报错排查填写。另外，endpoint需要填到具体的completions的位置，不懂的话截个图问豆包。

对于大部分的模型，请打开toolcall，对于gpt，请打开严格toolcall。识图识视频之类的，按照模型是否真的支持去开启。如果不确定，点击测试的时候也会进行一次连接，如果发现识图之类的不支持，请关闭。

自定义

关于模型配置，我们将会在下一个文章详细介绍。

步骤六：阅读与探索

完成API配置后，您就可以返回 Operit AI，开始您的智能助手之旅了！

可以先尝试问ai几个简单的问题，比如: 今天几度？我在哪里？打开xxx应用。搜搜火车票。

更高级的用法，我们会在后面继续介绍，请不要急，这只是软件的入门，后面还有很多教程。

特殊步骤：终端配置

可能这个时候就会有人有疑问了：唉你说这样就好了？但是我看权限授予界面里面，还有一个Operit终端需要授权啊！

是的，这个确实还需要进行安装。但是这个也不是最主要的，基础使用的话，只要做上面说的这些已经足够了。当然，这个终端授权一下也是没问题的，记得找个网好的地方，需要下载一些东西。

Operit AI手机版模型配置与上下文指南

首先是在设置界面可以找到模型与参数配置的设置项。

接着，我们就进入了模型配置界面。

API设置

云端模型

供应商和端点

为了更好地选择供应商，我们补充一些基础知识：模型的接口并非完全统一。以下几段话为补充资料，各位可以选择性阅读。

目前的接口主要有三大类：OpenAI端点、Anthropic端点、Gemini端点，而OpenAI端点下又分为completions以及responses两种格式。目前市面上最通用的是OpenAI的completions接口形式。 不同端点不可以混用。 比如，你不可以把OpenAI形式的API，在不进行任何调整的情况下，直接丢给Gemini通用供应商选项，这样会报错。

每个端点都有它独特的标志。最显而易见的是：路由不同，说白了就是链接的末尾长的不一样。以openai为例，它的端点是https://api.openai.com/v1/chat/completions，特征非常的明显，以v1/chat/completions结尾。而openai responses格式，则是https://api.openai.com/v1/responses，以v1/chat/completions结尾。

再列举一个例子，deepseek api的请求地址就是https://api.deepseek.com/v1/chat/completions。

正是因为接口并非完全统一，所以我们要选择到正确的api提供商。从哪个平台拿到的key，就需要用哪个平台的提供商类型。 这里分两个情况。

情况一：列表找得到供应商

在选择完供应商后，api端点会被自动填写。 如果你是glm之类的coding plan，那么需要额外点击一次端点区域，去选择对应的coding端点。

情况二：列表找不到供应商

如果在列表里面找不到，那么请选择大类：openai通用/openai response通用/authropic通用/gemini通用。一般而言前两个用的比较多。 接下来需要手动填写，具体填哪个，需要参考你拿key的那个网站文档。

密钥

这里的api密钥，也就是我们前文提到的api key。填入进去即可。

模型名称

点击模型输入框右侧的按钮，可以自动拉取模型列表，然后勾选一个或者多个模型。

如果拉取不到，也没有关系，你可以尝试手动填写。

到这里，云端模型的基本三要素齐全。

本地模型

Operit支持了两种类型的本地模型(ollama供应商属于上面的云端模型)：mnn以及llama.cpp。本地模型运行基本上。。。。跑不起来，但是考虑到有这种需求，我们还是把它加上去了。

本地模型运行的时候，请在对话界面的菜单里面选择：禁用工具。如果不禁用，那么你将会享受到非常长的推理时间以及可能的死机和崩溃，因为工具提示词实在是太太太长了，手机带不动。

如果真的想要试试工具，建议把各种工具都关掉，只开一个或者两个工具。具体如何操作，我们将会在后面的工具部分详细介绍，这里不过多展开。

只要将api供应商选择为llama或者mnn即可。mnn我们提供了下载途径，llama需要自备模型。

有很多人问我能不能支持npu，没问题，但是前提是官方先得支持我才能搬过来a(

Operit将mnn的文件储存在/storage/emulated/0/Download/Operit/models/mnn里面，将llama的文件储存在/storage/emulated/0/Download/Operit/models/llama里面，各位可以使用文件管理器自行管理。

其他开关

所有的模型都有：模型支持识图、模型支持音频解析、模型支持视频解析、toolcall、严格toolcall。

一般情况下，建议开toolcall以及严格toolcall。虽然软件内说明的是非报错可不开，但是很多人遇到了如下问题：ai一直激活各种工具包倒是不调用，尤其是glm5以上以及gpt，这种就一定要开严格toolcall。为了避免麻烦，不如能toolcall的全部开严格。

模型支持识图、音频、视频，这个请根据实际情况来，这个就是纯字面意思。最简单的方法就是三个一起开，然后点一下最上面的测试，报错了，就给它关了，说明这个模型不支持报错的项目。

可能会有人想问：这几个不开会影响什么吗？会也不会。比如deepseek，不支持识图，这里把模型支持识图关了，但是模型本身依旧可以通过软件内置的ocr识别文本去读取图片，但是如果你对软件撒谎，为deepseek开启了模型支持识图，那反而会在运行的时候报错。

以及，这将会给软件一个委托的标准，简单而言就是，不支持多模态识别的模型，去找另外一个你设定的支持多模态的配置，让这个模型配置帮帮忙识别一下内容再转达回来。通过这种方法也是可以完成多模态的。这将会在下一个章节讲。

上下文设置与总结设置

什么是上下文？上下文就是，把聊天记录以及你发的话喂给ai，喂的这一部分就是上下文。

上下文设置，也是需要根据模型的能力，诚实地填写，因为这样才能确保软件发挥模型的最大能力。第一个空上下文长度，表示你在日常使用的时候希望用到的上下文长度，而第二个空，则表示api最大能够承担的上下文，好比glm 200k，deepseek 128k。

上下文设置是为总结服务的。软件会自动评估当前使用的上下文长度，然后去对照这里填写的值：当发现满足了下面的总结条件的时候，就会自动触发一次压缩，确保上下文长度在给定的窗口之内。

填一个日常使用，以及一个最大，用途是动态决定使用量。而这个切换的开关就是在聊天界面-模型选择里面的 max 模式。当 max 关闭的时候，软件就会以第一个空的大小为标准，去帮你控制上下文，开启则是以最大为标准。

总结设置就很一目了然了，一个按照消息总结，一个按照阈值总结。当然这个都是自动总结，如果想要手动，可以参考上一篇界面介绍里面的，长按消息，有个插入总结的选项能用。可以插入到聊天的任意位置。

然后就是要特别说明，软件会以选中聊天模型配置里面上下文以及总结的量作为当前使用量。

如果发现总结卡住，可以参考下一节的内容去寻找原因。因为总结和那个识图一样，也是委托别的模型配置完成的。

上下文与总结以及max模式后面不会再单独设置文章详解，差不多就上面说的这些了。

模型参数设置

模型参数没啥需要特殊说明的。 特别关注一下这个模型输出量的 max_tokens 参数。这个参数并不是上下文，而是指模型输出的最大长度。对于 DeepSeek，可以打开它，并设置 8192，对于其他模型，可以关闭或者打开并自行调整。

自定义请求头

这一部分在1.10.0部分是独立出来而并非跟随模型的。 一般情况下，用不到，对于一些对请求头有特殊要求的，可以更改此项目。

高级设置

这里主要是控制模型的请求速率限制，以及维护一个密钥池。

密钥池会对所有池子里面的密钥进行测试，然后在请求的时候覆盖前面的密钥，并依次轮着用。

Operit AI手机版功能模型详解

目前主要功能有：聊天、总结、多模态输入、群聊规划、记忆库总结 等等。

当你发现奇怪的报错，但是你的聊天模型是通的时候，请优先检查功能模型。

还有一点需要强调：角色卡绑定、聊天下面选择的，都是直接对应的聊天功能模型，其他功能模型修改的入口只有通过这个功能模型界面修改。

接下来，将会以多模态输入，以及UI控制器，这几个功能模型进行详细解释。因为这几个相对别的比较特殊，别的几个只要配置了能够对话的正常模型即可，而这几个是有特殊的配置要求的。

模型识图功能

Operit AI 支持两种方式实现图像识别功能：直接识图 和 通过功能模型调用识图。直接识图，是直接用聊天模型的识图功能实现的，而第二种间接识图，则是通过前面提到的功能模型。

方式一：直接识图（聊天模型支持识图）

对于支持视觉理解的多模态模型（如 GPT-4 Vision、Claude 3.5 Sonnet、Gemini Pro Vision 等），您可以在模型配置中启用直接识图功能。

配置步骤

1.进入 "设置" -> "模型与参数配置"

2.找到你的聊天模型

3.在配置界面中找到 "启用直接图片处理" 选项

4.勾选该选项，启用直接图片处理功能

5.保存配置并点击测试，确保测试通过

使用方法

配置完成后，在使用该模型进行对话时，直接发送图片给 AI，AI 可以直接识别和理解图片内容，无需额外调用工具，响应速度更快（不过这也不一定）。

方式二：通过功能模型调用识图（聊天模型不支持识图）

对于不支持直接识图的模型，您可以通过配置功能模型来实现图像识别功能。系统会在需要时自动调用配置的识图模型来处理图片。

配置步骤

1.进入 "设置" -> "功能模型配置"

2.找到 "图像识别" 功能模块

3.选择一个支持识图的多模态模型配置

4.确保该模型配置已启用"直接图片处理"选项

5.保存配置并测试

工作原理

当您使用不支持直接识图的主模型进行对话时，当你在对话中发送图片时，聊天模型会通过 read_file 工具调用图像识别功能模型，识图模型处理完成后，将结果返回给主模型，主模型基于识别结果继续对话。

特殊情况：没有模型能够识图

这一点要在识图这里特殊说明，因为软件考虑了这种情况，比如最开始，用户快速入门之后，就是没有任何的模型能够识图的。但是呢，软件做了最后一层兜底：当你发送图后，AI 会使用 read_file 工具并结合 OCR 直接提取图片文本内容，虽然效果不会特别好，但是总比没有好。

UI自动化操作

在对话中，如果你有自动操作需求，可能 AI 会调用 UI 控制器 的功能模型去操作，也可能直接主模型上场直接操作。这里先记住一点：功能模型可以被委托去处理特定任务。

简单说明一下：有需求的可以在工具箱里面，划到底，有个autoglm一键配置。软件可以在debugger以上等级使用autoglm的功能模型，开始虚拟屏幕自动点击(当然，这个也可以不配)。

更新日志

v1.12.2版本

一、增加

新增 Token 用量账本、统计看板、活动视图、价格覆盖、缓存命中率、生成速度和安全删除能力

新增独立 TTS/STT 服务档案，支持创建、复制、切换、删除和旧配置迁移

新增按窗口或指定日期范围重建聊天记忆

Compose DSL 文件选择器新增文档、图片、视频、媒体、目录和相机模式

新增 AiChat、AdaptiveSidePanel、Compose DSL 对话框和聊天消息长按菜单

新增 DeepSeek Harness 运行时侧栏和完整 ToolPkg 运行时支持

新增 MiniMax、OpenCode Zen/Go、xAI Grok 和 OpenAI Codex OAuth 提供商，并支持 Codex 配额查询和 PDF 输入

新增按提供商和模型动态配置思考深度，补充 DeepSeek Responses、Qwen、Gemini 等端点规则

新增 DeepSeek Responses Web Search、服务端工具记录和 reasoning 回放

ToolPkg 新增版本化 API、包依赖、加载顺序、运行态 Hook、消息持久化 Hook 和聊天消息菜单

新增数据库、DataStore 配置健康检查和手动修复流程，并在修复前归档原始文件

新增主进程、插件 QuickJS、终端和设备 CPU/内存/网络性能监控

新增日语本地化、xAI 绘图自定义 API 地址、ToolPkg Logo 和已选聊天记录导出

二、修复

修复并行或分段工具结果在流式展示、历史记录和下一轮请求中的顺序不一致问题

修复 Claude、DeepSeek、Gemini、Kimi、OpenAI 等 Provider 的工具调用与结果配对问题

修复未匹配工具结果被误报为“用户取消”，并补充缺失结果的诊断信息

修复 DeepSeek Responses commentary/reasoning 回放、工具历史和正文流式输出问题

修复 OpenAI Responses 中 video_url/input_video 内容丢失问题

修复长工具结果、超大聊天导出、被中断的流式回复和多工具结果被提前丢弃的问题

修复群聊编排重复发送用户消息，以及消息变体事件使用旧快照的问题

修复 Compose DSL 文本框光标跳动、复制预览回弹、输入法遮挡和 Markdown 表格链接点击问题

修复 MCP 工具发现成功后未及时注册，以及并发权限描述注册的数据竞争

修复媒体能力测试把“已连通”误判为“能力已验证”的问题

修复浏览器桌面 viewport、截图尺寸、Provider 历史图片和模型列表刷新问题

修复悬浮窗非法尺寸、初始化竞态和连续崩溃保护问题

修复 Web Chat JavaScript 模块 MIME 类型错误

修复备份恢复、SQLite 参数数量限制、偏好迁移和 ToolPkg manifest 解析问题

修复 OpenCode、Codex、DeepSeek 和 OpenAI 的思考参数映射与历史兼容问题

三、优化

ToolPkg 发布、API 版本展示、依赖检查、包排序、manifest 选择和隐藏目录排除更加可靠

摘要支持分区配置、独立标题、启用状态和对话回顾设置

Token 统计的迁移、恢复、重试、价格计算和长时间运行稳定性得到提升

状态卡片改用内置完整 Material Symbols 字体，离线环境下也能正常显示

APK 逆向工具升级至 1.1.0，JADX 支持隔离进程、串行任务和更完整的错误诊断

改进聊天复制、长历史浏览、流式滚动、LaTeX 渲染和大消息处理

CI 拆分 Android/JVM 检查并优化缓存、原生依赖和 Nightly 构建流程

市场贡献者内容、Logo、包来源、版本信息和审核流程更加完整

README 默认切换为英文，并保留 README.zh-CN.md 中文版本

补充日语及多种语言的模型、市场、ToolPkg、统计和设置文案