PlayTranslate摄像头翻译教程：如何实时翻译现实世界中的文字，连漫画都能翻

PlayTranslate 是一款面向游戏的 Android 实时翻译与语言学习应用，除了翻译屏幕文字，它还能用摄像头实时翻译现实世界中的文字——菜单、路牌、说明书，甚至漫画书页都可以翻译。本教程带你从零上手摄像头翻译功能，并掌握漫画 OCR 的正确姿势。

一、PlayTranslate 摄像头翻译能做什么

PlayTranslate 的摄像头工具（Camera Tool）基于 OpenCV 平面跟踪 + 端侧 OCR 技术，把"看见的文字"实时变成你看得懂的语言，核心能力包括：

• ⚡实时翻译：相机扫到文字即自动识别并翻译，无需任何点击
• 📷冻结快照：把当前画面定格成一张快照，再点按单词查词典
• 🔍区域裁剪：圈出指定区域，只翻译该区域内的文字
• 🈶假名 / 拼音模式：日本语和中文可在文字上方显示读音标注
• 📴离线可用：OCR 与词典查询全部在本地设备完成，不上传图片

相机工具入口位于 设置 → Tools → Camera，副标题就是 "Point your camera at text to translate it"，源码入口为 CameraActivity.kt。

二、快速上手：3 步开启相机实时翻译

第 1 步：安装 PlayTranslate

在 README.md 的官方说明中，只需下载最新 APK 并在 Android 上允许"安装未知应用"即可；若被 Google Play Protect 拦截，按 README 指引临时关闭扫描再装回即可。

第 2 步：授予相机权限

首次进入相机工具时，应用会请求摄像头权限（"PlayTranslate needs camera access to translate text you point it at. Images are processed on this device."）。点Allow camera access放行。

第 3 步：对准文字，等待翻译出现

进入相机界面后，画面是全屏实时预览。把相机对准菜单、字幕或书本上的文字，翻译框会自动"贴"在文字上方：

• 右上角按钮可暂停 / 恢复自动翻译
• 屏幕提示No readable text — try moving closer or tap to focus时，请靠近一点并点击对焦

实时识别由 CameraSession.kt 编排：它用关键点 OCR + 平面跟踪（ORB 特征 + 光流 + RANSAC 单应性）让翻译框在画面移动时依然稳稳"粘"在文字上。

三、齿轮菜单：切换语言、OCR 引擎与叠加模式

点击控制条上的设置齿轮，会展开 CameraGearMenu.kt 定义的菜单，包含三行选项：

翻译语言则与主设置中的目标语言共用配置，PlayTranslate 支持译入59 种语言。

四、快照与查词：冻结一帧，单词点一下就有释义

实时模式适合"边走边看"，学习场景则推荐快照模式：

1. 点击大的圆形快门按钮，冻结当前画面
2. 在冻结帧上点按任意单词——直接弹出词典释义（无需重新 OCR）
3. 点按单词还可以朗读、加入 Anki、打开词条详情
4. 用裁剪按钮画一个区域，只翻译区域内文字；点区域轮廓上的Remove可取消

这套"冻结画面上的查词"能力实现在 CameraWordLookup.kt，配合 FrozenReviewPanel.kt 提供裁剪编辑器与结果面板。查词命中本地词典时完全离线，翻译则走 CameraTranslator.kt 封装的多后端级联（内置 Lingva + ML Kit 离线兜底，也支持接入 DeepL、OpenAI、Gemini 等在线服务）。

五、漫画也能翻：图片导入工具 + MangaOCR

没有实物的文字怎么办？PlayTranslate 提供图片导入工具（Settings → Tools → Import image，也支持系统分享面板直接分享图片进来）：

• 从相册、文件浏览器或剪贴板选图
• 支持CBZ / PDF 分页翻阅（CpzPageSource.kt、PdfPageSource.kt），翻一页翻一页
• 复用与相机快照完全相同的体验：OCR + 翻译叠加框、区域裁剪、点按查词、导出 Anki 卡片

对于风格化字体、竖排日文等漫画常见难点，PlayTranslate 可选下载MangaOCR专用日语识别模型，作为二次精读器接在基础引擎之后——见 MangaOcrRefiner.kt：它按文本块整体重读，专门处理斜排、竖排气泡文字，并把更优的识别结果替换回原识别。整条 OCR 管线可在 OcrPipeline.kt 中查看。

六、实战技巧：让识别又快又准

1. 靠近 + 对焦：距离 30 cm 以上、文字占画面 1/3 时识别率最佳
2. 稳住画面：实时模式有"画面稳定检测"，手抖时先稳住再扫
3. 背景杂乱时裁剪区域：只圈对话气泡或目标段落，避免干扰
4. 日语漫画优先装 Meiki / MangaOCR 包：在 OCR 引擎选择里按需下载
5. 断网也能用：OCR 与查词离线运行；翻译可下载 Bergamot / Gemma / Hy-MT2 等离线模型包

七、写在最后

PlayTranslate 把游戏字幕、漫画、现实文字统一到了同一套 OCR + 翻译管线之下：摄像头工具负责"所见即所译"，快照负责"逐词精学"，图片导入工具负责"离线素材"。想深入了解相机工具的实现，可以从 camera/ 目录读起；构建与打包指南见 BUILD.md。

📌小结：安装 APK → 授权相机 → 对准文字；学习时用快照查词；翻漫画用图片导入 + MangaOCR。三步上手，离线可用。