采集盒固件 · Windows
解压后双击 FLASH.bat。包里已经带了刷机所需工具,不必另装。
采集盒用来把头戴双目、腕部相机、手套和肌电手环接到同一台小主机上,在触摸屏上完成预览、录制和停止,并把一场数据写入同一个场目录。采集员先看「采集员指引」:开录前登记自己的信息,再按屏幕上的字录。后面几栏是向导、标定和文件说明。
按下面四步做。每一步先看屏幕上的字对上了,再做下一步。管理密码出厂是 6666。
姓名、地址、身高、体重、利手、性别,以及这场剧本,会写进每一场文件夹里的 metadata.json。后面认是谁采的、在哪采的,看的就是这些。换人、换场地、换剧本,重新登记再开录。
点屏幕右上角齿轮,输入 6666,进入高级设置。主页上点「采集员信息」。
170。体重填公斤,写 30 到 200 之间的数,例如 65。左手 或 右手。性别填男或女。用手机填:手机和盒子连同一个 Wi‑Fi。待机上 Wi‑Fi 那一行要是已连接,再扫码。齿轮 → 6666 → 点「手机打开盒子」。黄条写着当前 Wi‑Fi 名称。用手机自带相机扫屏幕上的码。
http://盒子IP:8080/,用手机输入法填姓名和地址,再保存。扫完点「确定」关掉二维码。开机如果弹出「请扫码配置任务信息」,就是还没登记,按上面做完再点「开始预览」。
11. 开头是左手,12. 开头是右手。两只都插上,或两只都拔掉只录头戴。只插一只不能开录。屏幕暗下去时,点一下只是把屏幕点亮,录像还在继续。屏幕亮了,再点红色「停止录制」才停。侧面 REC 键按一下开始,再按一下停止,不经过预览。
硬盘先用电脑格式化成 exFAT,插在 USB 分线器的空口上。等屏幕回到待机再插。屏幕写「导出完成,硬盘可安全拔出」之后再拔盘。已经配好云端时,待机长按大约 3 秒,选「只做上传」。
| 屏幕上看到 | 这样做 |
|---|---|
| 头戴插上很久,没有「双目RGB」 | Type‑C 插紧到底。还没有:齿轮 → 6666 → 高级设置 →「重置 USB 连接」。这一下只处理头戴,手套和手环不会掉。 |
| 预览有模糊画面,白字仍是「未检测到相机」 | 拔掉 Type‑C,插紧到底,再点「开始录制」。 |
| 待机写 Wi‑Fi 未连接,或扫不出码 | 点「点击可更换网络」,选现场的 Wi‑Fi 并连上。手机和盒子必须是同一个 Wi‑Fi。连上之后再打开「手机打开盒子」。 |
| 手套插上了,没有「左手手套 / 右手手套」 | 高级设置里点亮「EMF+触觉手套」。USB 拔下来等 3 秒再插。屏幕写「手套没反应」时同样拔插。 |
| 手环插上了,没有「左手肌电 / 右手肌电」 | 采集源里点亮「肌电手环」。两只都显示同一侧时,拔下一只换一个 USB 口再插。 |
| 黄条写存储卡没挂好 | 拔卡再插。仍不行,在电脑上把卡格式化成 exFAT。没卡时黄条会写本场写入机内,可以照常录。 |
| 屏幕灭了,点一下没停 | 这一下只亮屏。亮了再点红色「停止录制」,或按侧面 REC。 |
| 文件页一直停在「上传中」 | 点「暂停上云」。列表离开「上传中」之后,再点「批量一键上云」。正在录、还没封好的那一段,要等停录保存完才传。 |
| 头戴旁边的次数大约 88 次/秒 | 插着腕部相机时就是这个数。只插头戴,或头戴加手套、没插腕部,大约 280–300 次/秒。保持「录完自动解码」开着。 |
| 正在保存时想关机 | 等屏幕回到待机再关。保存没走完就关机,这一场可能缺文件。 |
刷机、镜头标定、向导每一项的含义,看后面的「配置向导」「刷机」「采集盒 + 双目」等分页。
| 部件 | 接到哪里 | 盒子怎么认 |
|---|---|---|
| 头戴双目 | 采集盒 Type-C,插紧到底 | 待机出现「双目RGB ×1」。画面 4000×1200:码带 + 右目 + 左目 |
| 左腕 | USB-A 分线器,出厂号以 11. 开头 | 按序列号认左手 |
| 右腕 | USB-A 分线器,出厂号以 12. 开头 | 按序列号认右手 |
| 存储卡 | 盒子卡槽,电脑格式化成 exFAT | 空闲 ≥ 2 GB 时新场写卡;没卡写机内;卡没挂好会明说 |
| 手套(可选) | USB-A,有线。左右各一只 | 待机出现「左手手套 / 右手手套」。向导勾「EMF+触觉手套」后才会写 glove_left/、glove_right/ |
| 肌电手环(可选) | USB-A,戴在手腕上。左右各一只 | 待机出现「左手肌电 / 右手肌电」。向导勾「肌电手环」后才会写 emg_left/、emg_right/ |
头戴插好后通常 1 秒内认到。管理密码出厂为 6666。以屏幕大按钮为准。手套和手环插在同一个 USB 口上时,手环的左右跟这只手套走。两只手环都被记成同一侧时,口序靠前的那只留下,另一只改到对面。没写左右序列号时,按 USB 口的顺序认左右。
待机一整屏:右上角齿轮、中间绿色大按钮、底下已连接和 Wi‑Fi。2 秒内松开,按顺序走:开始预览 → 开始录制 → 停止录制。按住约 3 秒打开「后处理 / 上传」。
盒子侧面的 REC 键接到录制程序。按一下开始录,再按一下停止。屏幕上的红色大按钮仍是先预览再开录。红外遥控器不听侧面这个键。
绿色 ✓ 表示该镜头闪存里已经有标定:头戴是内外参,腕部是该侧内参,手套是这只手已经标定过。没有 ✓ 仍可录制;开录时盒子会再读一次镜头,读不到就用同一序列号上次成功的缓存。插上左右腕时,同一行写成「双目RGB ×1✓ + 腕部 L ×1✓ + R ×1✓」。插上手环写成「左手肌电」或「右手肌电」。没插相机时,同一位置写「未检测到相机」。
| 黄条文案 | 盒子怎么写 |
|---|---|
| 没有存储卡,本场写入机内 | 写机内约 138 GB 那块盘 |
| 存储卡已就绪,本场写入卡上 | 新场写卡 |
| 存储卡没挂好 / 没分区 / 挂不上 / 写不进去 | 本场不能开录。拔卡再插,或电脑格式化成 exFAT |
待机上的 Wi‑Fi 以「无线已经关联」为准:连上或断开会当场刷新,不再卡着旧状态。主页和 Wi‑Fi 页都画四格信号条,旁边的百分比跟着信号强弱走。点「点击可更换网络」会整页换成选网列表;已连的网络左边有勾。只有真要换网才按「连接」。
点「开始预览」后,标题变成蓝色「预览对准」,中间是头戴左右拼在一起的画面。再往下滑,蓝按钮变成「开始录制」。
Type-C 没插到底时,预览仍可能出一张模糊画面,白字仍写「未检测到相机」。插紧后再点「开始录制」。
头戴被认到之后,点「开始录制」:标题变成红色「录制中」,大按钮变成红色「停止录制」,并尽快播语音。没插卡时也会尽快播语音。插着手套时,对齐姿态之后接着播「请保持握拳2秒再松开」,再播「现在请开始任务」。不插手套不播这两句。
录制中无触摸,屏幕会按向导里设的秒数只关背光。点一下屏幕会亮,这一下不停录。亮了之后再点红色「停止录制」才停。常亮更热。
IMU(惯性测量单元)是头戴里的陀螺和加速度计。头戴每一帧底下画了一条黑白格子带,停录后由「录制后自动解码」解开。只插头戴约 280–300 次/秒;同时插腕部约 88 次/秒。
建议每台盒子、每条接法先录约 20 秒 再停,打开场目录确认文件在变大,再开始正式采。
待机或预览时长按约 3 秒。处理时等它走完再开下一场。随时可暂停回去录。
| 选项 | 盒子执行什么 |
|---|---|
| 只做后处理 | 对齐时间轴、补解码。腕部已经是 H.264 时会很快 |
| 只做上传 | 按已配置的云端把场目录传上去 |
| 后处理并上传 | 先处理完再传 |
| 取消,返回录制 | 不做事,回采集员界面 |
保存完一场之后,把场目录拷到 USB 硬盘带走。硬盘插在 USB-A 分线器上(腕部相机也走这个口,留一个空位给硬盘)。硬盘先用电脑格式化成 exFAT。一场整夹拷走:头戴、腕部、手套、手环、场根上的 json,含还没封好的那一夹。不拷预览小视频。
配置向导里打开「USB 硬盘自动导出」,「导出后删本地」保持关:拷完之后机内还留着一份。若管理里打开了「导出后删本地」,校验成功后机内那份会删掉,硬盘成为这一场的唯一副本。
| 屏幕文案 | 这时做什么 |
|---|---|
| 正在传输到硬盘 | 保持通电,硬盘继续插着。可点「暂停传输」 |
| 检测到硬盘 · 等录制结束后开始导出 | 先停录并等保存完 |
| 导出完成,硬盘可安全拔出 | 拔盘 |
| 硬盘空间不足 / 挂载失败 / 导出出错 | 换盘或拔出重插后再导一次 |
已经配好云端时,待机长按约 3 秒选「只做上传」,场目录会传到云上。某一场要单独拷:齿轮 → 密码 6666 → 文件 → 导出。扫码填人和上云的按法在下面两节。
采集员姓名、地址、身高、体重、利手,以及这场要做的剧本,写进每一场的 metadata.json。不填也能录,这些字段是空的。
手机和盒子连同一个 Wi‑Fi。齿轮 → 密码 6666 → 高级设置,主页往下点「手机打开盒子」。黄条写着当前 Wi‑Fi 名称。用手机自带相机扫屏幕上的码,打开采集网页,在网页里填采集员和这场任务。这一台现在扫出来是 atta 采集网页。扫完点「确定」关掉。
同一页往上还有「采集员信息」,可以在盒子上直接改,不用手机。点进去是一张表:供应商、采集员姓名、地址、设备 ID、采集员 UUID、身高、体重、利手、性别。再往下是「本场剧本」:剧本 ID(逗号分隔)和剧本组。改完点「保存采集信息」。点「取消」不保存。开录前的登记步骤见「采集员指引」。开机时如果还没填采集员,盒子会自己弹出扫码。
云端就是录像要传到的网盘。齿轮 → 6666 → 高级设置,主页上点「云端」卡片,填好并测试通过。卡片上会写出桶名和地域。没配好时,边录边传和一键上云都会失败。
边录边传在主页再往下的上传策略里。打开之后:正在录的时候先暂停上传,空下来再把没传完的传上去。旁边「传完删本地」要先开边录边传,打开后传完就删机内那份。「录完自动解码」是停录后当场解开头戴里的陀螺数据。边录边传和影子文件只能开一个,开一个会关掉另一个。
某一场要马上传:齿轮 → 6666 → 底部「文件」。上面「批量一键上云」传列表里还没传的场。每场右边的「一键上云」只传这一场。「暂停上云」停掉正在传的,再点一键上云可以继续。正在录、还没封好的那一段不传。待机上正在边录边传时会写出上云进度。
已经配好云端时,也可以在待机或预览长按约 3 秒,选「只做上传」或「后处理并上传」。处理时等它走完再开下一场。
首次开机自动走。之后:齿轮 → 6666 → 重新运行配置向导。每页左上角为「步骤 n/12」。未接硬件也可以先勾选。只有步骤 12 点「完成配置」才把勾选写入盒子。拍屏幕、试界面请用「上一步」退出。
亮度、以及管理菜单里的「导出后删本地」,点了会立刻写进盒子,向导没走完也会记住。
决定之后默认录哪些路。可多选。UMI Gripper 与「腕部相机」互斥:勾一个会踢掉另一个。使用腕部相机时勾 双目 RGB + 腕部相机。使用手套时勾 双目 RGB + EMF+触觉手套,不要同时勾腕部相机。
| 选项 | 功能 | 勾了之后 | 不勾 |
|---|---|---|---|
| 双目 RGB | 头戴左右拼在一起的主画面 | 开录写 stereo/,待机认头戴 | 不写头戴视频,也解不出头戴 IMU |
| 腕部相机 | 左右腕有线相机 | 下一步变成「插入腕部相机」;开录写 wrist_left/、wrist_right/ | 没有腕部画面 |
| UMI Gripper | 无线夹爪,靠同一 Wi‑Fi 每秒对时 | 下一步变成夹爪配对;与腕部互斥 | 留空 |
| EMF+触觉手套 | 有线手套:五个指尖位置 + 掌心 34×32 压力格子 | 开录写 glove_left/、glove_right/。标定在高级设置底部「手套」页,插上不再询问 | 可以不勾。勾了手套这一场不写腕部相机 |
| 肌电手环 | 手腕上的 18 路肌肉电,外加手环自己的陀螺 | 开录写 emg_left/、emg_right/。可以和手套同一场 | 不写手环目录。待机也不会出现「左手肌电 / 右手肌电」 |
| 深度相机 | 深度镜头 | 一般不用 | 留空 |
仅当步骤 2 勾了腕部、且没勾 UMI 时出现。左右腕接到 USB-A 分线器,点「重新检测」。腕部相机只要插上,待机就会显示,开录也会写进这场;这一步是让你确认线已经插好。
| 操作 | 表现 |
|---|---|
| 重新检测 | 立刻再扫一遍 USB |
| 下一步 | 已检测到至少 1 路时才能点,把当前识别结果带进后续录制 |
| 暂时跳过 | 向导能走完,也能录头戴;待机不会出现 L×1 / R×1,场目录没有腕部文件夹 |
若步骤 2 勾的是 UMI,这一页改成夹爪配对:夹爪插 USB-A,点「发送 Wi‑Fi 凭据」。盒子没网时夹爪配不上。使用有线腕部时跳过这一页。
| 选项 | 选了之后 |
|---|---|
| 手部追踪 · 开启 | 录制中手离开画面时语音提醒 |
| 手部追踪 · 关闭 | 不语音 |
| 20 秒无手自动停(推荐) | 连续约 20 秒画面里没有手,盒子自己停录,原因记成双手离开过久 |
| 40 秒无手自动停 | 同上,时限 40 秒。适合动作本身会短暂出手的任务 |
| 不自动停,只提醒 | 只喊不停。手离开也会一直录到你按停止 |
手部追踪和边录边传同时开时,录制时实时预览会被锁住。
| 选项 | 选了之后 |
|---|---|
| 现在由总管连接 | 下一屏进入扫描选网 |
| 交给采集员连接 | 向导里不扫网,采集员以后在待机上自己连 |
不连网就不能边录边传、不能扫码配对手机。选了 UMI 时必须先让盒子在线,不能跳过。
| 操作 | 表现 |
|---|---|
| 扫码成功 | 显示「已配对:手机名」,后续 metadata.json 能带上人员 / 剧本 |
| 暂时跳过 / 下一步(未配对) | 仍可录制,人员 / 剧本为空 |
| 解除配对 | 清掉这台手机 |
| 刷新二维码 | 旧码失效,出新码 |
没出码时页面会写原因:还没连 Wi‑Fi,或已经连上但还没有局域网地址。连上后稍等、点刷新即可。
这一页和齿轮里的「手机配对(扫码)」是同一组选项,三档都要手机和盒子连同一个 Wi‑Fi:
| 档 | 扫码打开什么 |
|---|---|
| 本机页面 | 打开 http://盒子IP:8080/。中文姓名用手机或电脑的系统输入法填 |
| 采集网页 | 打开采集网页,填写人员和剧本 |
| atta采集 | 打开 atta 采集网页。开录后,剧本进行到哪一段,采集盒喇叭会念出来 |
采集员信息在高级设置里填写本机档案:供应商、姓名、地址、身高、体重、利手,写入这一场的 metadata.json。开机还没填时,会弹出扫码,提示先配置任务信息。
已经填过的显示白字。没填的格子是灰字「未填写」。保存时密钥、Region、Endpoint 如果空着,会继续用原来那份,不会被清掉。空着点下一步:文件只留本地。测试通过后再开边录边传。也可之后在高级设置云端卡片里选 AWS / 国内云。「录完自动解码」在下一步。
| 选项 | 选了之后 |
|---|---|
| 开启边录边传 | 录制优先:正在录时暂停上传,空闲再把没传完的传上去。没密钥时上传会失败,本地文件仍在。会踢掉影子文件。正在录、还没封好的那一段不传 |
| 关闭(仅本地) | 不自动传。休息后可用长按上传、文件页批量上云,或插硬盘导出 |
| 传完保留本地(推荐) | 单独一项,点了就记住。传完盒子里还留着,休息后还能出影子 |
| 传完删除本地 | 上传并确认之后删机内。点了就写入,向导没走完也会记住 |
| 录完自动解码 · 开 | 停录后当场解 IMU。请保持开。主页「上传策略」和录制页也能改 |
| 录完自动解码 · 关 | 只留原视频,可稍后在文件页再解。H.264 会把格子带压糊,事后救不回来 |
| 选项 | 选了之后 |
|---|---|
| 开启自动导出 | 插上硬盘就拷。录制中会等停录再开始 |
| 关闭自动 · 每次询问 | 插上后弹出询问。不会假装没看见硬盘 |
| 保留本地(推荐) | 拷完并校验后机内还留着 |
| 删除本地,释放空间 | 拷贝并逐字节校验成功后删机内。硬盘成为唯一副本。关了自动导出时这一项灰掉 |
| 选项 | 选了之后 |
|---|---|
| 影子 · 关闭 | 盒子上不生成影子 mp4。需要小预览时在工作站另做 |
| 影子 · 休息后生成 | 停录且空闲后生成左目小预览,会关掉边录边传。可再选 5–30 fps |
| 交付目录导出 · 开启 | 后处理时在场目录根上再出 recording_*.mp4、时间轴、qc.csv |
| 交付目录导出 · 关闭 | 只保留原始 stereo/、wrist_*、glove_*、emg_* 等目录 |
| 选项 | 选了之后 |
|---|---|
| 分段 3 分钟 | 每约 3 分钟封一段。试机、短任务用 |
| 分段 10 分钟 | 默认。到时头戴封下一段。手套和手环按这场开头的钟,在停录时切进对应的 _01、_02 |
| 分段 30 分钟 | 每约 30 分钟封一段。边录边传按段传 |
| 分段 60 分钟 | 每约 60 分钟封一段,单次文件更大 |
| 30 秒后熄屏(推荐) | 录制中无触摸约 30 秒只关背光。点一下只亮屏,再点红色「停止录制」才停 |
| 20 秒 / 10 秒 | 更早灭,更省电。点亮之后的停录方式和 30 秒一样 |
| 常亮 | 背光一直开,更热 |
| 亮度 100% / 80% / 60% / 40% / 20% | 点一下立刻生效并写入。100% 室外能看清;20% 最省电 |
建议摘要:双目 RGB,加上现场要用的手套或手环;手部追踪按现场开或关;边录边传按云端是否已配好来开;影子关;分段 10 分钟;熄屏 30 秒;USB 自动导出开、保留本地。
6666。4 位会自动提交。
| 条目 | 做什么 | 点了之后 |
|---|---|---|
| 手机配对(扫码) | 把人员、剧本来源写进后面每场的 metadata.json | 不配对也能录,字段为空 |
| 重新运行配置向导 | 进入 12 步 | 只有最后一步点「完成配置」才写入 |
| 高级设置(多页) | 底部出现主页 / 录制 / 文件 / 蓝牙 / WiFi / 手套 | 见下面逐项 |
| 返回采集员界面 | 回待机 | 不改设置 |
| 导出后删本地 | USB 硬盘拷贝校验成功后是否删机内 | 马上写入。开:硬盘成为唯一副本。建议关 |
| 字段 / 按钮 | 功能 | 表现 |
|---|---|---|
| 设备号 | 每台盒子自己的编号 | 场目录名 recording_primary_<设备号>_时间 |
| 腕部 USB | 当前认出的左右腕及速率 | 有线腕部应为 L(USB2.0)+ R(USB2.0) |
| 重置 USB 连接 | 电脑认不到盒子时点 | 头戴没被认到时只复位头戴,不动整条 USB,手套和手环不会掉。正在录像时不会碰头戴 |
| 上传诊断日志 | 把界面、录制、内核日志打成包 | 传到云端 box-logs/设备号/。出故障时点这个 |
| 项 | 开 / 填了之后 | 空着 / 关 |
|---|---|---|
| 云端 | 保存并测试通过后才能边录边传。已填的是白字;空着显示「未填写」。保存时空着的密钥、Region、Endpoint 沿用原来的 | 没配好时开边录边传会失败 |
| 采集员信息 | 供应商、姓名、地址、身高、体重、利手写入 metadata.json | 不填也能录。开机没填时会弹出扫码 |
| 本场剧本 | 剧本 ID、剧本组写进 metadata | 事后不好按剧本筛 |
| 开始剧本 / 结束剧本 | 在已经开录的时间轴上打点 | 没在录时写「请先开始录制再打点」,不会记点 |
| 项 | 开 | 关 |
|---|---|---|
| 手部追踪告警 | 录制中手离开就语音提醒,马上生效 | 不喊 |
| 录制时实时预览 | 录制页继续画摄像头,费算力 | 默认关即可。只显示状态 |
手部追踪和边录边传同时开时,实时预览会被锁住,界面上无法再打开。
| 项 | 开 | 关 |
|---|---|---|
| 影子文件 | 休息后再做左目小预览并补传,会踢掉边录边传 | 不生成影子 |
| 边录边传 | 录制优先:录的时候暂停上传,空闲再把没传完的传上去;会再问传完保留还是删除本地;会踢掉影子 | 文件只留本地 |
| 录完自动解码 | 停录后当场解 IMU。向导第 7 步、录制页也能改 | 只留原视频,可在文件页再解 |
| USB 自动导出 | 插上硬盘就拷(录制中则等停录) | 每次询问 |
| 导出后删本地 | 马上写入。校验成功后硬盘成为唯一副本 | 拷完机内还留着 |
| 项 | 功能 | 开 / 点了之后 | 关 |
|---|---|---|---|
| 录制后自动解码 | 停录后当场解开头戴格子带,写成 imu.csv | 当场就有 IMU 表。请保持开 | 只留原视频,可稍后在文件页再解。H.264 会把格子带压糊,事后救不回来 |
| 文件 · 预览 | 生成或播放该场预览 | 刚打开可能转圈 | — |
| 文件 · 解码 | 补解 IMU | 自动解码关过时用 | — |
| 文件 · 导出 | 拷到已插入的外接硬盘 | 没硬盘会提示 | — |
| 文件 · 一键上云 | 按已配置密钥上传这一场 | 没配会提示未配置 | — |
| 文件 · 批量一键上云 | 在「一键删除全部」旁边。没传完的会继续;已经传完的显示「已上云」 | 没有待上传的场次时会提示 | — |
| 文件 · 暂停上云 | 停掉正在进行的上传 | 列表离开「上传中」。再点批量上云可以继续。边录边传不会因为这里暂停而停掉已经封好的包 | — |
| 文件 · 今日录制 | 按盒子本地日期加总今天出现过的场 | 传完删掉本地的仍算进今日。每个文件夹另显示这场头戴时长 | — |
| 文件 · 删除 / 全删 | 删场次文件夹,不可恢复 | 正在录或导出时不能全删 | — |
新盒子、或需要整机重装时,从「下载」页取对应系统的固件包。刷的时候屏幕没有图形向导,按下面做即可。
rk3xxx、产品 ID 0x0006,先给盒子断电再开机。刷机过程中保持通电,数据线一直插着。
D:\box-flash。进入解压出来的那一层文件夹,再双击刷机文件。FLASH.bat(或 一键刷机.bat)。包里已经带了刷机工具,一般不必另装软件。若窗口提示找不到命令,把解压后的文件夹路径发给技术支持。
brew install android-platform-tools adb devices
预期有一行带 device。看到这一行再开始刷。
一键刷机.command。若系统拦截,在「系统设置 → 隐私与安全性」里允许打开。刷完后:齿轮 → 密码 6666 → 配置向导勾双目 RGB 和腕部相机;若要上传,在高级设置里填云端并测试。
录制结束后再刷机。
只插头戴。USB 带宽全留给头戴,IMU 约 280–300 次/秒。
开录时盒子从头戴闪存读内外参,写成这场的 stereo/stereo_calibration.json。
在电脑上用「下载」页里的相机标定工具包。Windows 双击 START.bat;Mac 可运行 tools/START.sh。把整个文件夹解压到纯英文短路径,例如 D:\calib。一次只插一台。包里已带运行环境,Windows 不必另装。窗口里全绿再写入。
内参是这只眼睛看得多远、画面中心在哪(焦距 fx/fy)。极线是左右两只眼睛对上之后,同一个点上下差多少。IMU是头戴里的陀螺;这一步算旋转和时间差。
头戴画面 4000×1200:左边 160 像素码带,然后是右目 1920,再是左目 1920。写入与录像原像素一致。
头戴戴稳。整块板举在两眼正中间大约 25–35cm。认出板就变绿,自动留静帧;近、远、四角、轻轻左右倾各停一下。满约 12 张自己停。预览左右眼都能看见板(share≥6)。
| 看什么 | 出厂门槛 | 没过说明什么 |
|---|---|---|
| 重投影误差 RMS | AprilTag 要小于 0.50 像素(棋盘格小于 1.0) | 格子没对上,或采的姿态太少 |
| 两眼间距(基线) | 55~66 mm,大约 60.8 mm | 左右镜头相对位置不对,或点对错了 |
| 极线上下差(中位) | 要小于 0.50 像素 | RMS 很小但这一项很大 = 标签对上了、左右相对位置没锁死 |
板平放桌上。画面亮了再慢慢点头 / 摇头 / 侧倾约 60 秒。这一步先录像,停了再抽帧。预览大约十几帧/秒。双目已经通过的话,这里只重做这一步。
| 看什么 | 出厂门槛 |
|---|---|
| 角速度残差 | 要小于 20 度/秒 |
| 陀螺相关 | 要至少 0.70 |
残差大:板放桌上,转慢一点,录满 60 秒。找不到头戴:拔掉腕部,允许桌面应用用相机,关掉微信 / 浏览器。寄回请压缩 work\ 里那一次的整夹。
stereo/stereo_000000.mkv 在变大,画面 4000×1200,有效帧率 ≥ 28 帧/秒stereo/stereo_calibration.json、stereo/stereo_000000_imu.csv 都在wrist_left/、wrist_right/头戴插 Type-C。左右腕走盒子上的 USB-A 分线器。
11.、右腕 12.。
腕部插上后跑 USB 2.0(480 Mbit/s)。插了手套时盒子不会录腕部,见「采集盒 + 手套」。
腕部没有陀螺,不做极线,只标这一只眼睛的内参。左腕、右腕分开做,一次只插这一只,拔掉头戴。新机按窗口顺序:先写左右编号,再升级镜头固件,再采内参。
出厂编号是 01.00.000。先写成左腕 11.00.xxx、右腕 12.00.xxx,采集盒才分得清左右。已经是 11.00 / 12.00 就跳过。这一步在升级镜头固件之前做。
新机按窗口升级镜头固件,采集画面才是 1920×1200。已经升过就跳过。
采集画面 1920×1200;写入镜头的内参按设备录像 1920×1080(上下各裁 60 行,cy 减 60)。打开预览,绿了自动留图;近、远、四角、左右倾。满约 12 张自己停。AprilTag 板同样要正着摆:印字朝上、能顺着读,不要横放或倒放。
| 看什么 | 出厂门槛 |
|---|---|
| 有效帧数 | 至少约 12 张能认出板 |
| RMS | AprilTag 腕部要小于 2.50 像素(棋盘格约 0.8) |
| fx | 会打印出来,对照同型号其它腕,差一截就是选错板或焦距漂了 |
开录时盒子会把头戴节点和左右角色钉住。录制中腕部掉线重连,按序列号找回左手 / 右手,不会把左手视频写进 wrist_right/。
相机会自己重连并开新段,例如 wrist_000000.mkv、wrist_000001.mkv。段和段之间那几秒画面空着。场目录根下若有 .wrist_split,交付前人工看一下。内核日志出现 Maybe the USB cable is bad?:换线。
头戴插 Type-C。手套走盒子上的 USB-A(左右各一只,线不要插反)。这是带五个指尖位置和掌心压力格子的有线手套。向导里名字叫「EMF+触觉手套」。
6666 → 高级设置 → 底部「手套」。
标定在盒子屏幕上做,不用电脑上的相机标定工具包。目的是量出这只手的手掌尺寸,后面才能把五个指尖实时解成 21 点手部骨架(手腕 1 个点 + 拇指 / 食指 / 中指 / 无名指 / 小指各 4 个点,从根到尖)。
不标定也能录:五个指尖位置和掌心压力照样写入。但 21 点骨架会按别人的手掌尺寸来算,换人戴或换了一只手套就会一直偏。新手套、换人、或待机问「存的标定是另一只手套做的」时,重新标一次。
底部「手套」页,标题是「EMF+触觉手套标定」。左右手分开做,上面两个按钮切换。当前这只手显示「已标定」就可以去录;显示「需要标定」就按提示做动作。
每个动作:摆好 → 点「摆好了,确认」。前 3 个必做,后 4 个捏合可以点「跳过这一步」。屏幕上会写出要摆的姿势。
| 动作 | 做什么 | 必做? |
|---|---|---|
| ① 握拳 | 五指全部握紧,拇指压在食指外侧,保持约 2 秒 | 必做 |
| ② 摊平 | 手掌完全摊开,五指伸直张开,像按在桌面上 | 必做 |
| ③ 四指立板 | 只把四指根部(贴掌那一节)折成 90°,指头本身保持直的 | 必做 |
| ④ 捏食指 | 拇指尖对食指尖,其余三指伸直张开 | 可跳过 |
| ⑤ 捏中指 | 拇指尖对中指尖,其余三指伸直张开 | 可跳过 |
| ⑥ 捏无名指 | 拇指尖对无名指尖,其余三指伸直张开 | 可跳过 |
| ⑦ 捏小指 | 拇指尖对小指尖,其余三指伸直张开 | 可跳过 |
做完会提示手掌尺寸已装载,点「确认」。左右都戴就换另一只手再做一遍。
向导勾了手套、USB 已连接之后,场目录会多 glove_left/ 和 / 或 glove_right/(只戴一只就只有对应那一侧)。大约 125 次/秒。时间和头戴视频同一零点,可以按秒对上。
| 文件 | 里面是什么 |
|---|---|
glove_000000.bin | 原始帧,一字节不动。以后重解开靠这份 |
glove_000000_index.jsonl | 每一帧在 bin 里的位置,以及各路时钟 |
glove_000000_emf.jsonl | 解开后给交付用:5 个指尖的位置和朝向(米)、掌心 34×32 压力格子、19 路弯曲、手套自己的陀螺 |
meta.json | 这只手套的编号、左右、订阅了哪些传感器、校时结果 |
t0.json | 和这场头戴视频第一帧对齐的零点 |
不标定也会写:原始 bin、指尖位置、压力格子、弯曲。标定之后才可靠的:21 点骨架(实时画在手套页上;录制时由盒子按这份手掌尺寸来解)。
glove_left/ 或 glove_right/,glove_000000.bin 在变大stereo/stereo_000000.mkv 仍是 4000×1200,IMU 大约 280–300 次/秒(不要掉到几十)wrist_left/、wrist_right/(这套接法不录腕部)手环戴在手腕上,用 USB 线插到采集盒,量的是前臂 18 路肌肉电,外加手环自己的陀螺和加速度。它和手套、头戴写进同一场,时间零点相同。向导里的名字是「肌电手环」。
肌电大约每秒 2000 次,手环上的惯性大约每秒 200 次。屏幕上的次数是整场平均。没在录的时候手环串口会关掉,开录再连。
录制中手环拔掉:盒子会像腕部掉线一样语音提示,报几次之后停录,并把已经录下的切成段。插回去之后新的一段继续写。
10 分钟分段时,头戴每段一份视频。手套和手环按这场开头的钟,在停录时切进对应的 _01、_02,不会把整场手环文件复制进每一包。
向导勾了手环、USB 已连接之后,场目录会多 emg_left/ 和 / 或 emg_right/(只戴一只就只有对应那一侧)。时间和头戴视频同一零点,可以按秒对上。
| 文件 | 里面是什么 |
|---|---|
emg_000000.f32 | 18 路肌肉电,单位是微伏。样本多,所以是二进制,不是一行一个 json |
emg_000000_t_rel_s.f64 | 每个样本相对这场零点的秒 |
emg_000000_dev_ms.f64 | 手环自己报上来的设备时间 |
emg_000000_index.jsonl | 每一批数据在文件里的位置 |
imu_000000.jsonl | 手环自己的陀螺和加速度,大约每秒 200 次 |
meta.json | 左右、采样计数、停录原因 |
t0.json | 和这场头戴视频第一帧对齐的零点 |
emg_left/ 或 emg_right/,emg_000000.f32 在变大stereo/stereo_000000.mkv 仍是 4000×1200目录名:recording_primary_<设备号>_YYYYMMDD_HHMMSS。勾了哪些采集源,场目录里就多哪些子目录。导出交付文件时还可以在根上再出一套 recording_*.mp4 和 qc.csv。
recording_primary_<device_id>_20260912_153000/
metadata.json
stereo/
stereo_000000.mkv 头戴左右拼在一起,4000×1200,H.264
stereo_000000_imu.csv 当场解开的头戴运动数据
stereo_calibration.json 头戴内参+外参+极线指标
dmesg.txt 这一场全程内核日志
不应出现 wrist_left/、wrist_right/、glove/。
上面全部都在,另外增加:
wrist_left/
wrist_000000.mkv 左腕 1920×1080 H.264
meta.json 该手分段列表(掉线重连会变长)
wrist_right/
wrist_000000.mkv
meta.json
.wrist_split 若存在:腕部中途断开过
掉线重连后同一手里会有 wrist_000001.mkv 等后续段。
只双目那一套都在。向导勾了「EMF+触觉手套」、USB 已连接之后,再增加(左右都戴就是两个子目录):
glove_left/ 或 glove_right/
glove_000000.bin 原始帧
glove_000000_index.jsonl 每帧在 bin 里的位置和时间
glove_000000_emf.jsonl 解开:5 指尖、34×32 压力、19 路弯曲、手套陀螺
meta.json
t0.json 和视频第一帧对齐的零点
标定写在盒子里,换人戴或换手套要重做。不标定也能录指尖和压力;21 点骨架要标过才准。插了手套就不会写 wrist_left/、wrist_right/。
只双目那一套都在。向导勾了「肌电手环」、USB 已连接之后,再增加(左右都戴就是两个子目录)。可以和手套在同一场:
emg_left/ 或 emg_right/
emg_000000.f32 18 路肌肉电,微伏
emg_000000_t_rel_s.f64 相对这场零点的秒
imu_000000.jsonl 手环自己的惯性
meta.json
t0.json
文件页标签写「左腕肌电」「右腕肌电」。
开启「交付目录导出」或工作站导出后,出现在场目录根上:
| 文件 | 对应哪一路 |
|---|---|
recording_primary.mp4 | 头戴正片(或对齐后的主画面) |
recording_left_hand.mp4 | 左腕或左手相关画面 |
recording_right_hand.mp4 | 右腕或右手相关画面 |
recording_primary_shadow.mp4 | 左目小体积影子预览(开了影子才会有) |
metadata.json | 设备号、时间、人员、剧本 |
qc.csv | 抽检用质量表 |
stereo_calibration.json | 头戴标定(也会出现在 stereo/ 里) |
影子模式默认关:需要小预览时在工作站另做。盒子上开「休息后生成」才会在空闲时出影子。
有卡且空闲 ≥ 2 GB:新场写卡。没卡写机内。卡没挂好会明说,不会默默改写机内。卡格式化成 exFAT。电量 3% 自动关机。
只插头戴却接近 0,或开录后反复喊「头戴运动数据没在记」:盒子会自动重试。不会因为丢 IMU 自动停录。停录时若表格只有表头,会拦住上传并播「这次没记下头戴运动,请重录」。
stereo/dmesg.txt。下面这条开录出现 1~2 次是编码器在探内存池边界,不用查:cma_alloc: … ret: -12
点按钮就会开始下载。固件包比较大,请用电脑、稳定网络。
解压后双击 FLASH.bat。包里已经带了刷机所需工具,不必另装。
解压后双击 一键刷机.command。刷机前请先安装 adb,见刷机页。
给头戴和腕部写镜头参数。Windows 双击 START.bat,包里已带运行环境。Mac 可运行 tools/START.sh。解压到纯英文短路径,例如 D:\calib。
刷机步骤见「刷机」。标定怎么做、看哪些数字,见「采集盒 + 双目」「采集盒 + 腕部」「采集盒 + 手套」。手部检测等算法包见最后一栏「开源算法」。
先插紧 Type-C。
相机、手套或分线器插着时,刷机电脑往往认不到盒子。先拔掉再刷。
以「无线已经关联」为准,连上或断开应当场刷新。主页和 Wi‑Fi 页看四格信号条和百分比。
把 Type-C 拔掉插紧后再点「开始录制」。
插着腕部相机时约 88 次/秒;只插头戴,或头戴加手套、没插腕部,约 280–300 次/秒。保持「录制后自动解码」打开。
看向导或高级设置是否点亮了「EMF+触觉手套」。USB 拔下来等 3 秒再插。屏幕手套页若写「手套没反应」,同样拔插。
看采集源里「肌电手环」是否点亮。线插在采集盒的 USB-A 上。两只都显示同一侧时,拔下一只换一个口再插:口序靠前的那只留下,另一只会改到对面。
能。五个指尖和掌心压力会写入。21 点骨架要标过才按这只手的尺寸来算;换人戴或换手套请重标。标定在底部「手套」页,插上时不再询问。
这一下只把背光打开。屏幕亮了,再点红色「停止录制」,或者按侧面 REC。
点「暂停上云」。列表离开上传中之后,再点「批量一键上云」继续。正在录的那一段要等封好才传。
软件会把 PWM 拉到 0。风扇若是 5 V 直供电、没有 PWM 线,要改硬件。
关预览,只插这一台,等 2 秒再写。
用「上一步」退出。只有「完成配置」才会改采集源。
在电脑上对着导出的录像跑,不装进采集盒。这是开源基线,方便自己复现:看手里 21 个点在哪、把左右目拆开、把头戴码带解成表格。
解压后双击 START.bat(Mac 跑 START.sh)安装依赖。把录像拖到 START.bat 上即做手部检测;包里还有双目拆分和码带解码。
每只手 21 个像素点:0 是手腕,拇指 / 食指 / 中指 / 无名指 / 小指各 4 点,从根到尖。编号和业界常用的手部关键点一致。头戴会先裁掉左边 160 像素码带,再在对应那只眼睛的 1920 宽画面上跑;默认左目(母带最右边那一块)。--eye right 或 --eye both 改右目或两眼。腕部 1920×1080 录像直接跑整幅画面。
python detect_hands.py 录像.mp4 python detect_hands.py 一场recording_目录
写出 out_hands/hands_overlay.mp4(骨架画在画面上)和 hands.jsonl(逐帧坐标)。模型是 MediaPipe Hands。
头戴原始画面 4000×1200 的排布是:左边 160 像素码带 + 右目 1920 + 左目 1920。脚本先裁掉码带,再按右、左切开。从正中间 2000 切开,会把右目撕掉一条。
python split_stereo.py 头戴.mkv
写出 out_split/left.mp4、right.mp4(各 1920×1200)。腕部是单目,不用拆。
那条 160 像素黑白码带里是陀螺仪和加速度计。盒子停录时「录制后自动解码」通常已经写成 stereo/*_imu.csv。这个脚本用来补解,或自己验一版。解码用整幅 4000 宽的母带,不要先裁。
python decode_imu.py 头戴.mkv -o imu.csv
也可以丢一张从录像里截的 png / jpg。