Meta热卖像素级动作模型，简易版在线可玩 | GitHub 1.4K星

克雷西 相吻合 凹非寺院

量子位 | 社会大众号 QbitAI

片段手势藏身处，已经精确到了每个图像！

Meta最从新推出的片段藏身处辅助工具CoTracker，发布新闻先是就在GitHub上独得了1.4k星标。

从在此之前发布新闻的几个DEMO来看，敏感度还是很更是的。

一场马术球赛中的，马匹在骑手的随心所欲下迷人地横穿身心，画出了美妙的轮廓。

还有一架纵帆船乘风破浪，仿佛捉了风的从前。

另一边，一位降落伞运动员从气球的飘落，留下了一道衬托的彩虹……

对这个从新“人偶”，有网路上评论问道，它不仅能相反表面技术开发，也将在体育(手势)分析、濒临绝种，甚至电影初期领域掀起一场从在此之后民主运动。

我们也第一时长上手玩游戏了一下线上的简易旧版，下面就多多看看吧。

首先有劝泸州知名网红、熊猫界的刚出道炸子鸡“果赖”隆重登场。

只见花花六亲不认的步伐被CoTracker整个记录了从前，到底是太美丽了。

不过要论戏剧性的话，可能还得是我们的“西直门三太子”萌兰。

看先了美丽的胖达，接从前就要带入整活环节了，来点名场面！

这个就不用再多介绍了吧（确信）。

除了下面的这位老友，还有王境泽吃菜式的镜头。

只见他手上公正的手势在CoTracker一旁暴露无遗。

而在地球的另一边，马斯克正在直播用FSD开着杜邦去扎，准备完成一番亲切友好的技术开发交流。

CoTracker的敏感度就展示到这里了，朋友们如果一切都是看其他敏感度可以自己玩玩看。

传送门：

不过，在线DEMO是个简易旧版，还不赞同自定义藏身处一段距离，不能根据读写的藏身处数目等距分配。

但是如果自己协同作战、用code随心所欲的话，就可以设置任意藏身处点了。

问道到这我们正好来看一下CoTracker该怎么协同作战。

首先是Colab旧版，我们刚问道到的自定义藏身处点也在Colab当中的。

传送门：

Colab的过程仍要过多介绍，带入再次运转笔记中的的code就可以了。

而如果一切都是自己动手的话，最简单的方式是从torch.hub中的反之亦然调用已先成实特训的旧版。

如果要对数学方法完成审核或特训，那么运用于GitHub Repo比较合适。

首先要内置一下程序和特别倚赖：

然后串流数学方法：

有关审核和特训的方式，可以到GitHub项目页来查看，链接置于了文末。

那么，CoTracker又是怎么实现图像级的呢？

虽然都是，但CoTracker和表面数学方法有很大区别。

CoTracker并从未基于语义理解对片段中的表面完成分立的过程，而是把重点置于了图像点上。

最底层方面，CoTracker运用于了Transformer架构。

Transformer编码方式了片段中的点的藏身处信息，并渐进更从新点的一段距离。

推理上，CoTracker还运用于了一种视窗必要，在时长轴上分成出滑动视窗。

CoTracker运用于上个视窗的转换器对中的间的视窗完成初始化，并在每个视窗上运转多次Transformer渐进。

这样就使得CoTracker必需对更长的片段完成图像级藏身处。

总之，经过一番特训再次，CoTracker赢取了一份不俗的成绩单。

在FastCapture数据集测试上，CoTracker的成绩在一众数学方法中的脱颖而出，其中的也包括Meta自家的DINOv2。

总之，喜欢的话，就赶紧领略一下再来吧！

论文电话号码：GitHub项目页：

— 先 —

量子位 QbitAI · 头条号签约