首页 首页 大数据 查看内容

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

木马童年 2019-8-13 05:10 23 0

今天的Amazon Go刷爆了国内外的社交媒体。 Amazon Go令人惊艳的地方,就是你可以径直走进超市,选好货品之后立马离开,不用在收银台前排长长的队伍,等待结账。 甚至还莫名有一种从商店“抢劫”的快感。 我们说 ...

今天的Amazon Go刷爆了国内外的社交媒体。

Amazon Go令人惊艳的地方,就是你可以径直走进超市,选好货品之后立马离开,不用在收银台前排长长的队伍,等待结账。

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

甚至还莫名有一种从商店“抢劫”的快感。

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

我们说,移动支付颠覆了既有商品交易方式,那么这种“抢劫式”的Amazon Go甚至连“交易感”都消灭了。

总之,人们被这种新奇的似乎隐含了某种黑科技的新型购物方式所吸引。不仅是普通人,就连斯坦福教授李飞飞、著名科技出版公司O'reilly创始人Tim O'Reilly都特地发推点赞。

李飞飞:计算机视觉十分显著和绝妙的应用!

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

Tim O'Reilly:零售业的未来,我对此已经期待很多年了。

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

Amazon Go的亮点

用户进入商店,穿过闸机的时候打开手机让其识别,这时手机里的系统启动,并随时准备更新物品清单。令人惊艳的部分就是,在用户拿走或放回物品的一瞬间,手机里的系统会自动更新清单。最后,用户拿着物品满意地离开,手机自动扣款。

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

这里面到底有什么黑科技呢?就官方发布的视频来看,技术亮点有三个:机器视觉、深度学习算法和传感器融合。

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

但仅有这几个关键词还是不够的,我们遂向亚马逊在职员工进行采访,但是对方表示Amazon Go还属于保密项目,公司要求不能对外透露任何细节。

不过在Quora上,有一位名为Brian Roemmele的网友挖出了几年前亚马逊提交的两份专利文件,里面描绘的系统跟如今的 Amazon Go非常相似。这两份文件名称为:“侦测物体互动和移动”(Detecting item interaction and movement)和“物品从置物设备上的转移”(Transitioning items from the materials handling facility),两文件分别于2013年和2014年申请(感兴趣的朋友可以在公众号回复关键词“专利”,下载2份专利文件)。

这两份专利文件都描绘了十分庞杂的应用场景,包括:货仓、船运、零售市场等,所以很多人当初在看到这份文件时,都以为这是亚马逊为自己的仓储系统量身定制的,不过今天一切真相大白。

这两份专利分别讲了什么?

“侦测物体互动和移动”(Detecting item interaction and movement)这份专利的摘要是:

用户从一个货架上拿起或放下一个物品,货物管理系统可以侦测到这个动作,并且更新用户移动设备里的清单。

“物品从置物设备上的转移”(Transitioning items from the materials handling facility)这份专利的摘要是:

物品被识别,并且当用户正在拿起物品时,物品自动与用户发生关联。 当用户进入或穿过一个“转移区”(Transition Area),被拿起的物品将自动转移到用户,而不需要用户有任何的输入。

总的来说就是,被识别的物体与用户发生关联,能自动更新清单,并在“转移区”进行自动交易(“转移区”在Amazon Go里指的就是商店的出口)。

我们可以从下面一张图里,一窥 Amazon Go 的基本原型。

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

图中代号为208的物体都是摄像头,大约有10多个(有一些被人体挡住)。208摄像头分别置于天花板(如图左右两边各有一个比较大的摄像头)、货架两侧和货架内部。文件里描述到,天花板上的208用来采集用户和货品的位置、货架两侧的208用来捕捉用户的图像和周围的环境,货架内的208用来确定货品的位置或用户手的移动(进入和离开货架)。

而从视频里,我们隐约能够看到安置在货架内部的摄像头。

从2份专利文件,一窥Amazon Go到底藏了什么黑科技?

另外,专利文件里还补充道:这里的摄像头可以是多种类型的,可以是RGB摄像头,或深度感知摄像头。除了摄像头之外,也可以有其他输入设备,比如压力传感器、红外传感器、体积位移传感器、光幕等等。压力传感器可以侦测物品移出和进入的时间,红外传感器可以用来区分用户和的手和物品。

我们具体并不清楚Amazon Go到底在多大程度上使用了计算机视觉技术。比如说,当用户进出商店时,都需要对用户进行识别,文件里反复提到可以用人脸识别技术实现,但是又会继续补充说明可以通过手机等移动设备来侦测。

Quora网友Anurag Ranjan是一位机器视觉和深度学习领域的准PhD,他分析称:

Amazon Go使用商店里的摄像头识别出了用户,可能针对用户拍了几张照片,依靠一些标准的深度学习网络形成了一幅特征图,比如Resnet,、GoogLeNet 或者 VGG 这样的。总之,当用户踏进店里的那一刻起,Amazon Go就知道用户长什么样了。

但是根据专利和既有经验来看,在整个过程中用计算机视觉来追踪用户,代价太高了。我们大致可以确定的是,货架上的一排排摄像头应该就是对用户进行“动作识别”,并且识别出物体是否被拿走(这里也或许是传感器实现的)。

不过整个过程中的难点是,如何将物品与用户进行唯一绑定?

那么Amazon Go具体用到哪些技术,目前我们只能够猜测,可能的实现机制是:

通过手机做到了精准定位人,然后物体的具体位置可以大概确定,一旦人附近的物品离开,同时最近的人的ID就会关联这个物品ID。

置物架肯定用到了压力传感器,一旦物品离开,就会明确知道什么物品在什么地点离开,一旦物品回来,压力传感器同样会感应到。

深度学习可能是学习了人的购物习惯,可能用到计算机视觉做了人的动作识别,然后根据物品与人的ID进行关联,也就是二次确认。同时分析一个人的购物喜好,推测他会买的东西,提前做一些预判。

可能Amazon Go根本没有用到人脸识别的技术,“国外对人脸的隐私权是比较高的,未经允许采集他人的人脸会被起诉的”。在李飞飞的那篇推文下,有网友对此持抵触态度,认为如果是人脸采集,侵犯了自己的隐私。

Amazon Go的出现惊艳了很多人,不过并不是所有人对此表示欢迎,除了上文提到的隐私问题外,有不少人担忧,如果这种技术大范围普及(我们知道亚马逊是多喜欢2B业务),大量超市收银员将会失去工作,毕竟亚马逊在视频里承诺要在 2017年初,于西雅图上线第一家Amazon Go。

不过这种技术究竟有多少“实操性”,还是存在很多的疑惑的,例如:

如果好几个人挤到一起买同一类东西(比如商场打折抢货,这是经常发生的),那么物品与人的ID关联还能保持精准吗?

如果用户把商品放回的位置是错的呢,这样也会被收费吗?

如果有人搞怪,将自己家空果汁瓶取代商店里的新鲜果汁,那么Amazon Go识别的出来吗?

“所以,这里要求购物的人得非常有素质才行”,我们对Amazon Go的诸多疑惑,或许过几个月就能在西雅图见分晓。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

社交媒体 移动支付 创始人 计算机视觉 机器视觉 深度学习
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...