树莓派+1万个乐高造乐高分类器，树莓派公式转汇，网友：想借两天-量子位

最头疼的问题是什么？当然，找某种形式的街区也找不到。开心地打开包装的时候，眼前的东西这样怎么样。

那么，海外的乐高爱好者Daniel West使用AI解决了这个问题。他使用自己开发的“乐高分类器”，在2秒内对一个块进行了分类。

（注：实际上是以2倍的速度进行分类，但为了容易理解而将其减半。）这个分类器是花了2年时间制作的“树莓派”和1万个“乐高”块，正是“用乐高整理乐高”的硬核“套装”。我们先看看它有多大

最近，这样的硬核设备也被树莓派官方转发。Daniel的技术是以以前制作的东西为基础的，但是更加先进。可以识别曾经制作的乐高块的全部。因此，Daniel被称为世界上第一个“通用乐高分类器”（universal LEGO sorting machine）作业步骤是，首先将乐高块状的水桶倒入分类器，通过履带将块状物一点一点地掉落到V形储罐中。

那个V字坦克颤抖，块一个接一个地被带式输送机取入。

传送带上部的照相机拍摄多个画面，在此过程中识别块的种类。

然后，把各种形状的积木放入各自的桶里。

然后，根据组装的设定，根据需要装载到各箱中。

看完这个设备后，一位网友说：回去能用几天

技术实施Daniel的技术并不复杂，他甚至写了两本教材。使用的硬件有树莓派3B+、树莓派相机模块V2、9台伺服电机、6台乐高电机。但是，最复杂的硬件是Daniel设计的1万个块的组合吧。

最初开始的是图像数据的标记作业，使Daniel运转了几天的时候，没有标记的乐高块的图像聚集了约30万张。手工对30万张图像一一贴上标签是不可能的，但是在一个块上拍10~20张照片，打包显示，可以提高效率10~20倍。

尽管如此，你还是需要给成千上万张照片加上标签。多次在csv文件中写入标签是愚蠢的。另外，乐高的种类非常多，例如2×2的块的种类也很多，所以不需要细分。

因此，我决定利用自己的Web开发经验，花几个小时制作简单的Web应用程序。再快2~5倍。即使那样效率也不好。Daniel再次想到AI“打辅助”，让他们拿出top-5，自己在应用程序中选择正确的东西，每秒可以标记10张图像，效率是40~1000倍。

在软件设计方面，我们遇到了比Daniel更大的挑战。那是因为树莓派的AI运算能力不是很高，所以实现了实时的目标检测。最初想使用YOLO和Faster的r-CNN，不过，用树莓派出90fps的处理速度难，流式传输图像用PC处理网络的带宽成为瓶颈。您必须使用“旧”计算机视觉技术OpenCV[库里]中的MOG2背面剃须刀。3B+也可以高速处理数据。

但是，直接向MOG2发送视频帧也无法正常工作。浅灰色和白色的块，亮度太像传送带的背景，很难识别。在交给MOG2之前需要提高饱和度。另外，由于RGB图像的传输带宽过大，使用[Daniel]YUV格式将带宽压缩为一半，裁剪了目标检测框外的像素。

经过多次简化，实现了70~80fps的处理速度。最后，树莓派的官方博客的下面的评语中，还有一个了不起的人。他正在设计一个分类器，在4年前对2吨的乐高块进行分类。

现在，如果不知道AI的技术，就不能“乐高”。引用：https：//www.raspberrypi.org/blog/raspberry-pi-lego-sorter/ https：//towardsdatascience.com/how-i-created-over-100-000-labeled-lego-training-images-ec74191bb4ef https：//towardsdatascience.com/a-high-speed-computer-vision-pipeline-for-the-universal-lego-sorting-machine-253f5a690ef4