博客园_何文西的体感技术小屋

体感技术：DIY Kinect Hacking（三）（原创）

2012-05-22T06:08:00Z

10. Command #1 & 2 - LED blinky!

我们会编写发送命令#1的python代码，来观察会发生什么。从我们的日志中，我们知道发送命令是从host-to-device, 我们应该设置bRequestType值为0x40 (验证这个值，可以查看the bmRequestType bits of the command packets), wIndex and wLength of zero

For command #1, set bRequest to 0x06 and a wValue to 0x4. 最后一个参数是一个空数组[ ]，表示没有数据传输。

ret = dev.ctrl_transfer(0x40, 0x6, 0x4, 0, [])

我们运行Python代码，结果....什么都没发生！

也许这只是一个初始化的命令。Lets replace it with the next command #2, set bRequest to 0x06 and a wValue to 0x1

ret = dev.ctrl_transfer(0x40, 0x6, 0x1, 0, [])

我们运行这个命令，马达还是没有转动，但是LED灯却停止了闪烁。

为了好玩，我们再次运行之前的命令，结果LED灯又开始闪烁了。

现在我们有了一个想法：也许bRequest 0x6 用于控制LED灯。

On your own, continue this line of thought by trying different wValues from 0 on up to see what other wValues do, keep track of them all in a notebook or project file.

11. Command #3 &4 - Let's move!

在上一节里，我们已经征服了一个命令。现在，我们将征服另一个命令。Try to replicate command #3, set bRequest to 0x31 and a wValue to 0xffd0 (also known as -48 for a 2-byte word)

ret = dev.ctrl_transfer(0x40, 0x31, 0xffd0, 0, [])

运行Python脚本，the motor move its 'head' down.

Now try command #4, wValue to 0xfff0 (also known as -16 for a 2-byte word)

ret = dev.ctrl_transfer(0x40, 0x31, 0xfff0, 0, [])

This makes the head move up.

现在，马达和LED都在我们的控制之下了。 Here is a video we shot a few minutes after getting the motor working, using a python script to move it up and down.（译者：视频见原文）

12. Bonus accelerometer!（奖金冲刺）

我们回来重温下这个神秘的读取命令0x31，这个命令我们还有一点模糊。它也在日志里，一定要确认set your filter to show both Host-to-Device and Device-to-Host since its a 'read' not a 'write'

We were pretty close with our commands, 看起来我们应该读取的只有10个字节。It also looks like the data doesn't really change much except for a bit further down…

在我们发送了命令bRequest 0x31 (motor movement)之后，第七个字节改变了很多次。That implies that this data read is somehow affected by the motor, 可能是马达反馈字节？

Checking out a tear-down of the device (from iFixit) we see that there is an 'inclinometer'/accelerometer (Kionix KXSD9). The datasheet indicates it is used for image stabilization, and it has 3 axes (X Y and Z) with 10 bits of data per axis.

让我们持续不断的读取数据.

晃动Kinect的同时运行脚本，你会清楚的看到，这个数据的变化与运动有关。

To identify the accelerometer axes, rotate it only one way at a time and note what changes. You can also see how this data is in bytes but the accelerometer data should be a signed word because there are flips from 0xfff7 to 0x0007 which would indicate a negative to positive conversion.

We can cast two bytes to a signed value by 'hand' (in C this is a little easier, we know)

import usb.core
import usb.util
import sys
import time

# find our device
dev = usb.core.find(idVendor=0x045e, idProduct=0x02B0)

# was it found?
if dev is None:
raise ValueError('Device not found')

dev.set_configuration()

while True:
# Get data from brequest 0x31
ret = dev.ctrl_transfer(0xC0, 0x31, 0x0, 0x0, 10)
#print map(hex, ret)

x = (ret[2] << 8) | ret[3]
x = (x + 2 ** 15) % 2**16 - 2**15 # convert to signed 16b
y = (ret[4] << 8) | ret[5]
y = (y + 2 ** 15) % 2**16 - 2**15 # convert to signed 16b
z = (ret[6] << 8) | ret[7]
z = (z + 2 ** 15) % 2**16 - 2**15 # convert to signed 16b

print x, "\t", y, "\t", z

现在，当我们运行脚本，已经可以看到有符号的数据显示正常了。

13. More Kinect!

We hope you enjoyed this reverse-engineering tutorial. For more information about Open Kinect, please visit the github repository and google group

本文链接

体感技术：DIY Kinect Hacking（二）（原创）

2012-05-22T06:07:00Z

7. What message to send?

现在，我们可以使用Python+LibUSB来发送Control Endpoint数据包了。

ctrl_transfer( bmRequestType, bmRequest, wValue, wIndex, nBytes)

这个命令既可以发送数据包也可以接收数据包，这取决于bmRequestType的值（input or output）。不过，这个命令还有很多其它选项参数。所以要想发送数据需要知道bmRequestType, bmRequest, wValue, wIndex以及有多少数据用来读或者写。

If we were totally on our own，我们可以开始尝试读取数据从设备里。这意味我们必须首先设置bmRequestType。

bmRequestType传递的值非常结构化，所以这并不难去猜测。(See lvr.com for more information )

• Bits D2, D3 和 D4都是保留位置，所以这里设为0。

• The direction is set by bit #7， 0值代表“写”即向设备发送数据。1值代表“读”即从设备接收数据。

• The 'type' of message is two bits（D6和D5）， 0 = Standard（标准）, 1 = Class, 2 = Vendor（供应商）, 3 = Reserved（保留选项）。对于许多非标准设备，你可能希望得到供应商的类型。如果是标准型的设备，像摄像头或麦克风，可以设置为值0或值1。值3未使用。

• 最后俩个Bits（D1和D0）被用于确定接收的消息，0 = Device, 1 = Interface, 2 = Endpoint, 3 = Other。Go with 0 to start, you can try 2 if there are other endpoints。

最安全的事情，那就是读取数据（它不会覆盖任何东西或配置），you can do that by sending packets with bmRequestType = 0b11000000（16进制：bmRequestType = 0xC0 ）(Read Vendor data from Device) .

If I were to write a fuzzer：

（1）I'd start by setting wIndex to 0

（2）Iterating through all the byte values (255 different values) of bmRequest

（3）Te first few hundred wValue

这么做是非常安全的，只是从USB设备读取随机数据。开始读取一个字节直到看到任何显示，然后增加值。

import usb.core
import usb.util
import sys

# find our device
dev = usb.core.find(idVendor=0x045e, idProduct=0x02B0)

# was it found?
if dev is None:
raise ValueError('Device not found')

# set the active configuration. With no arguments, the first
# configuration will be the active one
dev.set_configuration()

# Let's fuzz around!

# Lets start by Reading 1 byte from the Device using different Requests
# bRequest is a byte so there are 255 different values
for bRequest in range(255):
try:
ret = dev.ctrl_transfer(0xC0, bRequest, 0, 0, 1)
print "bRequest ",bRequest
print ret
except:
# failed to get data for this request
pass

我们可以看到Request的值0, 5, 16, 50, 54, 64, 80 和112 全都返回了一些数据。其余的值没有任何读取。

接下来，我们会尝试读取更多的数据，通过改变最后一个参数的值为100 bytes。

好了，有很多数据，但是这些数据代表什么意思呢？This is where some guessing based on the device itself would come in handy（一些硬件设备即将派上用场）. I'm terribly lazy though and if given an option to avoid a lot of guesswork, I'll take it!

8. USB Analyzer

对Kinect进行逆向工程更容易一些，因为我们有一个著名的工作系统（XBOX 360）。取代命令猜测，我们可以看看什么命令从XBOX里发送，然后“重放这些命令”。

然而，我们首先需要能够监听这些命令。With protocols such as SPI, Serial（串行）, Parallel（并行） and i2c, 你可以监听这些命令，通过使用逻辑分析仪或示波器。 USB is fast/complex enough to require its own kind of logic analyzer. 我们将会使用一个被称为Beagle480 from TotalPhase的分析仪，这是一台“高速的”USB分析仪，这次我们也要挥霍一把了。 (对于许多设备, 速度还不够快, 那些都是一些低成本的分析仪。)

USB分析仪扮演了一个“tap”的角色在XBOX和Kinect之间。一台电脑也需要连接好，这台电脑用于接收所有传输的数据到内存中并记录下。

从左至右，分别是DIN连接口，USB A连接口和USB B连接口。XBOX连接到 USB B，KINECT连接到USB A。DIN connector is for other kinds of data sniffing （like SPI or i2c）

在另一边，有一个单独的USB B连接口，它用来连接监听的电脑。

The best way we've found to get the right data is to make sure to get even the 'enumeration' (initialization) packets，所以插入监听电脑并启动软件。然后在另一端插入你想侦听的设备.

9. Lookin' at logs

你可能没有一个USB分析仪，我们这里有一些日志，you can use to follow along with us. Visit the GitHub repository and click the **Downloads** button

Make yourself a sandwich, its a big file!

Also download the Beagle Data Center software (Mac/Win/Linux) and install it

OK now that you've eaten, 让我们打开enuminit.tdc 文件。This is the full enumeration and initialization。

记住，当我们在记录数据的时候会有很多，不过我们可以消减这些数据。

让我们重新回忆一下，Kinect有四个设备（hub, camera, mic, motor），但是我们只需要监听其中的一个（motor）。Click on the Bus tab on the lower right.

We have a few devices. Lets explore each one。

如果你点击了Unconfigured device (0) ，你会发现该设备还没有被捕获。这可能是因为 I jiggled the cable when inserting it so it started to create a device and then got disconnected. Its not important

Click on <none> (1) This device is a Class device type USB Hub. That's the internal hub. 我们可以忽略这一点。

Device #4 has a PID of 688, 这是个十进制的值. 如果我们把它转换为十六进制，我们会得到0x02b0 - 这个就是马达设备！

现在，我们可以过滤了，仅显示马达设备的日志。

现在，我们的日志已经非常短了。

你可以看到有一些初始化工作，and then just two repeating motifs：一个1字节的消息和一个10字节的消息交替出现。

马达会根据XBOX的命令来转动，这里一定有一些从XBOX发送给KINECT的命令。让我们在过滤下，只显示发送给KINECT的命令。

找到LiveFilter选项卡，然后勾上Host-to-Device一项。

现在，我们真的把它消减下来了（译者：列表的信息大部分被过滤了）。这里只有四个命令发送给Kinect的马达，since the motor moves during initialization we can just try each one. 下面，让我们看下每个命令吧。

Command 1 has a bRequest of 0x06 and a wValue of 4, the wLength is 0 which means no data is written, the entire command is the Request and Value

Command #2 uses the same bRequest but with a different wValue of 0x01

Command #3 is a different bRequest of 0x31 and a wValue of 0xffd0

Command #4 is the same bRequest and a wValue of 0xfff0

现在我们已经确定有俩个请求命令可以发送。一个是0x06，另一个是0x31

Time to experiment!

10. Command #1 & 2 - LED blinky!

（续）

本文链接

体感技术：DIY Kinect Hacking（一）（原创）

2012-05-22T06:06:00Z

1. Introduction

每个人都看过 Xbox 360 Kinect hacked in a matter of days after our "open source driver" bounty - here's how we helped the winner and here's how you can reverse engineer USB devices as well!

USB是一个非常复杂的协议，比Serial or Parallel, SPI and even I2C更加难懂. USB只使用2条电线，但它们不像串行一样是作为“接收”和“传输”。相反，数据是bidirectional and differential - 数据发送依赖与俩根数据线D+和D-之间的电压差异。如果你想知道更多有关USB的技术，你需要阅读 Jan Axelson's USB Complete books , they're easy to follow and discuss USB in both depth and breadth.

USB is also very structured。这很适合逆向工程， because it means that at least the format of packets is agreed upon and you won't have to deal with check-sums. 坏消息是，你必须有软件来协助你解码这些复杂的数据包。好消息是，现在每台电脑都会有USB host core，它们会为我们做大量艰辛的工作，并且会有很多软件库可以协助我们。

今天，我们将开始我们的逆向工程来破解Kinect的马达。

2. Verify the VID & PID

首先开始的是查看USB设备有效的“接口”信息和“配置”信息。最佳方式是使用lsusb(Linux)或者system_profiler(Mac)，这是一个“list usb”程序可用于Linux和mac.悲剧的是，windows里并没有这些工具，所以找一台linux或mac吧，你只需要一分钟吧。

在linux里，运行 lsusb-vv(ultra verbose).在mac里，运行 system_profiler SPUSBDataType

这里有一堆的东西像USB Keys和一些安装程序，但这是一个好的开始。需要注意的是，Kinect事实上有四个USB设备-一个集线器，一个摄像头,一个麦克风(音频)和一个马达. 这个集线器只是简单的把三个独立的芯片组合为一个单一的缆线设备。我们将会研究马达设备，因为它是最简单的。请注意Vendor ID=0x045e 和 Product ID = 0x2b0. 每种USB设备都必须拥有唯一的VID和PID。VID指的是制造商。在这个例子里，VID 0x45e指的是微软。所有的微软产品都会有这个VID值。每个产品都会有不同的PID，所以所有的Kinect马达的PID值都为0x02b0，俩个Kinect的马达PID不会不同，它们都拥有同样的PID。The VID/PID are used as a way to have the proper driver find the product。这个优于串行COM接口，因为串行COM接口可以更改名称， but VID/PID are burned into the device firmware。

3. Determine the Descriptors

你已经知道VID/PID是用来确定设备的描述符（descriptor）。描述符是一种“菜单”，描述了设备可以做什么，设备如何传输数据。一般情况下，每个设备都有一个描述符。一些时候一个设备会有1个以上的描述符，并且你可以选择你想要的一个，但是这种情况并不多见，所以我们忽略它。一个很好的方法来获取描述符，不需要编写任何软件，你只需要在linux系统的电脑上运行 lsusb-vv。我们并没有发现同样的软件在Windows或Mac上。所以找一台朋友的Linux电脑。（Try the "USB Prober" tool from Apple for Mac OS X.）

这里是马达输出的lsusb信息。

让我们看看我们得到了什么。你可以在上部看到VID和PID。接下来，我们会看到bNumConfigurations(how many different desciptors we have)，且它的数值1。Next, look at the Interface Descriptor in particular，bNumEndpoints的值为0，这意味着马达没有端点（Endpoint）。

Endpoint are a type of USB 'data pipe' - 这里有四种类型。

Bulk Endpoints are for transferring a lot of data, like a disk drive. It's OK if it takes a little longer but we want big packets. This endpoint goes only in one direction (so to read and write you'd want two)

Interrupt Endpoints are for transferring tiny amounts of data very quickly, like for a USB mouse. In this case, the device has to be responsive so we want fast movement. This endpoint goes only in one direction

Isochronous Endpoints（同步端点） are for transferring a fair amount of data where the data must show up at the same time and if it can't it should just be dropped. This is for stuff like Audio and Video where timing is key. This endpoint goes only in one direction (so bidirectional audio for headphone and mic would have two EPs)

Control Endpoints（控制端点） are this weird not-quite-an-Endpoint Endpoint. They are used to transfer small amounts of data to say turn a device on or off. They're very 'cheap' to develop, and every device has one even if its not mentioned.

举例，一个串行端口有2个Interrupt endpoints来传出数据和传入数据，然后一个control endpoint来设置传输速率。

For more details we really do suggest reading everything at lvr.com about USB as it's complex.

马达设备没有Endpoints，但是这并不意味着你不能与它进行通信。这只是表示它只使用一个双向的Control Endpoint。这并不意外，马达是很慢的且不需要大量的数据来控制。

对比下视频/摄像头设备：

Device Descriptor:

bLength 18

bDescriptorType 1

bcdUSB 2.00

bDeviceClass 0 (Defined at Interface level)

bDeviceSubClass 0

bDeviceProtocol 0

bMaxPacketSize0 64

idVendor 0x045e Microsoft Corp.

idProduct 0x02ae

bcdDevice 1.0b

iManufacturer 2 Microsoft

iProduct 1 Xbox NUI Camera

iSerial 3 A00366A08793039A

bNumConfigurations 1

Configuration Descriptor:

bLength 9

bDescriptorType 2

wTotalLength 32

bNumInterfaces 1

bConfigurationValue 1

iConfiguration 0

bmAttributes 0xc0

Self Powered

MaxPower 16mA

Interface Descriptor:

bLength 9

bDescriptorType 4

bInterfaceNumber 0

bAlternateSetting 0

bNumEndpoints 2

bInterfaceClass 255 Vendor Specific Class

bInterfaceSubClass 255 Vendor Specific Subclass

bInterfaceProtocol 255 Vendor Specific Protocol

iInterface 0

Endpoint Descriptor:

bLength 7

bDescriptorType 5

bEndpointAddress 0x81 EP 1 IN

bmAttributes 1

Transfer Type Isochronous

Synch Type None

Usage Type Data

wMaxPacketSize 0x0bc0 2x 960 bytes

bInterval 1

Endpoint Descriptor:

bLength 7

bDescriptorType 5

bEndpointAddress 0x82 EP 2 IN

bmAttributes 1

Transfer Type Isochronous

Synch Type None

Usage Type Data

wMaxPacketSize 0x0bc0 2x 960 bytes

bInterval 1

Device Qualifier (for other device speed):

bLength 10

bDescriptorType 6

bcdUSB 2.00

bDeviceClass 0 (Defined at Interface level)

bDeviceSubClass 0

bDeviceProtocol 0

bMaxPacketSize0 64

bNumConfigurations 1

Device Status: 0x0001

Self Powered

该设备拥有2个Isochronous Endpoints，它们都是IN类型（data going IN to the Computer）.This makes sense:Kinect有一个IR深度摄像头和一个普通的VGA摄像头。俩个摄像头对应俩个端点。当然，这里没有提到一个Control endpoint，这个Control endpoint 被用于设置光圈（aperture），伽马校正，任何内置过滤器，等等。

4. Driver-maker

好了，现在回到我们的马达上。我们准备开始发送数据来通过Control endpoint。对于Mac和Linux类型的电脑，驱动不需要发送或接收数据直接通过USB。

对于Windows电脑，这里必须有某种驱动程序来为我们抢占硬件设备。通常，驱动程序是非常复杂的，就像一个插入操作系统的接口。 Like the cameras would show up as a camera device, the microphones as an audio device. 我们还没有准备一个详细的驱动程序，我们将要做的是一个“壳驱动（shell driver）”，这个壳驱动没有操作系统的能力，但可以让我们从软件发送一些命令给硬件。

再次提醒, Mac/Linux people have this built into the OS kernel so skip this part if you don't use windows.

至于我们壳驱动，我们使用一个USB库 libusb，这是用于Windows系统的, libusb-win32 go there and download it.

我们运行inf-wizard (这个会制作我们自己的壳驱动)

最重要的部分是输入匹配的VID和PID，我们前面所发现的部分。

现在，当你插入Kinect的时候，it will attach itself the the LibUSB-win32 device driver。

We didn't make matching drivers for the audio or camera so those are still driver-less.

5. Installing Python & PyUSB

现在我们需要开始发送命令到USB设备。我们所知道的最快最容易的方法是使用LibUSB库并结合一个脚本语言，如：Python。There are LibUSB bindings for C and C++ and Per。但我碰巧更喜欢Python。

If you don't have python installed, do that now.

接下来， install PyUSB by downloading it and running python setup.py install in the expanded directory。

6. Attaching to the device

让我们开启第一个简单的例子，这段程序将会把自己附加到有问号标志的设备上。

注意，我们寻找我们之前所发现的VID/PID设备。我们不发送任何数据。当Kinect没有加入电脑时你会得到一个错误信息。

如果Kinect已经插入，那么这里不会错误。

7. What message to send?

（续）

本文链接

体感技术：提前感受未来 LEAP让你使用体感手势控制Mac

2012-05-22T01:57:00Z

2012-05-22 原文：http://info.china.alibaba.com/news/detail/v0-d1026922360.html

Kinect刚问世的那会，我们都觉得这货已经很好很强大，简直是科幻电影里出来的东西。但长江后浪推前浪，始终会有人做出更强力的东东来。Leap Motion已经放出了自家3D体感设备Leap的操作视频，宣称可以感应精确度可以达到0.01毫米——比Kinect要灵敏100倍。

和Kinect不同，Leap的感应范围限定在一个4立方英尺（约112立方分米）的正方体中，所以要探测到你全身的动作大概有点困难，但是如果只是双手的话就应该没有什么问题。

Leap使用USB与电脑相连，配合传感器以及摄像头，当然还有公司自家的软件，可以追踪到多个目标以及辨认手势。在视频中，这款体感设备表现得相当灵敏以及科幻，简直可以将普通的屏幕当成触摸屏来用。Leap Motion正在开发相应的SDK，而且也正寻求Leap开发者。

Leap系统的售价是令人惊讶的70美元，要知道就算是Kinect单买也需要从你的钱包里掏走150美元。Leap可以兼容Windows以及Mac OS X平台，并且现在在美国已经可以预定，有兴趣的朋友可以考虑一下。

本文链接

体感技术：Kinect Accelerator 孵化项目创意一览（链接）

2012-05-20T14:38:00Z

2012-05-18 http://tech.huanqiu.com/business/2012-05/2734597.html

本文链接

KinectSDK：Kinect應用程式開發入門（链接）

2012-05-16T01:20:00Z

http://msdn.microsoft.com/zh-tw/hh367958.aspx

本文链接

体感技术：Point Cloud Library

2012-05-14T08:52:00Z

今天大概看了一下一个开源的点云库。The Point Cloud Library (PCL) is a standalone, large scale, open project for 3D point cloud processing.

下载地址：http://pointclouds.org/downloads/windows.html

在安装之前，首先要安装第三方依赖库。如下：
1. boost
Boost库是为C++语言标准库提供扩展的一些C++程序库的总称。

2. Eigen
Eigen 是一个线性算术的C++模板库，包括：vectors, matrices, 以及相关算法。功能强大、快速、优雅以及支持多平台。

3. FLANN

4. VTK
视觉化工具函式库（VTK，Visualization Toolkit）是一个开放源码，跨平台、支持并行处理的图形应用函式库。

5. Qt
Qt是一个1991年由奇趣科技开发的跨平台C++图形用户界面应用程序开发框架。

6. QHull
QHull是一个开源的程序软件，用来研究解决凸包问题，生成凸包形体。

7. OpenNI
OpenNI(开放自然交互)是一个多语言，跨平台的框架，它定义了编写应用程序，并利用其自然交互的API。

本文链接

体感技术：揭开体感技术的面纱，软、硬件联手缔新献（二）

2012-05-14T04:57:00Z

其实华硕的WAVI Xtion跟微软的体感游戏机Kinect系出同源，芯片合作商都是Prime Sense。不过，WAVI Xtion是以PC为平台，且PC每年上亿台的市场规模，加上软件开发商也都在PC上开发程序，且具备升级容易等优点，因此基于PC做为体感应用平台将会是明佳策略。同时简孝坚也表示，尽管跟Kinect有竞争关系，但双方应先把市场做大，并格外看好大陆体感市场机会，加上Xbox无法在大陆销售，故华硕会先聚焦大陆。华硕预定在10月份推出体感遥控套件，今(2011)年底前预定出货10万台。

运算核心与产业标准

除了开发机制与联盟合作外，体感创新的核心技术也是令人关注的议题，因此本次研讨会也邀请到在3D感测领域拥有深厚背景的PrimeSence与会。PrimeSence业务总监尤纪凯提到：「所谓3D感测技术，即是利用光学设备撷取环境讯息，将其组合成3D模型的技术。」

当然，一并也赋予了机器准确的视觉能力，并具备学习使用者的设计，颠覆了现有科技产品需要由使用者去学习的使用模式。同样是摄像装置，对于一般图片所获得的是RGB三原色的讯息。当搭载3D感测技术后，则能够取得影像的深度(Depth map)信息。

PrimeSence亦提供了完整的3D感测解决方案，除了名为NiTE的Middleware外，在硬件上涵盖了PS1080感测芯片，以及感测装置的参考设计(Reference Design)等元素。基本上，3D感测的技术架构Host端可分为驱动程序、Middleware及应用程序(Application)等部分。

当Xtion PRO等装置撷取环境影像后，转换成深度信息，并传递到Host端由驱动程序接收并解读出来，但对软件开发而言，却无法了解这些复杂讯息所代表的意义，所以需要Middleware去分析，将有效的内容提供给应用程序使用。

举例来说，透过Middleware将撷取到的背景、人体轮廓等多余影像去除，从中组合成所需的人体关节的节点资料。对游戏程序而言，人体关节的节点资料即可接到虚拟3D人物上。另一方面，应用程序不见得要位于Server内，亦可透过云端技术放在网络上与Middleware连结。

不过Server端集成应用程序的作法，并不符合前述提到的Open Platform 2.0概念。因此，PrimeSence与ASUS等多个合作伙伴，共同成立了OpenNI规范，为软件开发提供了标准化的API工具，成为普及化的幕后推手。

OpenNI最大的特色在于完全免费，不论任何技术层面均可参与，并将Compliant Hardware、Middleware及NI(Natural Interaction)Apps三方资源有效集成。若再融入之前提到的3D感测架构中，除了硬件端与Firmware完全结合外，应用程序还可藉由OpenNI存取Middleware、感测装置内部的功能，甚至是具备脸部辨识等独特设计的Middleware，搭载至系统自然也不成问题。

对应用程序开发而言，在符合OpenNI的前提下，不需重新撰写软件，只要稍做修改即可轻松导入各种平台与Middleware。观察OpenNI的推广效益，目前具有超过2,000位的注册会员，以及10万个以上的SDK下载，同时已有上百个应用程序是采用OpenNI所开发，并以每天10个以上的速度成长，可见OpenNI的潜力无穷。

为了激荡出创意分享的火花，OpenNI还成立了Arena机制，提供开发者一个上传成果的舞台，同时30%的Apps会公布原始码(Source code)下载。

而OpenNI Arena的立意在于作为开发者间沟通的桥梁，进而将开发者社群与Publisher、Manufacturer、Application Store及Enthusiastic Consumer串连起来，以期达到观察创意趋势、发掘人才、加强开发者互动、将NI(Natural Interface)延伸到新领域等愿景。

事实上，当3D摄像装置将体感影像撷取进来后，还需经过Depth Map、Middleware等一连串复杂的资料转换，这时也考验著CPU的运算能力。因此本次也邀请到业界知名的嵌入式处理器(Embedded Processor)厂商─德州仪器，为各位解说DSP(Digital Signal Processor)在体感创新硬件上所扮演的角色。德州仪器的应用协理郑曜廷提到：「由于目前Xtion的开发套件是用于PC上，故可直接使用PC的处理器计算运行。不过，开发者也可采用嵌入式的处理芯片，来减少资料传输占据带宽的问题，同时增加计算的效率。」

为此联盟与德州仪器合作，让开发者可在传感器上直接置入芯片，让图片资料的计算在前端就处理完毕，如此便可减少计算的时间，且传输通道也可用来传送更重要的信息或指令。

经过实际测试，德州仪器DSP与FPGA、PC的比较结果，在SobelEdge Detector、Bayer Filter Demosacing及Gaussian Pyramid等测试项目上，均有显著突出的数据。即便PC的成绩在Bayer Filter Demosacing上较为出色，但却是配备了双核、2GHz以上的处理器，以及2GB的存储器才有如此的表现。不仅如此，德州仪器的DSP本身也采用了硬件加速器的设计，以提升在3D Point Cloud、k-means方面的运算表现。

另外，德州仪器DSP几项的3D影像处理技术上，甚至超越PC的运算速度，且拥有小巧低耗电的嵌入式设计优势。

针对体感需求的差异，德州仪器开发了多款DSP因应不同的市场定位，例如DM36xx系列，即是用来搭配手部体感的产品；而DM3730则是作为全身性的体感技术的运算核心，具备15个节点的侦测能力。

为增进DSP平台上软件的开发，并充分发挥在运算效能上的优势，德州仪器还提供了Vision Software Libraries的服务。其中包括OpenCV、vLib、IMGLib及3DVLib等部分，除内容广泛外，还可开放原始码，并透过Ti E2E论坛来相互交流，以期软件能针对DSP最佳化，并与DSP缜密结合发挥最大效益。

原文：http://gb-www.digitimes.com.tw/tw/dt/n/shwnws.asp?CnlID=&id=251399&ct=1&OneNewsPage=1&query=&PAGE=1

本文链接

体感技术：揭开体感技术的面纱，软、硬件联手缔新献（一）

2012-05-14T04:56:00Z

对于高价值产业的发展趋势，工研院服科中心技术长吴宗和博士指出：「应朝向服务科技化、制造服务化两个方向进行，且两者相辅相成。」所谓制造服务化，即是将硬件设备结合加值服务来提升产品价值，例如Apple的App Store的成功经验，造就了iPhone不仅只是一支手机而已，背后的数码内容服务才是关键所在。

有监于此，制造服务化也成为体感系统的设计策略，象是扩增实境(Augmented Reality)之类的互动体感(Interactive motion sensing)即具有相当地潜在价值，透过介于虚拟世界(如：游戏内容)与真实世界相结合的连结与互动，打造出创新的服务与应用。

然而，互动体感应用前提在于具备Smart endpoints with 3D display、Motion sensing、Virtual reality及feedback mechanism等装置，其次则是服务的适切性(Service usability)，特别是使用者接口(User Interface)，这将影响到客户使用感受与忠诚度。经由Xtion Store体感创新应用开放平台的机制，可将内容产业(Content provider)、软件开发(Software developer)及系统开发(System provider)等各方资源集成，让体感创新应用于运动、医疗复健、游戏、教育及电子商务等产业。至于工研院在体感创新应用联盟中所扮演的角色，则是推动规格标准化，制定平台中的有关系统、接口等条件的统一规范，让体感创新的开发获得全球化应用。

华硕计算机多媒体事业处总经理简孝坚致词时提到：「华硕投入体感产业的原因，不外乎是周遭生活上的需求。」例如：家中小孩活拨好动，在体感技术的帮助下，将可吸引小孩的注意力，使其专注在学习上，也省下父母陪伴的时间；一般在网络上购买的衣服，时常发现样式不适合或造型不搭配，此时若能先行虚拟试衣，势必能减少这类情形发生;当家中的长辈需要肢体复健时，如果能在家中进行，将可避免往返医院的麻烦，以上这些都是体感技术的应用层面，进而让生活更美好。

华硕不仅拥有Xtion PRO、Xtion PRO LIVE的开发成果，在Xtion Store体感创新应用开放平台(Open Platform 2.0)的推动上也不遗余力。

简孝坚于说明时指出：「透过此平台提供更容易分享的的体感开发接口与套件，同时集成软、硬件，以及数码内容与专业的厂商或团体，共同开发体感的创新应用，加速并带动体感的产业的发展，提供消费者更精彩而愉快的便利生活。」

不仅如此，简孝坚同时也提到Open Platform 2.0的特色在于开放性、便利性、普及性、国际化、发展性及多元化等6大特点。

由于开放性的特质，使得软件的撰写更为容易；而便利性与国际化，则是因为Xtion Store是建构于网络上，信息的交换省时且方便，同时有利于华硕全球品牌与通路的推广;而发展出来的体感装置，将搭配PC使用，毕竟PC拥有普及性的特质，运算效能与应用提升的支持度亦是最佳，且没有国家限制(如：大陆不能销售游戏机)，避免销售上的障碍，这就是发展性与普及性的优势所在。此外，Xtion Store可一并用于B2B、B2C方面，拥有多元化销售的优点。

Xtion Store所具备的B2C销售功能，将藉由交互式使用者接口(Interactive UI)，让使用者可以轻松浏览下载最新的游戏或应用程序，未来将再集成更多元的体感创新数码内容象是商业应用、游戏运动、教育学习及复健医疗等产业应用，且Xtion Store预计2011年11月上线，使得体感创新迈进一大步。

基于在体感创新联盟中的B2B定位，Xtion Store具备了Management、Resource及Library等架构，作为获得联盟集成Application Developer、Content Provider等而来的App的平台。

至于华硕在Open Platform 2.0上所扮演的角色，则是透过Xtion PRO、Xtion PRO LIVE套件，协助软件人员透过SDK(Software Development Kit)开发出PC上的应用。接下来将扩展至机上盒(STB)市场，以因应未来Smart TV的风潮，并创造出更大的效益。此外，华硕本身所要发展的方向为WAVI Xtion，利用WAVI系统将房间内的PC影像、声音经由无线传输到客厅电视上，并透过Xtion侦测以手势直接控制PC，用来浏览照片、控制影片操作选单、上网、甚至是使用社群网站等互动操作，即是透过电视屏幕，以体感方式控制PC。当然，游戏机也是华硕在体感市场另一个着眼点，毕竟PC拥有最多的游戏支持，甚至还有网络上的Flash游戏，因此华硕期许所有的游戏都能够透过WAVI Xtion来进行。

本文链接

体感技术：小游戏也体感支持Kinect体感XBLA游戏盘点

2012-03-28T14:07:00Z

http://game.21cn.com/console/x360/news/2012/03/24/11264813.shtml

本文链接

博客园_何文西的体感技术小屋

体感技术：DIY Kinect Hacking（三）（原创）

体感技术：DIY Kinect Hacking（二）（原创）

体感技术：DIY Kinect Hacking（一）（原创）

体感技术：提前感受未来 LEAP让你使用体感手势控制Mac

体感技术：Kinect Accelerator 孵化项目创意一览（链接）

KinectSDK：Kinect應用程式開發入門（链接）

体感技术：Point Cloud Library

体感技术：揭开体感技术的面纱，软、硬件联手缔新献（二）

体感技术：揭开体感技术的面纱，软、硬件联手缔新献（一）

体感技术：小游戏也体感 支持Kinect体感XBLA游戏盘点

体感技术：小游戏也体感支持Kinect体感XBLA游戏盘点