調(diào)酒師也要下崗了么？騰訊把手伸向了調(diào)酒

Callejon

注意看，這個機器人靈巧手，主打的就是能和人手靈活程度媲美的操作能力。

可適應(yīng)不同場景，靈活規(guī)劃動作，還能自主完成操作。

5 ?0 }) c3 m! K# j9 c8 Y

它的名字叫TRX-Hand，是騰訊Robotics X實驗室公布的最新機器人研究進展，同時亮相的還有自研機器人機械臂TRX-Arm——這是Robotics X實驗室首次展示在靈巧操作領(lǐng)域的成果。

+ P4 R; f/ U4 d2 q6 t& _

與靈巧手不同，機械臂TRX-Arm主要針對人居環(huán)境研發(fā)，擁有七自由度和擬人的特性，具有靈巧、爆發(fā)力強、觸控一體以及柔順安全等特點。

8個可獨立控制關(guān)節(jié)

展示過程中，設(shè)定了一個花式調(diào)酒的場景。

要調(diào)制一杯酒，機器人需要對多種物體連續(xù)進行30多次操作，不僅涉及瓶子、杯子、攪拌棒等多種常見物體，還需要機器人用多種動作操作這些物體。

, l' f/ j# d1 l+ p

其中，既有抓、放、倒這些常規(guī)操作，還有旋轉(zhuǎn)、搖晃等雙手協(xié)同動作，以及更高難度的拋接、翻轉(zhuǎn)等動態(tài)操作和插孔、穿刺、攪拌等精細操作動作。

一般來說，機器人技術(shù)根據(jù)智能程度可分為三個階段：

只能完成固定命令的程序機器人；

能夠感知周圍環(huán)境的自適應(yīng)機器人；

能夠自主學習和決策的智能機器人。

常見的工廠流水線機械臂以及拉面機器人等，屬于第一階段，只能在單一的場景內(nèi)重復(fù)固定動作。

3 J, E8 j& R! t/ e

具備靈巧操作能力的機器人則屬于第二和第三階段，現(xiàn)實生活中有大量操作場景，如拾取物品、倒水等。

想要在各類場景里靈活操作物體，機器人必須能感知環(huán)境、理解物體、評估狀態(tài)、預(yù)測行為并自主規(guī)劃完成物體操作，這意味著機器人必須得感知豐富、能決策、執(zhí)行力可靠。

運動能力方面，得益于創(chuàng)新的剛?cè)峄旌向?qū)動專利技術(shù)和自研高功率密度驅(qū)動器，騰訊靈巧手TRX-Hand兼具高靈巧和高負載速度的特性。

$ Z# g. A+ R2 a; ]/ \7 M) Y

它擁有8個可獨立控制關(guān)節(jié)，自重僅1.16千克，最大持續(xù)指尖力可達15牛，最大關(guān)節(jié)速度不低于600度/秒，可輕松應(yīng)對不同形狀尺寸物體的抓取和操作，對高動態(tài)的拋接動作也游刃有余。

# B8 E: ^( P, i% y, [; s) G+ X

同時，柔性驅(qū)動的指尖設(shè)計有效提升了手指的抗沖擊能力。

  y/ ?6 E2 G3 E0 ?& z. u3 r0 I

多傳感器融合
" D6 s, i8 @! N

在感知能力上，靈巧手在指尖、指腹和掌面均覆蓋了自研的高靈敏度柔性觸覺傳感器陣列，掌心處安裝有微型激光雷達和接近傳感器。

1 E; r1 L/ q" v

. M7 v8 z6 D0 D- k

同時每一個關(guān)節(jié)均集成了角度傳感器，保證靈巧手在抓取和操作過程中能準確地感知自身與物體狀態(tài)信息。

考慮到人居環(huán)境中充斥著透明、反光、細小的物體，以及由遮擋、光照、打滑等因素造成的各種不確定性，機器人想要精準可靠地獲取物體信息，就需要結(jié)合多種傳感信息，如視覺、接近覺、觸覺和力覺等。

這些不同模態(tài)傳感信息各有各的特點——

如，相機可以看到場景全貌，為機器人做全局運動規(guī)劃提供必要信息；

接近覺在機器人靠近環(huán)境物體過程中提供更實時的反饋，彌補系統(tǒng)建模的誤差，使機器人更精準地獲取物體；

$ m3 w/ y3 h& k" P) @' r/ x

觸覺可以感知相機無法看到的接觸細節(jié)，包括接觸位置和形狀，實時感知手內(nèi)物體的狀態(tài)；

( E' T) E8 r  _7 o+ |3 d9 |7 I

力覺使機器人感知與環(huán)境/物體交互時的整體受力情況，使交互更為輕柔和自然。

/ [, m% x  o0 L: v0 t* h& }

騰訊Robotics X實驗室對不同傳感器進行了建模與標定，采用多傳感器信息融合技術(shù)，使機器人能在各種操作任務(wù)中更全面及時地感知物體信息、自身運動狀態(tài)以及與環(huán)境的物理交互，從而更可靠地完成任務(wù)。

0 [8 B8 U! |: p3 w$ Y! Q0 f

軟硬結(jié)合，讓機器人“動手”
% {* E: C0 Y9 Y# |; E- ^) V8 Z

造機器人，不僅對本體和傳感器等硬件有著極高要求，軟件算法也核心要件之一。

Robotics X本次展示的機器人能夠順暢完成一系列操作，是因為在六自由度工業(yè)機械臂上搭載靈巧機器手TRX-Hand以及自主開發(fā)的感知與控制算法。

- A0 f/ p. R( }& E5 D# Z

/ ~7 Y6 C+ b! k& n

針對抓放物體與倒水等常規(guī)動作，首先基于視覺和觸覺對物體進行實時識別與定位，利用在線規(guī)劃算法，讓機器人能夠計算出臂手的最佳構(gòu)型與安全運動軌跡。

6 {+ O# I# \8 h% V) z. F) P* [

隨后，在執(zhí)行中利用手上三種傳感器進行自適應(yīng)調(diào)整，進一步保證動作執(zhí)行的精度與可靠性，同時借助機械臂末端六維力傳感器感知與環(huán)境的交互力，避免猛烈碰撞。

讓機器人的“雙手”在高速運動的同時保持協(xié)同極具挑戰(zhàn)，協(xié)同失誤會產(chǎn)生過大沖擊或應(yīng)力，損傷被操作物體甚至機器人本身。

調(diào)酒過程中，騰訊Robotics X實驗室展示的機器人結(jié)合視觸覺融合的手內(nèi)物體姿態(tài)估計與基于機械臂末端力傳感信號的力位混合控制，實現(xiàn)了酒瓶與搖酒器高速旋轉(zhuǎn)倒酒、大小搖酒器相扣搖酒等雙手協(xié)同動作。

+ I0 L, Z( r$ ?8 [& N2 E4 W

; X" J/ _0 a1 m9 B

本次展示中，騰訊Robotics X實驗室讓機器人順利完成“拋接”等高難度的動作，這類動作有很高的實時性要求，感知或執(zhí)行上的細微誤差都會導(dǎo)致操作失敗。

這個過程中，研究團隊創(chuàng)新性地提出了基于機器人本體感知的抓拋過程建模與物體飛行軌跡預(yù)測方法，有效彌補傳統(tǒng)視覺算法在短距離、強遮擋、高動態(tài)操作場景下的局限性，實現(xiàn)了高精度、高時效的抓拋物體飛行軌跡預(yù)測。

$ z" Y# S5 Y" v3 S8 x4 V5 ?

此外，團隊還提出了飛行物體的最優(yōu)攔截時間、最優(yōu)攔截位姿與最優(yōu)攔截軌跡的計算方法，以動作持續(xù)時間、機器人運動能量以及與物體的接觸力為優(yōu)化目標，能在數(shù)毫秒內(nèi)完成計算，實現(xiàn)對快速飛行物體的平穩(wěn)攔接。

4 N( u1 Z3 t0 _7 G+ H

在攪拌棒插孔和使用簽子插葡萄的任務(wù)中，不銹鋼攪拌棒和金屬簽子都是無紋理、高反光的細長物體，攪拌棒直徑8mm，與孔直徑相差僅1mm，簽子直徑不足2mm，這給物體的識別與定位帶來不少挑戰(zhàn)。

* k' E  {$ {& ]  z

) i) p* y* a% @/ w# q/ A# d% K

尤其是攪拌棒在經(jīng)過一系列攪拌動作后并不一定停留在原來的手內(nèi)位置，其在接近孔時會對孔造成遮擋，它的反光表面更會倒映出孔造成視覺的混淆。

對此，研究團隊在僅依靠機器人頭部相機的條件下，通過對物體間相對位置的估計，并融入觸覺感知，獲得了穩(wěn)定的攪拌棒、孔和簽子的識別與定位。

此后，通過力覺感知到插孔失敗后能抬起手臂再次嘗試，通過幾次試探使攪拌棒逐漸接近真實孔位、確保完成插孔操作，展示了機器人能實時感知任務(wù)狀態(tài)，識別失敗并自主調(diào)整策略，最終成功完成任務(wù)的調(diào)整和容錯能力。

此外，高分辨率的指尖觸覺讓機器人精巧的手內(nèi)操作成為可能。

所謂手內(nèi)操作，指的是僅利用手指來操控手里的物體，改變其位姿和狀態(tài)。這是一種充分發(fā)揮手指運動能力的技能，能以最小能耗達到操作物體的目的，同時也對手部的感知能力和控制精度有極高要求，是“靈巧”性的集中體現(xiàn)。

人類在日常生活中大量使用手內(nèi)操作，例如攪拌湯勺、寫字、使用筷子等。但對于機器人來說，手內(nèi)操作非常有挑戰(zhàn)性，在“感知——控制”回環(huán)的任一部分稍有差池，就會造成物體掉落和任務(wù)失敗。

" ?: m) }3 ^1 d

演示中，機器人以指尖抓住一根細長的攪拌棒，先以臂手協(xié)同的方式大力攪拌杯子里的液體，然后靜止手臂，以純手指運動的方式平滑柔順地攪拌。

" y! w6 ^- m5 k  U0 s2 B' U7 t

其中，后者的手內(nèi)操作結(jié)合了深度強化學習和sim2real等技術(shù)，使用了指尖傳感器實時反饋接觸狀態(tài)，生成三個手指的協(xié)同運動，同時對攪拌棒施加合適的力，在保證攪拌棒不掉落的前提下，驅(qū)動攪拌棒按期望軌跡攪拌杯子里的液體，充分展現(xiàn)機器人的靈巧操作能力。

繩索傳動與差分驅(qū)動相結(jié)合的機械臂
8 p* M' A& h0 ]* s/ Q

騰訊自主研發(fā)的高性能七自由度擬人機械臂TRX-Arm也首次對外亮相。

不同于傳統(tǒng)的協(xié)作型機械臂，TRX-Arm采用了繩索傳動與差分驅(qū)動相結(jié)合的方式，不僅有效降低了傳動摩擦和運動慣量，還實現(xiàn)了多電機多關(guān)節(jié)協(xié)同驅(qū)動，具有高動態(tài)運動的能力。

其最大速度7.4m/s，最大加速度44.5m/s（2），可負載6kg以上。同時，其前臂集成了768點的觸覺陣列，其刷新頻率高達1000Hz，以此實現(xiàn)了酒瓶在滾動和平衡過程中的高頻實時定位。

6 p5 A2 S: k% f) I4 e" d' G

據(jù)悉，騰訊Robotics X實驗室將繼續(xù)推動自研機器人靈巧手TRX-Hand和機械臂TRX-Arm的融合，并引入深度學習等前沿算法，提升機器人的靈巧操作能力和解決復(fù)雜問題的能力，讓其更好地服務(wù)現(xiàn)實需求。

, E9 x& I9 {( x9 d$ t4 K# g( B

騰訊Robotics X實驗室致力于機器人前沿技術(shù)的研究，打造人機共存、共創(chuàng)和共贏的未來，此前已經(jīng)推出多模態(tài)四足機器人Max和輪腿式機器人Ollie等多款自研機器人。

! ]4 z  n  p5 F5 G4 p

接下來，騰訊將繼續(xù)探索機器人前沿技術(shù)，推動機器人技術(shù)在養(yǎng)老護理、居家服務(wù)、智能制造等領(lǐng)域的落地應(yīng)用。