本發(fā)明涉及足式機(jī)器人，尤其是涉及一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人及其控制方法。
背景技術(shù)：
1、在自然界中，許多動(dòng)物靈活、敏捷的運(yùn)動(dòng)離不開(kāi)腰部作為核心的力量支持，獵豹在極速追擊獵物時(shí)需要靠腰部力量來(lái)維持高速運(yùn)動(dòng)過(guò)程中的穩(wěn)定性。貓總可以在空中依靠旋轉(zhuǎn)腰部來(lái)保證是能四足平穩(wěn)著落著陸。受此啟發(fā)，已有部分工作聚焦于通過(guò)對(duì)四足機(jī)器人軀干結(jié)構(gòu)上的改進(jìn)與優(yōu)化，以實(shí)現(xiàn)更加敏捷的運(yùn)動(dòng)性能。例如，有的方案通過(guò)在機(jī)器人軀干上添加3個(gè)自由度的慣性尾，以增強(qiáng)運(yùn)動(dòng)的敏捷性和提高著陸安全性。有的方案通過(guò)引入4自由度脊柱，實(shí)現(xiàn)機(jī)器狗多種步態(tài)下的良好的速度跟隨。雖然這些工作在不同方面提高了四足機(jī)器人的運(yùn)動(dòng)性能，但不可忽視的是，多自由度復(fù)雜機(jī)構(gòu)的引入往往會(huì)帶來(lái)控制上的巨大挑戰(zhàn)。
2、中國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)cn118907264a提供了一種包含旋轉(zhuǎn)組件和可伸縮足部組件的腿部結(jié)構(gòu)，通過(guò)六個(gè)旋轉(zhuǎn)電機(jī)實(shí)現(xiàn)大腿與小腿之間的復(fù)雜旋轉(zhuǎn)運(yùn)動(dòng)，旨在提升機(jī)器人在復(fù)雜地形中的適應(yīng)性和運(yùn)動(dòng)靈活性。其主要提供了一種在于腿部結(jié)構(gòu)的模塊化設(shè)計(jì)和可伸縮足部的安全回收機(jī)制。然而，一方面，該申請(qǐng)聚焦于腿部結(jié)構(gòu)優(yōu)化，未涉及脊柱軸向旋轉(zhuǎn)功能的設(shè)計(jì)，因此未能解決轉(zhuǎn)向時(shí)對(duì)髖關(guān)節(jié)的依賴(lài)性問(wèn)題，機(jī)器人轉(zhuǎn)向仍需通過(guò)腿部關(guān)節(jié)的精細(xì)化控制實(shí)現(xiàn)，另一方面，該申請(qǐng)腿部結(jié)構(gòu)設(shè)計(jì)提升了靈活性，但多個(gè)旋轉(zhuǎn)電機(jī)的引入增加了控制系統(tǒng)的復(fù)雜性，可能加劇能耗問(wèn)題。
3、綜上，現(xiàn)有技術(shù)存在如下缺點(diǎn)：
4、(1)控制復(fù)雜度高：現(xiàn)有四足機(jī)器人通過(guò)引入多自由度脊柱或慣性尾結(jié)構(gòu)提升運(yùn)動(dòng)性能，但復(fù)雜的機(jī)構(gòu)設(shè)計(jì)導(dǎo)致控制難度顯著增加，協(xié)調(diào)多個(gè)自由度的運(yùn)動(dòng)需要高精度算法和傳感器支持，增加了系統(tǒng)能耗與開(kāi)發(fā)成本。
5、(2)軸向旋轉(zhuǎn)能力不足：低自由度脊柱的研究主要集中在徑向運(yùn)動(dòng)，而對(duì)脊柱軸向旋轉(zhuǎn)的實(shí)際應(yīng)用研究較少，仍停留在仿真層面。這種設(shè)計(jì)限制了機(jī)器人在轉(zhuǎn)向時(shí)的穩(wěn)定性和機(jī)動(dòng)性，導(dǎo)致轉(zhuǎn)向仍需依賴(lài)髖關(guān)節(jié)的內(nèi)收/外展動(dòng)作，無(wú)法充分利用仿生脊柱的潛力。
6、(3)實(shí)際場(chǎng)景適配性差：現(xiàn)有控制框架對(duì)低自由度脊柱的適配性不足，難以在復(fù)雜地形中實(shí)現(xiàn)高效的動(dòng)態(tài)響應(yīng)，例如快速轉(zhuǎn)向或急停時(shí)易失去平衡。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人及其控制方法，以解決或部分解決足式機(jī)器人軸向旋轉(zhuǎn)能力不足、控制復(fù)雜度高的問(wèn)題。
2、本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：
3、本發(fā)明的一個(gè)方面，提供了一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，包括如下步驟：
4、獲取足式機(jī)器人初始的步態(tài)數(shù)據(jù)集；
5、構(gòu)建基于非對(duì)稱(chēng)actor-critic結(jié)構(gòu)的模仿學(xué)習(xí)框架；
6、利用所述模仿學(xué)習(xí)框架，基于模仿獎(jiǎng)勵(lì)和任務(wù)獎(jiǎng)勵(lì)對(duì)策略進(jìn)行迭代訓(xùn)練，得到腰部自適應(yīng)訓(xùn)練后的步態(tài)數(shù)據(jù)集；
7、基于腰部自適應(yīng)訓(xùn)練后的步態(tài)數(shù)據(jù)集，通過(guò)課程學(xué)習(xí)對(duì)足式機(jī)器人的電機(jī)參數(shù)以及環(huán)境參數(shù)進(jìn)行訓(xùn)練，得到最終的步態(tài)數(shù)據(jù)集；
8、基于最終的步態(tài)數(shù)據(jù)集，通過(guò)控制腰部電機(jī)的輸出扭矩使足式機(jī)器人腰部旋轉(zhuǎn)，實(shí)現(xiàn)足式機(jī)器人的全身控制。
9、作為優(yōu)選的技術(shù)方案，所述的模仿學(xué)習(xí)框架中，足式機(jī)器人的動(dòng)作空間包括腰部電機(jī)以及腿部電機(jī)的輸出力矩，足式機(jī)器人的狀態(tài)空間包括基座四元數(shù)、前進(jìn)速度、偏航角速度、關(guān)節(jié)的位置、關(guān)節(jié)的速度以及上一時(shí)刻關(guān)節(jié)的位置。
10、作為優(yōu)選的技術(shù)方案，所述的基于非對(duì)稱(chēng)actor-critic結(jié)構(gòu)的模仿學(xué)習(xí)框架中，actor網(wǎng)絡(luò)的輸入為與所述狀態(tài)空間匹配的數(shù)據(jù)，critic網(wǎng)絡(luò)的輸入包括與所述狀態(tài)空間匹配的數(shù)據(jù)以及基座線速度。
11、作為優(yōu)選的技術(shù)方案，所述的模仿學(xué)習(xí)框架中，鑒別器以歷史一段時(shí)間的軌跡段對(duì)應(yīng)的狀態(tài)作為輸入，計(jì)算最小二乘損失，其中，輸入鑒別器的狀態(tài)包括基座線速度、基座角速度、基座法向量、基座高度、關(guān)節(jié)位置和關(guān)節(jié)速度。
12、作為優(yōu)選的技術(shù)方案，所述的對(duì)策略進(jìn)行迭代訓(xùn)練的過(guò)程中，還包括用于鼓勵(lì)機(jī)器人利用腰部及時(shí)進(jìn)行轉(zhuǎn)向跟蹤的z軸方向的偏航角速度跟蹤獎(jiǎng)勵(lì)、避免足部與地面的頻繁接觸的抬腳獎(jiǎng)勵(lì)，以及限制機(jī)器人運(yùn)動(dòng)頻率的動(dòng)作變化約束獎(jiǎng)勵(lì)。
13、作為優(yōu)選的技術(shù)方案，得到腰部自適應(yīng)訓(xùn)練后的步態(tài)數(shù)據(jù)集之后，還包括：
14、針對(duì)機(jī)器人關(guān)節(jié)摩擦力、基座質(zhì)量、初始關(guān)節(jié)角度和質(zhì)心位置等進(jìn)行域隨機(jī)化處理。
15、作為優(yōu)選的技術(shù)方案，通過(guò)課程學(xué)習(xí)對(duì)足式機(jī)器人的電機(jī)參數(shù)以及環(huán)境參數(shù)進(jìn)行訓(xùn)練的過(guò)程包括如下步驟：
16、判斷在當(dāng)前電機(jī)參數(shù)以及環(huán)境參數(shù)下機(jī)器人的行走距離是否達(dá)到預(yù)設(shè)要求；
17、若機(jī)器人的行走距離達(dá)到預(yù)設(shè)要求，提高課程難度，在下一次重置時(shí)在更困難的課程下運(yùn)動(dòng)；
18、若在預(yù)設(shè)的一段時(shí)間結(jié)束時(shí)機(jī)器人移動(dòng)距離小于目標(biāo)距離的一半，降低課程難度；
19、若完成最高級(jí)別課程，循環(huán)至隨機(jī)選擇的課程級(jí)別。
20、本發(fā)明的另一個(gè)方面，提供了一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人，用于實(shí)現(xiàn)前述的控制方法，所述足式機(jī)器人包括：
21、機(jī)器人主體，基座為可以沿軸向旋轉(zhuǎn)的前后對(duì)稱(chēng)結(jié)構(gòu)，其中，兩個(gè)對(duì)稱(chēng)側(cè)均包括驅(qū)動(dòng)電機(jī)，兩個(gè)驅(qū)動(dòng)電機(jī)的旋轉(zhuǎn)方向相反，每個(gè)驅(qū)動(dòng)電機(jī)分別連接一個(gè)雙極皮帶變速器，所述基座的連接軸內(nèi)部中空，用于容納供電和通訊線纜。
22、作為優(yōu)選的技術(shù)方案，基座包括前半基座和后半基座，所述前半基座與兩個(gè)前腿連接，所述后半基座與兩個(gè)后腿連接。
23、作為優(yōu)選的技術(shù)方案，還包括：
24、主板；
25、多個(gè)foc控制板，與所述主板連接，分別與腰部、前腿和后腿的電機(jī)連接，實(shí)現(xiàn)對(duì)電機(jī)的磁場(chǎng)定向控制；
26、imu單元，與所述主板連接。
27、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下有益效果之一：
28、(1)控制復(fù)雜度低：本發(fā)明通過(guò)僅增加腰部旋轉(zhuǎn)這1個(gè)自由度，通過(guò)數(shù)據(jù)集遷移與協(xié)同優(yōu)化，避免復(fù)雜獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)，訓(xùn)練效率提升，同時(shí)機(jī)械結(jié)構(gòu)與控制算法解耦，簡(jiǎn)化硬件實(shí)現(xiàn)，降低制造成本與維護(hù)難度。通過(guò)低自由度腰部機(jī)構(gòu)與generative?adversarialimitation?learning(gail)遷移優(yōu)化的結(jié)合，以簡(jiǎn)單結(jié)構(gòu)實(shí)現(xiàn)復(fù)雜運(yùn)動(dòng)性能。
29、(2)轉(zhuǎn)向能力強(qiáng)：本發(fā)明通過(guò)腰部軸向旋轉(zhuǎn)實(shí)現(xiàn)靈活轉(zhuǎn)向，與依賴(lài)髖關(guān)節(jié)的傳統(tǒng)方式相比，solo9的偏航角速度跟蹤更穩(wěn)定，轉(zhuǎn)彎半徑更小，甚至優(yōu)于自由度更高的solo12，實(shí)機(jī)測(cè)試中可完成高難度任務(wù)，克服了solo8因地面摩擦導(dǎo)致的不可控偏移問(wèn)題。
30、(3)場(chǎng)景適應(yīng)性良好：本發(fā)明腰部機(jī)構(gòu)允許動(dòng)態(tài)調(diào)整前后基座相對(duì)位置，在崎嶇地形中，腿部支撐穩(wěn)定性顯著優(yōu)化，抗擾動(dòng)測(cè)試中，solo9在大幅隨機(jī)速度擾動(dòng)下存活率有明顯提升，腰部自適應(yīng)調(diào)整有效吸收外部沖擊。域隨機(jī)化與課程學(xué)習(xí)結(jié)合，提升策略對(duì)未知環(huán)境的泛化能力，驗(yàn)證了腰部機(jī)構(gòu)在復(fù)雜場(chǎng)景下的實(shí)用價(jià)值。
1.一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，其特征在于，所述的模仿學(xué)習(xí)框架中，足式機(jī)器人的動(dòng)作空間包括腰部電機(jī)以及腿部電機(jī)的輸出力矩，足式機(jī)器人的狀態(tài)空間包括基座四元數(shù)、前進(jìn)速度、偏航角速度、關(guān)節(jié)的位置、關(guān)節(jié)的速度以及上一時(shí)刻關(guān)節(jié)的位置。
3.根據(jù)權(quán)利要求2所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，其特征在于，所述的基于非對(duì)稱(chēng)actor-critic結(jié)構(gòu)的模仿學(xué)習(xí)框架中，actor網(wǎng)絡(luò)的輸入為與所述狀態(tài)空間匹配的數(shù)據(jù)，critic網(wǎng)絡(luò)的輸入包括與所述狀態(tài)空間匹配的數(shù)據(jù)以及基座線速度。
4.根據(jù)權(quán)利要求1所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，其特征在于，所述的模仿學(xué)習(xí)框架中，鑒別器以歷史一段時(shí)間的軌跡段對(duì)應(yīng)的狀態(tài)作為輸入，計(jì)算最小二乘損失，其中，輸入鑒別器的狀態(tài)包括基座線速度、基座角速度、基座法向量、基座高度、關(guān)節(jié)位置和關(guān)節(jié)速度。
5.根據(jù)權(quán)利要求1所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，其特征在于，所述的對(duì)策略進(jìn)行迭代訓(xùn)練的過(guò)程中，還包括用于鼓勵(lì)機(jī)器人利用腰部及時(shí)進(jìn)行轉(zhuǎn)向跟蹤的z軸方向的偏航角速度跟蹤獎(jiǎng)勵(lì)、避免足部與地面的頻繁接觸的抬腳獎(jiǎng)勵(lì)，以及限制機(jī)器人運(yùn)動(dòng)頻率的動(dòng)作變化約束獎(jiǎng)勵(lì)。
6.根據(jù)權(quán)利要求1所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，其特征在于，得到腰部自適應(yīng)訓(xùn)練后的步態(tài)數(shù)據(jù)集之后，還包括：
7.根據(jù)權(quán)利要求1所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人控制方法，其特征在于，通過(guò)課程學(xué)習(xí)對(duì)足式機(jī)器人的電機(jī)參數(shù)以及環(huán)境參數(shù)進(jìn)行訓(xùn)練的過(guò)程包括如下步驟：
8.一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人，其特征在于，用于實(shí)現(xiàn)如權(quán)利要求1-7任一所述的控制方法，所述足式機(jī)器人包括：
9.根據(jù)權(quán)利要求8所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人，其特征在于，基座包括前半基座和后半基座，所述前半基座與兩個(gè)前腿連接，所述后半基座與兩個(gè)后腿連接。
10.根據(jù)權(quán)利要求8所述的一種腰部可旋轉(zhuǎn)的扭矩控制足式機(jī)器人，其特征在于，還包括：