在机器人学习领域，人形机器人的行走模拟是一个复杂而具有挑战性的任务。本文将介绍如何使用强化学习算法在基于开源Bullet物理引擎的人形机器人环境中进行行走模拟的训练。不同于商业软件MuJoCo，Bullet是一个免费的开源物理模拟引擎，它提供了一个适合进行此类研究的平台。
人形机器人行走模拟的环境比之前介绍的Ant环境更为复杂。在Bullet环境中，观察空间的维度从28增加到了44，动作空间的维度也从8增加到了17。此外，与Ant相比，人形机器人需要在两条腿上保持平衡，这增加了稳定性控制的难度。
为了实现这一目标，采用了Proximal Policy Optimisation (PPO)算法。PPO是一种在线轨迹优化算法，它通过收集一系列轨迹，然后在这些轨迹的mini-batch上执行随机梯度下降来进行训练。PPO是一种on-policy算法，意味着它在每个阶段都必须使用当前部分训练策略的结果。
在训练过程中，调整了一系列学习参数，包括折扣因子gamma、GAE的lambda参数、PPO裁剪参数clip_param、KL散度惩罚的初始系数kl_coeff、每个训练批次执行的epoch数num_sgd_iter、学习率lr、每个epoch内的minibatch大小sgd_minibatch_size以及每个训练批次的样本数train_batch_size。
import pyvirtualdisplay
_display = pyvirtualdisplay.Display(visible=False, size=(1400, 900))
_ = _display.start()
import ray
from ray import tune
from ray.rllib.agents.ppo import PPOTrainer
import pybullet_envs
ray.shutdown()
ray.init(include_webui=False, ignore_reinit_error=True)
ENV = 'HumanoidBulletEnv-v0'
import gym
from ray.tune.registry import register_env
def make_env(env_config):
import pybullet_envs
return gym.make('HumanoidBulletEnv-v0')
register_env('HumanoidBulletEnv-v0', make_env)
TARGET_REWARD = 6000
TRAINER = PPOTrainer
tune.run(
TRAINER,
stop={
"episode_reward_mean": TARGET_REWARD},
config={
"env": ENV,
"num_workers": 21,
"num_gpus": 1,
"monitor": True,
"evaluation_num_episodes": 50,
"gamma": 0.995,
"lambda": 0.95,
"clip_param": 0.2,
"kl_coeff": 1.0,
"num_sgd_iter": 20,
"lr": .0001,
"sgd_minibatch_size": 32768,
"train_batch_size": 320_000,
"model": {
"free_log_std": True,
},
"batch_mode": "complete_episodes",
"observation_filter": "MeanStdFilter",
}
)