Commandes Commandes de vitesse cible (vitesse linéaire X, Y et vitesse angulaire Z) Commandes de cap cible

Observations État de mouvement du robot (vitesse linéaire de base, vitesse angulaire, etc.) Objectif de la tâche actuelle (commandes de vitesse) Actions exécutées précédemment

Modèle de politique (Réseau neuronal de politique)

Terminations - Le temps d'exécution a-t-il atteint la limite prédéfinie ? - Le robot est-il tombé ?

Actions Tous les angles d'articulation cibles pertinents (décalages par rapport à la pose par défaut)

Récompenses - La vitesse de marche du robot est-elle proche de la vitesse cible ? - Le corps est-il stable (pas de rebond vertical, de tremblements, etc.) ? - Le robot est-il tombé ? - Consommation d'énergie inutile (couple) - Le temps de contact du pied est-il suffisamment long ?

Isaac Sim Scène

Robot

Capteurs

Terrains

Lumière

Curriculums Ajuster la difficulté en fonction de la comparaison de la distance parcourue par le robot à l'étape précédente avec la distance cible

Événement - Randomiser les propriétés physiques du robot au démarrage (coefficient de friction, masse de base) - Réinitialiser l'état initial du robot (position, pose, vitesse, angles des articulations) - Appliquer des poussées aléatoires au robot à intervalles aléatoires (impacts de vitesse) pour simuler des perturbations externes

流程图