Excerpt from PDF:
Focusing Robot Open-Ended Reinforcement Learning Through Users’ Purposes Emilio Cartoni∗, Gianluca Cioccolini, Gianluca Baldassarre Laboratory of Embodied Natural and Artificial Intelligence (LENAI), Institute of Cognitive Sciences and Technologies (ISTC), National Research Council (CNR), Rome, Italy {emilio.cartoni, gianluca.cioccolini, gianluca.baldassarre}@istc.cnr.it Abstract Open-Ended Learning (OEL) autonomous robots can acquire new skills and knowledge through direct interaction with their environment, relying on mechanisms such as intrinsic motivations and self-generated goals to guide learning pro- cesses. OEL robots are highly relevant for applications as they can autonomously leverage acquired knowledge to per- form tasks beneficial to human users in unstructured environments, addressing challenges unforeseen at design time. However, OEL robots face a significant limitation: their openness may lead them to waste time learning information that is irrelevant to tasks desired by specific users. Here, we propose a solution called ‘Purpose-Directed Open-Ended Learning’ (POEL), based on the novel concept of ‘purpose’ introduced in previous work. A purpose specifies what users want the robot to achieve. The key insight of this work is that purpose can focus OEL on learning self-generated classes of tasks that, while unknown during autonomous learning (as typical in OEL), involve objects relevant to the purpose. This concept is operationalised in a novel robot architecture capable of receiving a human purpose through speech-to-text, analysing the scene to identify objects, and using a Large Language Model to reason about which ob- jects are purpose-relevant. These objects are then used to bias OEL exploration towards their spatial proximity and to self-generate rewards that favour interactions with them. The solution is tested in a simulated scenario where a camera- arm-gripper robot interacts freely with purpose-related and distractor objects. For the first time, the results demonstrate the potential advantages of purpose-focused OEL over state-of-the-art OEL methods, enabling robots to handle unstruc- tured environments while steering their learning toward knowledge acquisition relevant to users. Keywords: Purpose, open-ended learning, intrinsic motivations, self- generated goals, reinforcement learning, purpose-object biases. Acknowledgements This work has received funding from: the European Union’s Horizon 2020 Research and Innovation Programme, GA No 101070381, project ’PILLAR-Robots – Purposeful Intrinsically motivated Lifelong Learning Autonomous Robots’; the ‘European Union, NextGenerationEU, PNRR’, project ‘EBRAINS-Italy – European Brain ReseArch INfrastructureS Italy’, MUR code IR0000011, CUP B51E22000150006 and project ‘FAIR – Future Artificial Intelligence Research’, MUR code PE0000013, CUP B53C22003630006. ∗Emilio Cartoni: https://www.istc.cnr.it/it/people/emilio-cartoni. Gianluca Cioccolini: https://www.istc. cnr.it/it/user/12865. Gianluca Baldassarre: https://www.istc.cnr.it/it/people/gianluca-baldassarre. arXiv:2503.12579v1 [cs.RO] 16 Mar 2025 1 Introduction This work proposes a specific solution that instantiates the concept of purpose, a novel means to exploit the capacity of open-ended learning (OEL) robots to autonomously seek and learn to solve tasks while at the same time orienting their self-driven knowledge acquisition towards tasks relevant to given users. OEL: objectives and potential. Autonomous OEL robots can cumulatively acquire new skills and knowledge through direct interaction with the environment, for example by relying on the guidance of intrinsic motivations (e.g., novelty, surprise, and the acquisition of competence) and the self-generation of goals guiding skill acquisition [1, 2, 3]. These mechanisms allow robots to acquire knowledge …더보기
This paper was uploaded based on materials provided by arXiv.
This paper is an open academic resource, and the original text can be accessed on arXiv.
Source: arXiv – A free repository for scientific and technical researchers.
This paper is provided for academic research purposes, and the original can be downloaded from arXiv.
Visit arXiv to explore more recent papers!
번역 (Translation):
사용자의 목적을 통한 로봇 개방형 강화 학습에 중점을 둔 Emilio Cartoni *, Gianluca Cioccolini, Gianluca Baldassarre 구체화 자연 및 인공 지능 (Lenai),인지 과학 및 기술 연구소 (ISTC), 국립 연구위원회 (CNR), Rome, Italio, emilio. gianluca.cioccolini, gianluca.baldassarre}@istc.cnr.it Abstract Open-Ended Learning (OEL) 자율 로봇은 환경과의 직접적인 상호 작용을 통해 새로운 기술과 지식을 습득하여 본질적인 동기 및 자체 생성 목표와 같은 메커니즘에 의존하여 전문가를 학습 할 수 있습니다. OEL Robot은 구조화되지 않은 환경에서 인간 사용자에게 유익한 작업을 수행하기 위해 획득 된 지식을 자율적으로 활용하여 설계 시간에 예상치 못한 문제를 해결할 수 있으므로 응용 프로그램과 관련이 있습니다. 그러나 OEL Robot은 상당한 한계에 직면 해 있습니다. 개방성으로 인해 특정 사용자가 원하는 작업과 관련이없는 정보 학습 정보를 낭비하게 할 수 있습니다. 여기서는 이전 작품에서 도입 된 ‘목적’이라는 새로운 개념을 기반으로‘목적 지향 개방형 학습’(Poel)라는 솔루션을 제안합니다. 목적은 사용자가 로봇을 달성하기를 원하는 것을 지정합니다. 이 작업의 주요 통찰력은 목적이 자율 학습 중 (OEL에서는 일반적으로) 알 수없는 자체 생성 된 작업 클래스의 작업에 중점을 둘 수 있다는 것입니다. 이 개념은 Speech-to-Text를 통해 인간의 목적을받을 수있는 새로운 로봇 아키텍처에서 운영되고, 장면을 분석하여 객체를 식별하고, 큰 언어 모델을 사용하여 어떤 목적과 관련이 있는지에 대한 이유를 추론합니다. 그런 다음 이러한 물체는 공간적 근접성을 향한 OEL 탐사를 편향하고 그들과의 상호 작용을 선호하는 자체 생성 보상에 사용됩니다. 이 솔루션은 카메라 암 그립퍼 로봇이 목적 관련 및 산만 물체와 자유롭게 상호 작용하는 시뮬레이션 시나리오에서 테스트됩니다. 처음으로, 결과는 최첨단 OEL 방법에 비해 목적 중심 OEL의 잠재적 이점을 보여 주므로 로봇은 사용자와 관련된 지식 습득을 향해 학습을 조정하는 동시에 로봇이 조종되지 않은 환경을 처리 할 수 있습니다. 키워드 : 목적, 개방형 학습, 고유 동기, 자체 생성 목표, 강화 학습, 목적-객체 편견. 감사의 말이 작품은 다음으로부터 자금을 받았습니다. 유럽 연합의 Horizon 2020 연구 및 혁신 프로그램, GA No 101070381, Project ‘Pillar -Robots- 목적이 본질적으로 동기가있는 평생 학습 자율 로봇; ‘유럽 연합, Nextgenerationeu, PNRR’, 프로젝트‘Ebrains -italy -European Brain Research Infrastructures Italy’, MUR Code IR0000011, CUP B51E22000150006 및 프로젝트‘Fair -Future Intificial Intelligence Research’, MUR Code PE0000013, CUP B53C2200330006. * Emilio Cartoni : https://www.istc.cnr.it/it/people/emilio-cartoni. gianluca cioccolini : https : //www.istc. cnr.it/it/user/12865. gianluca baldassarre : https://www.istc.cnr.it/people/gianluca-baldassarre. ARXIV : 2503.12579V1 [CS.RO] 16 MAR 2025 1 소
개이 연구는 목적 개념을 인스턴스화하는 특정 솔루션을 제안합니다. 새로운 소설은 OEL (Open-Ended Learning) 로봇의 능력을 자율적으로 추구하고 업무를 해결하는 동시에 사용자가 제공 한 지식을 획득하는 작업에 대한 자율적 인 지식을 찾는 것을 배우는 수단을 제안합니다. OEL : 목표와 잠재력. 자율 OEL 로봇은 본질적인 동기 (예 : 참신, 놀라움, 역량 획득) 및 목표 안내 기술 획득의 자체 세대에 의존함으로써 환경과의 직접적인 상호 작용을 통해 새로운 기술과 지식을 누적으로 얻을 수 있습니다 [1, 2, 3]. 이러한 메커니즘은 로봇이 지식을 얻을 수있게합니다 … 더보기
이 논문은 arXiv에서 제공되는 자료를 바탕으로 업로드되었습니다.
본 논문은 공개된 학술 자료이며, 원문은 arXiv에서 확인할 수 있습니다.
출처: arXiv – 과학 및 기술 연구자들을 위한 무료 논문 저장소.
이 논문은 학술 연구 목적으로 제공되며, 원문은 arXiv에서 다운로드할 수 있습니다.
더 많은 최신 논문을 보려면 arXiv를 방문하세요!
