Summary (English)
This scientific paper explores Toward Adaptive Reasoning in Large Language Models with Thought Rollback.
The authors aim to improve the reasoning abilities of large language models (LLMs) like GPT-4 and Llama 2, especially at a particular scale where their reasoning capabilities heavily depend on prompt engineering.
They propose a new framework called Thought Rollback (TR), which allows LLMs to adaptively build thought structures while maintaining effective reasoning.
TR enables LLMs to perform error analysis on thoughts and gradually explore correct solutions by rolling back to previous thoughts for revision.
The efficacy of this reasoning process is demonstrated through experiments on mathematical problems and multi-task reasoning, where TR outperforms current state-of-the-art performance in terms of problem-solving rate and interaction cost.
The authors aim to improve the reasoning abilities of large language models (LLMs) like GPT-4 and Llama 2, especially at a particular scale where their reasoning capabilities heavily depend on prompt engineering.
They propose a new framework called Thought Rollback (TR), which allows LLMs to adaptively build thought structures while maintaining effective reasoning.
TR enables LLMs to perform error analysis on thoughts and gradually explore correct solutions by rolling back to previous thoughts for revision.
The efficacy of this reasoning process is demonstrated through experiments on mathematical problems and multi-task reasoning, where TR outperforms current state-of-the-art performance in terms of problem-solving rate and interaction cost.
요약 (Korean)
이 과학 논문은 사고 롤백으로 대형 언어 모델에서 적응 적 추론을 탐구합니다.
저자는 GPT-4 및 LLAMA 2와 같은 대형 언어 모델 (LLM)의 추론 능력을 향상시키는 것을 목표로하며, 특히 추론 능력이 신속한 엔지니어링에 크게 의존하는 특정 규모로.
그들은 LLM이 효과적인 추론을 유지하면서 사고 구조를 적응 적으로 구축 할 수 있도록 생각 롤백 (TR)이라는 새로운 프레임 워크를 제안합니다.
TR을 통해 LLM은 생각에 대한 오류 분석을 수행하고 이전 생각을 수정하기 위해 이전의 생각으로 롤백하여 점차적으로 올바른 솔루션을 탐색 할 수 있습니다.
이러한 추론 프로세스의 효능은 수학적 문제 및 다중 태스크 추론에 대한 실험을 통해 입증되며, TR은 문제 해결 속도 및 상호 작용 비용 측면에서 현재 최첨단 성능을 능가하는 다중 태스크 추론을 통해 입증됩니다.
저자는 GPT-4 및 LLAMA 2와 같은 대형 언어 모델 (LLM)의 추론 능력을 향상시키는 것을 목표로하며, 특히 추론 능력이 신속한 엔지니어링에 크게 의존하는 특정 규모로.
그들은 LLM이 효과적인 추론을 유지하면서 사고 구조를 적응 적으로 구축 할 수 있도록 생각 롤백 (TR)이라는 새로운 프레임 워크를 제안합니다.
TR을 통해 LLM은 생각에 대한 오류 분석을 수행하고 이전 생각을 수정하기 위해 이전의 생각으로 롤백하여 점차적으로 올바른 솔루션을 탐색 할 수 있습니다.
이러한 추론 프로세스의 효능은 수학적 문제 및 다중 태스크 추론에 대한 실험을 통해 입증되며, TR은 문제 해결 속도 및 상호 작용 비용 측면에서 현재 최첨단 성능을 능가하는 다중 태스크 추론을 통해 입증됩니다.
기술적 용어 설명 (Technical Terms)
추출된 기술 용어가 없습니다.
Excerpt (English Original)
Toward Adaptive Reasoning in Large Language Models with Thought Rollback Sijia Chen 1 Baochun Li 1 Abstract 1.
Introduction Large Language Models, initially designed for text gener- ation with autoregression, are widely recognized to excel Large language models (LLMs) have been rou- in a diverse array of natural language processing (NLP) tinely used to solve various tasks using step-by- tasks.
Yet, at a particular model scale, their reasoning abili- step reasoning.
However, the structure of inter-2024 ties, particularly in scaled-up versions like GPT-4 (OpenAI, mediate reasoning steps, or thoughts, is rigid and 2023) and Llama 2 (Touvron et al., 2023), heavily depend unidirectional, such as chains, trees, or acyclic- on prompt engineering.
With well-crafted prompts — even directed graphs.
Consequently, the resulting in-Dec just a simple Let’s think step by step (Kojima et al., 2022) flexible and forward-only reasoning may not ad- — LLMs are able to perform step-by-step reasoning and dress challenging tasks and fail when the LLM achieved noteworthy success in mathematical, symbolic,27 frequently gives false responses, i.e., “hallucina- and common sense tasks.
With reasoning, LLMs are ca- tions”.
This paper proposes a new reasoning pable of producing coherent language sequences, called framework, called Thought Rollback (TR), al- thoughts, which serve as intermediate reasoning steps to- lowing LLMs to adaptively build thought struc- ward solving the problem at hand.
Extended from simple ture while maintaining effective reasoning toward chain reasoning (Wei et al., 2022) with linear left-to-right[cs.AI] problem-solving under “hallucinations”.
The thoughts, more complex reasoning became feasible in re- core mechanism of TR is rolling back thoughts, cent works by establishing thought structures that resembled which allows LLMs to perform error analysis on trees (Yao et al., 2023) and graphs (Besta et al., 2023; Zhang thoughts, and thus roll back to any previously et al., 2023; Luo et…
Introduction Large Language Models, initially designed for text gener- ation with autoregression, are widely recognized to excel Large language models (LLMs) have been rou- in a diverse array of natural language processing (NLP) tinely used to solve various tasks using step-by- tasks.
Yet, at a particular model scale, their reasoning abili- step reasoning.
However, the structure of inter-2024 ties, particularly in scaled-up versions like GPT-4 (OpenAI, mediate reasoning steps, or thoughts, is rigid and 2023) and Llama 2 (Touvron et al., 2023), heavily depend unidirectional, such as chains, trees, or acyclic- on prompt engineering.
With well-crafted prompts — even directed graphs.
Consequently, the resulting in-Dec just a simple Let’s think step by step (Kojima et al., 2022) flexible and forward-only reasoning may not ad- — LLMs are able to perform step-by-step reasoning and dress challenging tasks and fail when the LLM achieved noteworthy success in mathematical, symbolic,27 frequently gives false responses, i.e., “hallucina- and common sense tasks.
With reasoning, LLMs are ca- tions”.
This paper proposes a new reasoning pable of producing coherent language sequences, called framework, called Thought Rollback (TR), al- thoughts, which serve as intermediate reasoning steps to- lowing LLMs to adaptively build thought struc- ward solving the problem at hand.
Extended from simple ture while maintaining effective reasoning toward chain reasoning (Wei et al., 2022) with linear left-to-right[cs.AI] problem-solving under “hallucinations”.
The thoughts, more complex reasoning became feasible in re- core mechanism of TR is rolling back thoughts, cent works by establishing thought structures that resembled which allows LLMs to perform error analysis on trees (Yao et al., 2023) and graphs (Besta et al., 2023; Zhang thoughts, and thus roll back to any previously et al., 2023; Luo et…
발췌문 (Korean Translation)
사고 롤백 Sijia Chen 1 Baochun Li 1 초록 1.
소개 대형 언어 모델은 자동 회귀와 함께 텍스트 생성을 위해 설계된 대형 언어 모델 (LLM)을 능가하는 다양한 자연 언어 처리 (NLP)의 다양한 작업을 사용하는 데 사용되는 다양한 작업을 해결하는 데 사용되는 대형 언어 모델 (LLMS)이 널리 인식되는 대형 언어 모델을 사용하여 대규모 언어 모델에서 적응 형 추론을 향해 광범위하게 인식되었습니다.
그러나 특정 모델 척도에서, 그들의 추론은 abili-step 추론.
그러나, 특히 GPT-4 (OpenAi, OpenAI, Mediate Mediate Orading Steps 또는 Thought, Thought, 2023) 및 Llama 2 (Touvron et al., 2023)와 같은 스케일 업 버전에서 2024 Inter Ties의 구조는 체인, 나무 또는 신속한 공학에 크게 의존적으로 의존합니다.
잘 만들어진 프롬프트와 함께-심지어 지시 된 그래프.
결과적으로, 결과적인 결과는 단순한 단순한 단계별로 생각하자 (Kojima et al., 2022) 유연하고 앞으로 전용적인 추론은 LLM이 수학적으로 악의적 인 과제를 수행 할 수 없으며, LLM이 수학적, 심포질, 27에서 주목할만한 과제를 달성했을 때 단계별로 도전적인 작업을 수행 할 수 없을 수도 있습니다.
llms는 전용입니다.” 이 논문은 프레임 워크라고 불리는 일관된 언어 시퀀스를 생성하는 새로운 추론 Pable을 제안합니다.
Truding Rollback (TR), al-Thoughts는 문제를 해결하는 사고를 적응 적으로 구축하기위한 중간 추론 단계 역할을합니다.
“환각”하에서 선형 왼쪽에서 오른쪽으로 문제 해결을 통해 체인 추론 (Wei et al., 2022)에 대한 효과적인 추론을 유지하면서 간단한 terure에서 확장되었습니다.
TR의 핵심 메커니즘에서 더 복잡한 추론이 실현 될 수있게되었고, LLM이 나무에 대한 오류 분석을 수행 할 수있는 생각 구조 (Yao et al., 2023)와 그래프 (Besta et al., 2023; Zhang 생각, 따라서 이전에 et al., 2023; luo et …로 돌아갈 수있게함으로써 Cent는 생각을 롤백합니다.
소개 대형 언어 모델은 자동 회귀와 함께 텍스트 생성을 위해 설계된 대형 언어 모델 (LLM)을 능가하는 다양한 자연 언어 처리 (NLP)의 다양한 작업을 사용하는 데 사용되는 다양한 작업을 해결하는 데 사용되는 대형 언어 모델 (LLMS)이 널리 인식되는 대형 언어 모델을 사용하여 대규모 언어 모델에서 적응 형 추론을 향해 광범위하게 인식되었습니다.
그러나 특정 모델 척도에서, 그들의 추론은 abili-step 추론.
그러나, 특히 GPT-4 (OpenAi, OpenAI, Mediate Mediate Orading Steps 또는 Thought, Thought, 2023) 및 Llama 2 (Touvron et al., 2023)와 같은 스케일 업 버전에서 2024 Inter Ties의 구조는 체인, 나무 또는 신속한 공학에 크게 의존적으로 의존합니다.
잘 만들어진 프롬프트와 함께-심지어 지시 된 그래프.
결과적으로, 결과적인 결과는 단순한 단순한 단계별로 생각하자 (Kojima et al., 2022) 유연하고 앞으로 전용적인 추론은 LLM이 수학적으로 악의적 인 과제를 수행 할 수 없으며, LLM이 수학적, 심포질, 27에서 주목할만한 과제를 달성했을 때 단계별로 도전적인 작업을 수행 할 수 없을 수도 있습니다.
llms는 전용입니다.” 이 논문은 프레임 워크라고 불리는 일관된 언어 시퀀스를 생성하는 새로운 추론 Pable을 제안합니다.
Truding Rollback (TR), al-Thoughts는 문제를 해결하는 사고를 적응 적으로 구축하기위한 중간 추론 단계 역할을합니다.
“환각”하에서 선형 왼쪽에서 오른쪽으로 문제 해결을 통해 체인 추론 (Wei et al., 2022)에 대한 효과적인 추론을 유지하면서 간단한 terure에서 확장되었습니다.
TR의 핵심 메커니즘에서 더 복잡한 추론이 실현 될 수있게되었고, LLM이 나무에 대한 오류 분석을 수행 할 수있는 생각 구조 (Yao et al., 2023)와 그래프 (Besta et al., 2023; Zhang 생각, 따라서 이전에 et al., 2023; luo et …로 돌아갈 수있게함으로써 Cent는 생각을 롤백합니다.
출처: arXiv
답글 남기기