Summary (English)
This paper proposes an uncertainty-based impartial learning framework to address various types of primary and auxiliary tasks.
By sufficiently training the auxiliary task (disparity estimation), our method achieves noticeably better results, as evidenced by visualizations in Fig 1.
Through this approach, we consider both gradients and uncertainty information as optimal weights for various tasks.
Additionally, during backpropagation to further enhance performance on the primary task’s continuous loss descent.
Our methods jointly strive to converge on the optimal combination in the decoder stage to ensure well-balanced training on auxiliary tasks.
Moreover, our weighting strategy is effective and robust in enhancing the performance of the primary task regardless of noisy auxiliary tasks or pseudo-auxiliary tasks.
Extensive experiments show that our method approaches primarily focus on minimizing interference from auxiliary tasks, neglecting their proper training.
Inadequately trained auxiliary tasks negatively impact the primary task’s performance.
On NYUv2 [17], Cityscapes [18], Pascal-Context [19] and CIFAR100 [15], we demonstrate that our methods not only allow for better performance even in noisy auxiliary tasks but also perform well in pseudo-auxiliary tasks.
By sufficiently training the auxiliary task (disparity estimation), our method achieves noticeably better results, as evidenced by visualizations in Fig 1.
Through this approach, we consider both gradients and uncertainty information as optimal weights for various tasks.
Additionally, during backpropagation to further enhance performance on the primary task’s continuous loss descent.
Our methods jointly strive to converge on the optimal combination in the decoder stage to ensure well-balanced training on auxiliary tasks.
Moreover, our weighting strategy is effective and robust in enhancing the performance of the primary task regardless of noisy auxiliary tasks or pseudo-auxiliary tasks.
Extensive experiments show that our method approaches primarily focus on minimizing interference from auxiliary tasks, neglecting their proper training.
Inadequately trained auxiliary tasks negatively impact the primary task’s performance.
On NYUv2 [17], Cityscapes [18], Pascal-Context [19] and CIFAR100 [15], we demonstrate that our methods not only allow for better performance even in noisy auxiliary tasks but also perform well in pseudo-auxiliary tasks.
요약 (Korean)
이 백서는 다양한 유형의 1 차 및 보조 작업을 해결하기위한 불확실성 기반 공정한 학습 프레임 워크를 제안합니다.
보조 작업 (불균형 추정)을 충분히 훈련시킴으로써, 우리의 방법은 그림 1의 시각화에 의해 입증 된 바와 같이 눈에 띄게 더 나은 결과를 달성합니다.이 접근법을 통해 우리는 그라디언트와 불확실성 정보가 다양한 작업에 대한 최적의 가중으로 간주합니다.
또한 역전 중에 1 차 작업의 지속적인 손실 하강에 대한 성능을 더욱 향상시킵니다.
우리의 방법은 공동으로 보조 작업에 대한 균형 잡힌 교육을 보장하기 위해 디코더 단계에서 최적의 조합에 수렴하기 위해 노력합니다.
더욱이, 우리의 가중 전략은 시끄러운 보조 작업 또는 의사 동성 작업에 관계없이 기본 작업의 성능을 향상시키는 데 효과적이고 강력합니다.
광범위한 실험에 따르면 우리의 방법은 주로 보조 작업의 간섭을 최소화하고 적절한 훈련을 무시하는 데 중점을 둡니다.
부적절하게 훈련 된 보조 작업은 기본 작업의 성능에 부정적인 영향을 미칩니다.
NYUV2 [17]에서 CityScapes [18], Pascal-Context [19] 및 CIFAR100 [15]에서, 우리의 방법은 노이즈 보조 작업에서도 더 나은 성능을 허용 할뿐만 아니라 유사 동성 작업에서도 성능을 발휘할 수 있음을 보여줍니다.
보조 작업 (불균형 추정)을 충분히 훈련시킴으로써, 우리의 방법은 그림 1의 시각화에 의해 입증 된 바와 같이 눈에 띄게 더 나은 결과를 달성합니다.이 접근법을 통해 우리는 그라디언트와 불확실성 정보가 다양한 작업에 대한 최적의 가중으로 간주합니다.
또한 역전 중에 1 차 작업의 지속적인 손실 하강에 대한 성능을 더욱 향상시킵니다.
우리의 방법은 공동으로 보조 작업에 대한 균형 잡힌 교육을 보장하기 위해 디코더 단계에서 최적의 조합에 수렴하기 위해 노력합니다.
더욱이, 우리의 가중 전략은 시끄러운 보조 작업 또는 의사 동성 작업에 관계없이 기본 작업의 성능을 향상시키는 데 효과적이고 강력합니다.
광범위한 실험에 따르면 우리의 방법은 주로 보조 작업의 간섭을 최소화하고 적절한 훈련을 무시하는 데 중점을 둡니다.
부적절하게 훈련 된 보조 작업은 기본 작업의 성능에 부정적인 영향을 미칩니다.
NYUV2 [17]에서 CityScapes [18], Pascal-Context [19] 및 CIFAR100 [15]에서, 우리의 방법은 노이즈 보조 작업에서도 더 나은 성능을 허용 할뿐만 아니라 유사 동성 작업에서도 성능을 발휘할 수 있음을 보여줍니다.
기술적 용어 설명 (Technical Terms)
- Uncertainty Weight (UW): 설명 1 (Original English Explanation: Explanation 1)
- ATW: 설명 2 (Original English Explanation: Explanation 2)
- CMGEL: 설명 3 (Original English Explanation: Explanation 3)
Excerpt (English Original)
SUBMITTED TO IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 1 Unprejudiced Training Auxiliary Tasks Makes Primary Better: A Multi-Task Learning Perspective Yuanze Li, Chun-Mei Feng, Qilong Wang, Guanglei Yang∗, Wangmeng Zuo, Abstract—Human beings can leverage knowledge from relative jointly optimizing the primary and auxiliary tasks remains a tasks to improve learning on a primary task.
Similarly, multi- challenge.
task learning methods suggest using auxiliary tasks to enhance To understand the relationship between primary and auxiliary a neural network’s performance on a specific primary task.
tasks, current research can be categorized into heuristic- However, previous methods often select auxiliary tasks carefully but treat them as secondary during training.
The weights assigned based and meta-learning-based approaches.
OL-AUX [13] to auxiliary losses are typically smaller than the primary loss and GCS [14] use heuristic methods to select auxiliary tasks2024 weight, leading to insufficient training on auxiliary tasks and that closely resemble the primary task for training.
On the ultimately failing to support the main task effectively.
To address other hand, Auto-λ [15] employs a meta-learning approach, this issue, we propose an uncertainty-based impartial learning optimizing a look-ahead meta-loss function that aggregatesDec method that ensures balanced training across all tasks.
Addition- ally, we consider both gradients and uncertainty information gradients from both primary and auxiliary tasks to ensure during backpropagation to further improve performance on the primary task’s continuous loss descent.
However, both27 the primary task.
Extensive experiments show that our method approaches primarily focus on minimizing interference from achieves performance comparable to or better than state-of-the- auxiliary tasks, neglecting their proper training.
Inadequately art approaches.
Moreover, our weighting strategy is effective trained auxiliary tasks negatively impact the primary task’s and robust in enhancing the performance of the primary task regardless the noise auxiliary tasks’ pseudo labels.
performance, as shown in Fig.
1….
Similarly, multi- challenge.
task learning methods suggest using auxiliary tasks to enhance To understand the relationship between primary and auxiliary a neural network’s performance on a specific primary task.
tasks, current research can be categorized into heuristic- However, previous methods often select auxiliary tasks carefully but treat them as secondary during training.
The weights assigned based and meta-learning-based approaches.
OL-AUX [13] to auxiliary losses are typically smaller than the primary loss and GCS [14] use heuristic methods to select auxiliary tasks2024 weight, leading to insufficient training on auxiliary tasks and that closely resemble the primary task for training.
On the ultimately failing to support the main task effectively.
To address other hand, Auto-λ [15] employs a meta-learning approach, this issue, we propose an uncertainty-based impartial learning optimizing a look-ahead meta-loss function that aggregatesDec method that ensures balanced training across all tasks.
Addition- ally, we consider both gradients and uncertainty information gradients from both primary and auxiliary tasks to ensure during backpropagation to further improve performance on the primary task’s continuous loss descent.
However, both27 the primary task.
Extensive experiments show that our method approaches primarily focus on minimizing interference from achieves performance comparable to or better than state-of-the- auxiliary tasks, neglecting their proper training.
Inadequately art approaches.
Moreover, our weighting strategy is effective trained auxiliary tasks negatively impact the primary task’s and robust in enhancing the performance of the primary task regardless the noise auxiliary tasks’ pseudo labels.
performance, as shown in Fig.
1….
발췌문 (Korean Translation)
신경망 및 학습 시스템에 대한 IEEE 거래에 제출 된 1 개의 판단되지 않은 교육 보조 작업이 1 차를 더 좋게 만듭니다 : 멀티 태스킹 학습 관점 Yuanze Li, Chun-Mei Feng, Qilong Wang, Guanglei Yang *, Wangmeng Zuo, 추상적 인 Beings는 일차적 인 작업에서 공동 작업을 개선하여 지식을 활용할 수 있습니다.
마찬가지로, 다중 도전.
작업 학습 방법은 보조 작업을 사용하여 특정 기본 작업에 대한 1 차와 보조 신경 네트워크의 성능을 이해하기 위해 향상시킵니다.
과제, 현재의 연구는 휴리스틱으로 분류 될 수 있지만, 이전 방법은 종종 보조 작업을 신중하게 선택하지만 훈련 중에 2 차로 취급합니다.
기반 및 메타 학습 기반 접근법을 기반으로 할당 된 가중치.
OL-AUX [13]-보조 손실은 일반적으로 1 차 손실보다 작고 GCS [14]는 휴리스틱 방법을 사용하여 보조 작업을 선택하여 보조 작업에 대한 교육이 충분하지 않으며 교육을위한 주요 작업과 매우 유사합니다.
궁극적으로 주요 작업을 효과적으로 지원하지 못하는 경우.
다른 한편으로, Auto-λ [15]는 메타 학습 방식 인이 문제를 사용합니다.이 문제는 모든 작업에서 균형 잡힌 교육을 보장하는 방법을 모색하는 외관 메타 손실 기능을 최적화하는 불확실성 기반 공정한 학습을 제안합니다.
또한, 우리는 1 차 및 보조 작업 모두의 기울기 및 불확실성 정보 기울기를 모두 고려하여 역전 중에 1 차 작업의 지속적인 손실 하강에 대한 성능을 더욱 향상시킬 수 있습니다.
그러나 모두 27 기본 작업.
광범위한 실험에 따르면 우리의 방법은 주로 최첨단 보조 작업과 비슷하거나 더 나은 성능을 달성하여 적절한 교육을 무시하는 성능을 달성하는 데 중점을 둡니다.
부적절하게 예술이 접근합니다.
또한, 우리의 가중치 전략은 노이즈 보조 작업의 의사 라벨에 관계없이 기본 작업의 성능을 향상시키는 데 기본 작업에 영향을 미치는 효과적인 교육 보조 작업이 효과적입니다.
그림 1과 같이 성능
마찬가지로, 다중 도전.
작업 학습 방법은 보조 작업을 사용하여 특정 기본 작업에 대한 1 차와 보조 신경 네트워크의 성능을 이해하기 위해 향상시킵니다.
과제, 현재의 연구는 휴리스틱으로 분류 될 수 있지만, 이전 방법은 종종 보조 작업을 신중하게 선택하지만 훈련 중에 2 차로 취급합니다.
기반 및 메타 학습 기반 접근법을 기반으로 할당 된 가중치.
OL-AUX [13]-보조 손실은 일반적으로 1 차 손실보다 작고 GCS [14]는 휴리스틱 방법을 사용하여 보조 작업을 선택하여 보조 작업에 대한 교육이 충분하지 않으며 교육을위한 주요 작업과 매우 유사합니다.
궁극적으로 주요 작업을 효과적으로 지원하지 못하는 경우.
다른 한편으로, Auto-λ [15]는 메타 학습 방식 인이 문제를 사용합니다.이 문제는 모든 작업에서 균형 잡힌 교육을 보장하는 방법을 모색하는 외관 메타 손실 기능을 최적화하는 불확실성 기반 공정한 학습을 제안합니다.
또한, 우리는 1 차 및 보조 작업 모두의 기울기 및 불확실성 정보 기울기를 모두 고려하여 역전 중에 1 차 작업의 지속적인 손실 하강에 대한 성능을 더욱 향상시킬 수 있습니다.
그러나 모두 27 기본 작업.
광범위한 실험에 따르면 우리의 방법은 주로 최첨단 보조 작업과 비슷하거나 더 나은 성능을 달성하여 적절한 교육을 무시하는 성능을 달성하는 데 중점을 둡니다.
부적절하게 예술이 접근합니다.
또한, 우리의 가중치 전략은 노이즈 보조 작업의 의사 라벨에 관계없이 기본 작업의 성능을 향상시키는 데 기본 작업에 영향을 미치는 효과적인 교육 보조 작업이 효과적입니다.
그림 1과 같이 성능
출처: arXiv
답글 남기기