Neural networks learning as a multiobjective optimal control problem

Krawczak, Maciej

Neural networks learning as a multiobjective optimal control problem

Krawczak, Maciej

Published: 1997
Publisher: Universitat Politècnica de Catalunya. Secció de Matemàtiques i Informàtica
Repository: upcommons.upc.edu
Language: en

Abstract

The supervised learning process of multilayer feedforward neural networks can be considered as a class of multi-objective, multi-stage optimal control problem. An iterative parametric minimax method is proposed in which the original optimization problem is embedded into a weighted minimax formulation. The resulting auxiliary parametric optimization problems at the lower level have simple structures that are readily tackled by efficient solution methods, such as the dynamic programming or the error backpropagation algorithm. The analytical expression of the partial derivatives of systems performance indices with respect to the weighting vector in the parametric minimax formulation is derived.

Full text

                             !"##$ %                                                                       Æ                                                                                                                       !      "                 # $                     % $          %$                & %     &    &   ½ &    %$  '  $ $() $(*   ! # $ +"                                  ,     -         !              "         "       .     /$ %              &   %&  $   $ '       %        %                " #      &   % $    0                                       % $ '              1                      &  #     %   $   '   $          %                 2     .        $ ,                # ' "# "!$ % $  #& '( )# # *&# $( # ' 3    4          Æ        5  ' " 1         "     6 7  8  $(9* $$                     :                                "                                #                    :                          "       &       %$  '     %;       %              )  :      /$ %              &   %&  $   $ *             %       %    !               ,           Æ    ) " * Æ       :              5             0 Æ                          :        $(9   !              : 5              2 , 9    0       <     5    "     %;       %                :      /$ %              &   %&  $   $ 9 ,       0            %$       %$       : " 5    "   =           %                        (  :      /$ %              &   %&  $   $$& ,       :  ( "$&   .                  0             >  $$    %$  '     .       #  5  ( "$&                                                !  "#              !    $      $' "# "!$ % $  #& '( )# # *&# $((            %'  1  $1      /$ %              &   %&  $   $$2   %               &  %'  1  &   '(   !    )* +                   ,   ! * "#$           %&   %'  1  $) -   &         &     )*        !      *   .    /&               ! ! $            $*       /$ %              &   %&  $   $$ !    &   %$  '  ?       %$    .               !  &                       ,   ! *$     %     %  %        $9 -               /             !     *  $  '&&   !                &                     /  0     ! ! /    $  0               $(       /$ %              &   %&  $   $'& ! ! Æ    !     ! Æ   &  % '      .   /     !        !               @         5   " 9   5  $( "'&     ,              "9              0  $( "'&                      &         %               5   "9   .            0   $( "'&  ,    0     "9                 0  $( "'&  ,        0 5  $( "'&  ."     =     '$  :           %$  '      /$ %              &   %&  $   $''     0         A  +5        5  0                "# "!$ % $  #& '( )# # *&# '&$ #  B"      <   '$ "''            '1  :             %$  '      /$ %              &   %&  $   $'2 4          $( "'&        "       0         %      ')                            ,      0         ,                     0     %  $                                    '* #      %           0  $( "'&        "                           % &   %'  1  '           ,                          %0  &             %'  1  '9            5      :         :      $( "'&                          C  '&'   !                "     0                    ,D+ EF"29* ,                   $  G? 6 ! 1$ -  2 F= +, E $(99 ' D 6 3  4 E E 3 G*  $(' 1 H @!  3 3 D E   B" D I E  4  5     ) $(*&  ('*"('9 2 IA + @ D + E 6 2     $(*  1(")2 ) G H7? + HJ 37 3 8  !"  E F 3"K $(& * B 7G I   L # E %29 4      $& $(*&  (2"()2  B5 +? +5 B           :: ;  .))  4 L $((2 9 < H? 7 KK !0       ;  < ! %     $(($  )$")* ( < H? 7 KK + +       5  . 4  9 9     $((&  '1)'"'1*& $& < HI 0  1 8 , , ! " 8 6 + $(92 $$ 6 H? 7 I!? 8 6G 8  38&  $   H 6 G +F   EHE 6 I +, E F + F 9 $(9*   $  $' 8  EG +0 <" I , E  +  < 4 3 3 +  .)))   9& <&  ;& M  3 ' $(9(  1$)"111