Diff for /loncom/publisher/lonpublisher.pm between versions 1.59 and 1.168

version 1.59, 2001/12/05 21:12:04 version 1.168, 2004/05/21 20:01:15
Line 25 Line 25
 #  #
 # http://www.lon-capa.org/  # http://www.lon-capa.org/
 #  #
 #   ###
 # (TeX Content Handler  
 #  ###############################################################################
 # 05/29/00,05/30,10/11 Gerd Kortemeyer)  ##                                                                           ##
 #  ## ORGANIZATION OF THIS PERL MODULE                                          ##
 # 11/28,11/29,11/30,12/01,12/02,12/04,12/23 Gerd Kortemeyer  ##                                                                           ##
 # 03/23 Guy Albertelli  ## 1. Modules used by this module                                            ##
 # 03/24,03/29,04/03 Gerd Kortemeyer  ## 2. Various subroutines                                                    ##
 # 04/16/2001 Scott Harrison  ## 3. Publication Step One                                                   ##
 # 05/03,05/05,05/07 Gerd Kortemeyer  ## 4. Phase Two                                                              ##
 # 05/28/2001 Scott Harrison  ## 5. Main Handler                                                           ##
 # 06/23,08/07,08/11,8/13,8/17,8/18,8/24,9/26,10/16 Gerd Kortemeyer  ##                                                                           ##
 # 12/04,12/05 Guy Albertelli  ###############################################################################
 # 12/05 Gerd Kortemeyer  
   
   ######################################################################
   ######################################################################
   
   =pod 
   
   =head1 NAME
   
   lonpublisher - LON-CAPA publishing handler
   
   =head1 SYNOPSIS
   
   B<lonpublisher> is used by B<mod_perl> inside B<Apache>.  This is the
   invocation by F<loncapa_apache.conf>:
   
     <Location /adm/publish>
     PerlAccessHandler       Apache::lonacc
     SetHandler perl-script
     PerlHandler Apache::lonpublisher
     ErrorDocument     403 /adm/login
     ErrorDocument     404 /adm/notfound.html
     ErrorDocument     406 /adm/unauthorized.html
     ErrorDocument     500 /adm/errorhandler
     </Location>
   
   =head1 OVERVIEW
   
   Authors can only write-access the C</~authorname/> space. They can
   copy resources into the resource area through the publication step,
   and move them back through a recover step. Authors do not have direct
   write-access to their resource space.
   
   During the publication step, several events will be
   triggered. Metadata is gathered, where a wizard manages default
   entries on a hierarchical per-directory base: The wizard imports the
   metadata (including access privileges and royalty information) from
   the most recent published resource in the current directory, and if
   that is not available, from the next directory above, etc. The Network
   keeps all previous versions of a resource and makes them available by
   an explicit version number, which is inserted between the file name
   and extension, for example C<foo.2.html>, while the most recent
   version does not carry a version number (C<foo.html>). Servers
   subscribing to a changed resource are notified that a new version is
   available.
   
   =head1 DESCRIPTION
   
   B<lonpublisher> takes the proper steps to add resources to the LON-CAPA
   digital library.  This includes updating the metadata table in the
   LON-CAPA database.
   
   B<lonpublisher> is many things to many people.  
   
   This module publishes a file.  This involves gathering metadata,
   versioning the file, copying file from construction space to
   publication space, and copying metadata from construction space
   to publication space.
   
   =head2 SUBROUTINES
   
   Many of the undocumented subroutines implement various magical
   parsing shortcuts.
   
   =over 4
   
   =cut
   
   ######################################################################
   ######################################################################
   
   
 package Apache::lonpublisher;  package Apache::lonpublisher;
   
   # ------------------------------------------------- modules used by this module
 use strict;  use strict;
 use Apache::File;  use Apache::File;
 use File::Copy;  use File::Copy;
 use Apache::Constants qw(:common :http :methods);  use Apache::Constants qw(:common :http :methods);
 use HTML::TokeParser;  use HTML::LCParser;
 use Apache::lonxml;  use Apache::lonxml;
 use Apache::lonhomework;  
 use Apache::loncacc;  use Apache::loncacc;
 use DBI;  use DBI;
   use Apache::lonnet();
   use Apache::loncommon();
   use Apache::lonmysql;
   use Apache::lonlocal;
   use Apache::loncfile;
   use LONCAPA::lonmetadata;
   use Apache::lonmsg;
   use vars qw(%metadatafields %metadatakeys);
   
 my %addid;  my %addid;
 my %nokey;  my %nokey;
 my %language;  
 my %cprtag;  
   
 my %metadatafields;  
 my %metadatakeys;  
   
 my $docroot;  my $docroot;
   
 my $cuname;  my $cuname;
 my $cudom;  my $cudom;
   
 # ----------------------------------------------- Evaluate string with metadata  =pod
   
   =item B<metaeval>
   
   Evaluates a string that contains metadata.  This subroutine
   stores values inside I<%metadatafields> and I<%metadatakeys>.
   The hash key is a I<$unikey> corresponding to a unique id
   that is descriptive of the parser location inside the XML tree.
   
   Parameters:
   
   =over 4
   
   =item I<$metastring>
   
   A string that contains metadata.
   
   =back
   
   Returns:
   
   nothing
   
   =cut
   
   #########################################
   #########################################
   #
   # Modifies global %metadatafields %metadatakeys 
   #
   
 sub metaeval {  sub metaeval {
     my $metastring=shift;      my ($metastring,$prefix)=@_;
         
         my $parser=HTML::TokeParser->new(\$metastring);      my $parser=HTML::LCParser->new(\$metastring);
         my $token;      my $token;
         while ($token=$parser->get_token) {      while ($token=$parser->get_token) {
            if ($token->[0] eq 'S') {   if ($token->[0] eq 'S') {
       my $entry=$token->[1];      my $entry=$token->[1];
               my $unikey=$entry;      my $unikey=$entry;
               if (defined($token->[2]->{'package'})) {       if (defined($token->[2]->{'package'})) { 
                   $unikey.='_package_'.$token->[2]->{'package'};   $unikey.='_package_'.$token->[2]->{'package'};
               }       } 
               if (defined($token->[2]->{'part'})) {       if (defined($token->[2]->{'part'})) { 
                  $unikey.='_'.$token->[2]->{'part'};    $unikey.='_'.$token->[2]->{'part'}; 
       }      }
               if (defined($token->[2]->{'id'})) {       if (defined($token->[2]->{'id'})) { 
                   $unikey.='_'.$token->[2]->{'id'};   $unikey.='_'.$token->[2]->{'id'};
               }       } 
               if (defined($token->[2]->{'name'})) {       if (defined($token->[2]->{'name'})) { 
                  $unikey.='_'.$token->[2]->{'name'};    $unikey.='_'.$token->[2]->{'name'}; 
       }      }
                map {      foreach (@{$token->[3]}) {
   $metadatafields{$unikey.'.'.$_}=$token->[2]->{$_};   $metadatafields{$unikey.'.'.$_}=$token->[2]->{$_};
                   if ($metadatakeys{$unikey}) {   if ($metadatakeys{$unikey}) {
       $metadatakeys{$unikey}.=','.$_;      $metadatakeys{$unikey}.=','.$_;
                   } else {   } else {
                       $metadatakeys{$unikey}=$_;      $metadatakeys{$unikey}=$_;
                   }   }
               } @{$token->[3]};      }
               if ($metadatafields{$unikey}) {      my $newentry=$parser->get_text('/'.$entry);
   my $newentry=$parser->get_text('/'.$entry);      if ($entry eq 'customdistributionfile') {
                   unless (($metadatafields{$unikey}=~/$newentry/) ||   $newentry=~s/^\s*//;
                           ($newentry eq '')) {   if ($newentry !~m|^/res|) { $newentry=$prefix.$newentry; }
                      $metadatafields{$unikey}.=', '.$newentry;      }
   }  # actually store
       } else {      if ( $entry eq 'rule' && exists($metadatafields{$unikey})) {
                  $metadatafields{$unikey}=$parser->get_text('/'.$entry);   $metadatafields{$unikey}.=','.$newentry;
               }      } else {
           }   $metadatafields{$unikey}=$newentry;
        }      }
    }
       }
 }  }
   
 # -------------------------------------------------------- Read a metadata file  #########################################
   #########################################
   
   =pod
   
   =item B<metaread>
   
   Read a metadata file
   
   Parameters:
   
   =over
   
   =item I<$logfile>
   
   File output stream to output errors and warnings to.
   
   =item I<$fn>
   
   File name (including path).
   
   =back
   
   Returns:
   
   =over 4
   
   =item Scalar string (if successful)
   
   XHTML text that indicates successful reading of the metadata.
   
   =back
   
   =cut
   
   #########################################
   #########################################
 sub metaread {  sub metaread {
     my ($logfile,$fn)=@_;      my ($logfile,$fn,$prefix)=@_;
     unless (-e $fn) {      unless (-e $fn) {
  print $logfile 'No file '.$fn."\n";   print($logfile 'No file '.$fn."\n");
         return '<br><b>No file:</b> <tt>'.$fn.'</tt>';          return '<br /><b>'.&mt('No file').':</b> <tt>'.
       &Apache::loncfile::display($fn).'</tt>';
     }      }
     print $logfile 'Processing '.$fn."\n";      print($logfile 'Processing '.$fn."\n");
     my $metastring;      my $metastring;
     {      {
      my $metafh=Apache::File->new($fn);   my $metafh=Apache::File->new($fn);
      $metastring=join('',<$metafh>);   $metastring=join('',<$metafh>);
     }      }
     &metaeval($metastring);      &metaeval($metastring,$prefix);
     return '<br><b>Processed file:</b> <tt>'.$fn.'</tt>';      return '<br /><b>'.&mt('Processed file').':</b> <tt>'.
    &Apache::loncfile::display($fn).'</tt>';
 }  }
   
 # ---------------------------- convert 'time' format into a datetime sql format  #########################################
 sub sqltime {  #########################################
     my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) =  
  localtime(@_[0]);  sub coursedependencies {
     $mon++; $year+=1900;      my $url=&Apache::lonnet::declutter(shift);
     return "$year-$mon-$mday $hour:$min:$sec";      $url=~s/\.meta$//;
       my ($adomain,$aauthor)=($url=~/^(\w+)\/(\w+)\//);
       my $regexp=$url;
       $regexp=~s/(\W)/\\$1/g;
       $regexp='___'.$regexp.'___course';
       my %evaldata=&Apache::lonnet::dump('nohist_resevaldata',$adomain,
          $aauthor,$regexp);
       my %courses=();
       foreach (keys %evaldata) {
    if ($_=~/^([a-zA-Z0-9]+_[a-zA-Z0-9]+)___.+___course$/) {
       $courses{$1}=1;
           }
       }
       return %courses;
 }  }
   #########################################
   #########################################
   
   
   =pod
   
   =item Form-field-generating subroutines.
   
   For input parameters, these subroutines take in values
   such as I<$name>, I<$value> and other form field metadata.
   The output (scalar string that is returned) is an XHTML
   string which presents the form field (foreseeably inside
   <form></form> tags).
   
   =over 4
   
   =item B<textfield>
   
   =item B<hiddenfield>
   
   =item B<selectbox>
   
   =back
   
 # --------------------------------------------------------- Various form fields  =cut
   
   #########################################
   #########################################
 sub textfield {  sub textfield {
     my ($title,$name,$value)=@_;      my ($title,$name,$value)=@_;
     return "\n<p><b>$title:</b><br>".      $value=~s/^\s+//gs;
            '<input type=text name="'.$name.'" size=80 value="'.$value.'">';      $value=~s/\s+$//gs;
       $value=~s/\s+/ /gs;
       $title=&mt($title);
       $ENV{'form.'.$name}=$value;
       return "\n<p><font color=\"#800000\" face=\"helvetica\"><b>$title:".
              "</b></font></p><br />".
              '<input type="text" name="'.$name.'" size=80 value="'.$value.'" />';
 }  }
   
 sub hiddenfield {  sub hiddenfield {
     my ($name,$value)=@_;      my ($name,$value)=@_;
     return "\n".'<input type=hidden name="'.$name.'" value="'.$value.'">';      $ENV{'form.'.$name}=$value;
       return "\n".'<input type="hidden" name="'.$name.'" value="'.$value.'" />';
 }  }
   
 sub selectbox {  sub selectbox {
     my ($title,$name,$value,%options)=@_;      my ($title,$name,$value,$functionref,@idlist)=@_;
     my $selout="\n<p><b>$title:</b><br>".'<select name="'.$name.'">';      $title=&mt($title);
     map {      $value=(split(/\s*,\s*/,$value))[-1];
         $selout.='<option value="'.$_.'"';      if (defined($value)) {
         if ($_ eq $value) { $selout.=' selected'; }   $ENV{'form.'.$name}=$value;
         $selout.='>'.$options{$_}.'</option>';      } else {
     } sort keys %options;   $ENV{'form.'.$name}=$idlist[0];
       }
       my $selout="\n<p><font color=\"#800000\" face=\"helvetica\"><b>$title:".
    '</b></font></p><br /><select name="'.$name.'">';
       foreach (@idlist) {
           $selout.='<option value=\''.$_.'\'';
           if ($_ eq $value) {
       $selout.=' selected>'.&{$functionref}($_).'</option>';
    }
           else {$selout.='>'.&{$functionref}($_).'</option>';}
       }
     return $selout.'</select>';      return $selout.'</select>';
 }  }
   
 # -------------------------------------------------------- Publication Step One  sub select_level_form {
       my ($value,$name)=@_;
       $ENV{'form.'.$name}=$value;
       if (!defined($value)) { $ENV{'form.'.$name}=0; }
       return  &Apache::loncommon::select_level_form($value,$name);
   }
   #########################################
   #########################################
   
   =pod
   
   =item B<urlfixup>
   
   Fix up a url?  First step of publication
   
   =cut
   
   #########################################
   #########################################
 sub urlfixup {  sub urlfixup {
     my ($url,$target)=@_;      my ($url,$target)=@_;
     unless ($url) { return ''; }      unless ($url) { return ''; }
       #javascript code needs no fixing
       if ($url =~ /^javascript:/i) { return $url; }
       if ($url =~ /^mailto:/i) { return $url; }
       #internal document links need no fixing
       if ($url =~ /^\#/) { return $url; } 
     my ($host)=($url=~/(?:http\:\/\/)*([^\/]+)/);      my ($host)=($url=~/(?:http\:\/\/)*([^\/]+)/);
     map {      foreach (values %Apache::lonnet::hostname) {
  if ($_ eq $host) {   if ($_ eq $host) {
     $url=~s/^http\:\/\///;      $url=~s/^http\:\/\///;
             $url=~s/^$host//;              $url=~s/^$host//;
         }          }
     } values %Apache::lonnet::hostname;      }
     if ($url=~/^http\:\/\//) { return $url; }      if ($url=~/^http\:\/\//) { return $url; }
     $url=~s/\~$cuname/res\/$cudom\/$cuname/;      $url=~s/\~$cuname/res\/$cudom\/$cuname/;
       return $url;
   }
   
   #########################################
   #########################################
   
   =pod
   
   =item B<absoluteurl>
   
   Currently undocumented.
   
   =cut
   
   #########################################
   #########################################
   sub absoluteurl {
       my ($url,$target)=@_;
       unless ($url) { return ''; }
     if ($target) {      if ($target) {
  $target=~s/\/[^\/]+$//;   $target=~s/\/[^\/]+$//;
        $url=&Apache::lonnet::hreflocation($target,$url);         $url=&Apache::lonnet::hreflocation($target,$url);
Line 180  sub urlfixup { Line 417  sub urlfixup {
     return $url;      return $url;
 }  }
   
   #########################################
   #########################################
   
   =pod
   
   =item B<set_allow>
   
   Currently undocumented    
   
   =cut
   
   #########################################
   #########################################
   sub set_allow {
       my ($allow,$logfile,$target,$tag,$oldurl)=@_;
       my $newurl=&urlfixup($oldurl,$target);
       my $return_url=$oldurl;
       print $logfile 'GUYURL: '.$tag.':'.$oldurl.' - '.$newurl."\n";
       if ($newurl ne $oldurl) {
    $return_url=$newurl;
    print $logfile 'URL: '.$tag.':'.$oldurl.' - '.$newurl."\n";
       }
       if (($newurl !~ /^javascript:/i) &&
    ($newurl !~ /^mailto:/i) &&
    ($newurl !~ /^http:/i) &&
    ($newurl !~ /^\#/)) {
    $$allow{&absoluteurl($newurl,$target)}=1;
       }
       return $return_url
   }
   
   #########################################
   #########################################
   
   =pod
   
   =item B<get_subscribed_hosts>
   
   Currently undocumented    
   
   =cut
   
   #########################################
   #########################################
   sub get_subscribed_hosts {
       my ($target)=@_;
       my @subscribed;
       my $filename;
       $target=~/(.*)\/([^\/]+)$/;
       my $srcf=$2;
       opendir(DIR,$1);
       while ($filename=readdir(DIR)) {
    if ($filename=~/\Q$srcf\E\.(\w+)$/) {
       my $subhost=$1;
       if (($subhost ne 'meta' && $subhost ne 'subscription') &&
                   ($subhost ne $Apache::lonnet::perlvar{'lonHostID'})) {
    push(@subscribed,$subhost);
       }
    }
       }
       closedir(DIR);
       my $sh;
       if ( $sh=Apache::File->new("$target.subscription") ) {
    &Apache::lonnet::logthis("opened $target.subscription");
    while (my $subline=<$sh>) {
       &Apache::lonnet::logthis("Trying $subline");
       if ($subline =~ /(^\w+):/) { 
                   if ($1 ne $Apache::lonnet::perlvar{'lonHostID'}) { 
                      push(@subscribed,$1);
           }
               } else {
    &Apache::lonnet::logthis("No Match for $subline");
       }
    }
       } else {
    &Apache::lonnet::logthis("Unable to open $target.subscription");
       }
       return @subscribed;
   }
   
   
   #########################################
   #########################################
   
   =pod
   
   =item B<get_max_ids_indices>
   
   Currently undocumented    
   
   =cut
   
   #########################################
   #########################################
   sub get_max_ids_indices {
       my ($content)=@_;
       my $maxindex=10;
       my $maxid=10;
       my $needsfixup=0;
       my $duplicateids=0;
   
       my %allids;
       my %duplicatedids;
   
       my $parser=HTML::LCParser->new($content);
       my $token;
       while ($token=$parser->get_token) {
    if ($token->[0] eq 'S') {
       my $counter;
       if ($counter=$addid{$token->[1]}) {
    if ($counter eq 'id') {
       if (defined($token->[2]->{'id'})) {
    $maxid=($token->[2]->{'id'}>$maxid)?$token->[2]->{'id'}:$maxid;
    if (exists($allids{$token->[2]->{'id'}})) {
       $duplicateids=1;
       $duplicatedids{$token->[2]->{'id'}}=1;
    } else {
       $allids{$token->[2]->{'id'}}=1;
    }
       } else {
    $needsfixup=1;
       }
    } else {
       if (defined($token->[2]->{'index'})) {
    $maxindex=($token->[2]->{'index'}>$maxindex)?$token->[2]->{'index'}:$maxindex;
       } else {
    $needsfixup=1;
       }
    }
       }
    }
       }
       return ($needsfixup,$maxid,$maxindex,$duplicateids,
       (keys(%duplicatedids)));
   }
   
   #########################################
   #########################################
   
   =pod
   
   =item B<get_all_text_unbalanced>
   
   Currently undocumented    
   
   =cut
   
   #########################################
   #########################################
   sub get_all_text_unbalanced {
       #there is a copy of this in lonxml.pm
       my($tag,$pars)= @_;
       my $token;
       my $result='';
       $tag='<'.$tag.'>';
       while ($token = $$pars[-1]->get_token) {
    if (($token->[0] eq 'T')||($token->[0] eq 'C')||($token->[0] eq 'D')) {
       $result.=$token->[1];
    } elsif ($token->[0] eq 'PI') {
       $result.=$token->[2];
    } elsif ($token->[0] eq 'S') {
       $result.=$token->[4];
    } elsif ($token->[0] eq 'E')  {
       $result.=$token->[2];
    }
    if ($result =~ /(.*)\Q$tag\E(.*)/s) {
       #&Apache::lonnet::logthis('Got a winner with leftovers ::'.$2);
       #&Apache::lonnet::logthis('Result is :'.$1);
       $result=$1;
       my $redo=$tag.$2;
       push (@$pars,HTML::LCParser->new(\$redo));
       $$pars[-1]->xml_mode('1');
       last;
    }
       }
       return $result
   }
   
   #########################################
   #########################################
   
   =pod
   
   =item B<fix_ids_and_indices>
   
   Currently undocumented    
   
   =cut
   
   #########################################
   #########################################
   #Arguably this should all be done as a lonnet::ssi instead
   sub fix_ids_and_indices {
       my ($logfile,$source,$target)=@_;
   
       my %allow;
       my $content;
       {
    my $org=Apache::File->new($source);
    $content=join('',<$org>);
       }
   
       my ($needsfixup,$maxid,$maxindex,$duplicateids,@duplicatedids)=
    &get_max_ids_indices(\$content);
   
       print $logfile ("Got $needsfixup,$maxid,$maxindex,$duplicateids--".
      join(', ',@duplicatedids));
       if ($duplicateids) {
    print $logfile "Duplicate ID(s) exist, ".join(', ',@duplicatedids)."\n";
    my $outstring='<font color="red">'.&mt('Unable to publish file, it contains duplicated ID(s), ID(s) need to be unique. The duplicated ID(s) are').': '.join(', ',@duplicatedids).'</font>';
    return ($outstring,1);
       }
       if ($needsfixup) {
    print $logfile "Needs ID and/or index fixup\n".
       "Max ID   : $maxid (min 10)\n".
                   "Max Index: $maxindex (min 10)\n";
       }
       my $outstring='';
       my @parser;
       $parser[0]=HTML::LCParser->new(\$content);
       $parser[-1]->xml_mode(1);
       my $token;
       while (@parser) {
    while ($token=$parser[-1]->get_token) {
       if ($token->[0] eq 'S') {
    my $counter;
    my $tag=$token->[1];
    my $lctag=lc($tag);
    if ($lctag eq 'allow') {
       $allow{$token->[2]->{'src'}}=1;
       next;
    }
    my %parms=%{$token->[2]};
    $counter=$addid{$tag};
    if (!$counter) { $counter=$addid{$lctag}; }
    if ($counter) {
       if ($counter eq 'id') {
    unless (defined($parms{'id'})) {
       $maxid++;
       $parms{'id'}=$maxid;
       print $logfile 'ID: '.$tag.':'.$maxid."\n";
    }
       } elsif ($counter eq 'index') {
    unless (defined($parms{'index'})) {
       $maxindex++;
       $parms{'index'}=$maxindex;
       print $logfile 'Index: '.$tag.':'.$maxindex."\n";
    }
       }
    }
    foreach my $type ('src','href','background','bgimg') {
       foreach my $key (keys(%parms)) {
    if ($key =~ /^$type$/i) {
       $parms{$key}=&set_allow(\%allow,$logfile,
       $target,$tag,
       $parms{$key});
    }
       }
    }
    # probably a <randomlabel> image type <label>
    # or a <image> tag inside <imageresponse>
    if (($lctag eq 'label' && defined($parms{'description'}))
       ||
       ($lctag eq 'image')) {
       my $next_token=$parser[-1]->get_token();
       if ($next_token->[0] eq 'T') {
    $next_token->[1]=&set_allow(\%allow,$logfile,
       $target,$tag,
       $next_token->[1]);
       }
       $parser[-1]->unget_token($next_token);
    }
    if ($lctag eq 'applet') {
       my $codebase='';
       my $havecodebase=0;
       foreach my $key (keys(%parms)) {
    if (lc($key) eq 'codebase') { 
       $codebase=$parms{$key};
       $havecodebase=1; 
    }
       }
       if ($havecodebase) {
    my $oldcodebase=$codebase;
    unless ($oldcodebase=~/\/$/) {
       $oldcodebase.='/';
    }
    $codebase=&urlfixup($oldcodebase,$target);
    $codebase=~s/\/$//;    
    if ($codebase ne $oldcodebase) {
       $parms{'codebase'}=$codebase;
       print $logfile 'URL codebase: '.$tag.':'.
    $oldcodebase.' - '.
       $codebase."\n";
    }
    $allow{&absoluteurl($codebase,$target).'/*'}=1;
       } else {
    foreach my $key (keys(%parms)) {
       if ($key =~ /(archive|code|object)/i) {
    my $oldurl=$parms{$key};
    my $newurl=&urlfixup($oldurl,$target);
    $newurl=~s/\/[^\/]+$/\/\*/;
    print $logfile 'Allow: applet '.lc($key).':'.
       $oldurl.' allows '.$newurl."\n";
    $allow{&absoluteurl($newurl,$target)}=1;
       }
    }
       }
    }
    my $newparmstring='';
    my $endtag='';
    foreach (keys %parms) {
       if ($_ eq '/') {
    $endtag=' /';
       } else { 
    my $quote=($parms{$_}=~/\"/?"'":'"');
    $newparmstring.=' '.$_.'='.$quote.$parms{$_}.$quote;
       }
    }
    if (!$endtag) { if ($token->[4]=~m:/>$:) { $endtag=' /'; }; }
    $outstring.='<'.$tag.$newparmstring.$endtag.'>';
    if ($lctag eq 'm' || $lctag eq 'script' 
                       || $lctag eq 'display' || $lctag eq 'tex') {
       $outstring.=&get_all_text_unbalanced('/'.$lctag,\@parser);
    }
       } elsif ($token->[0] eq 'E') {
    if ($token->[2]) {
       unless ($token->[1] eq 'allow') {
    $outstring.='</'.$token->[1].'>';
       }
    }
       } else {
    $outstring.=$token->[1];
       }
    }
    pop(@parser);
       }
   
       if ($needsfixup) {
    print $logfile "End of ID and/or index fixup\n".
       "Max ID   : $maxid (min 10)\n".
    "Max Index: $maxindex (min 10)\n";
       } else {
    print $logfile "Does not need ID and/or index fixup\n";
       }
   
       return ($outstring,0,%allow);
   }
   
   #########################################
   #########################################
   
   =pod
   
   =item B<store_metadata>
   
   Store the metadata in the metadata table in the loncapa database.
   Uses lonmysql to access the database.
   
   Inputs: \%metadata
   
   Returns: (error,status).  error is undef on success, status is undef on error.
   
   =cut
   
   #########################################
   #########################################
   sub store_metadata {
       my %metadata = @_;
       my $error;
       # Determine if the table exists
       my $status = &Apache::lonmysql::check_table('metadata');
       if (! defined($status)) {
           $error='<font color="red">WARNING: Cannot connect to '.
               'database!</font>';
           &Apache::lonnet::logthis($error);
           return ($error,undef);
       }
       if ($status == 0) {
           # It would be nice to actually create the table....
           $error ='<font color="red">WARNING: The metadata table does not '.
               'exist in the LON-CAPA database.</font>';
           &Apache::lonnet::logthis($error);
           return ($error,undef);
       }
       if (($metadata{'obsolete'}) || ($metadata{'copyright'} eq 'priv') ||
    ($metadata{'copyright'} eq 'custom')) {
   # remove this entry
    $status=&Apache::lonmysql::remove_from_table
       ('metadata','url',$metadata{'url'});
       } else {
   # store new data
   # adjust some values to metadatadatabase (e.g., "usage" is a reserved word)
    $metadata{'creationdate'}=
       &Apache::lonmysql::sqltime($metadata{'creationdate'}); 
    $metadata{'lastrevisiondate'}=
       &Apache::lonmysql::sqltime($metadata{'lastrevisiondate'});
    $metadata{'sequsage'}=$metadata{'usage'};
    $metadata{'sequsage_list'}=$metadata{'usage_list'};
    my %newmetadata=();
   # see if we have old entries
    my @oldmeta=&Apache::lonmysql::get_rows('metadata',
    "url LIKE BINARY '".
    $metadata{'url'}."'");
    if ($#oldmeta==0) {
   # yes, there is one old entry, transfer to newmetadata
       %newmetadata=&LONCAPA::lonmetadata::metadata_col_to_hash(@{$oldmeta[0]});
   # remove old entry
       $status=&Apache::lonmysql::remove_from_table
    ('metadata','url',$metadata{'url'});
    } elsif ($#oldmeta>0) {
   # more than one entry fit - how did that happen?
       $error='<font color="red">Error occured retrieving old values in '.
         'metadata table in LON-CAPA database: '.$#oldmeta.
         ' matches</font>';
       &Apache::lonnet::logthis($error);
       return ($error,undef);
    }
   # store new data on top of it
    foreach (keys %metadata) {
       $newmetadata{$_}=$metadata{$_};
    }
    $status = &Apache::lonmysql::store_row('metadata',\%newmetadata);
       }
       if (! defined($status)) {
           $error='<font color="red">Error occured storing new values in '.
               'metadata table in LON-CAPA database</font>';
           &Apache::lonnet::logthis($error);
           return ($error,undef);
       }
       return (undef,$status);
   }
   
   
   # ============================================== Parse file itself for metadata
   #
   # parses a file with target meta, sets global %metadatafields %metadatakeys 
   
   sub parseformeta {
       my ($source,$style)=@_;
       my $allmeta='';
       if (($style eq 'ssi') || ($style eq 'prv')) {
    my $dir=$source;
    $dir=~s-/[^/]*$--;
    my $file=$source;
    $file=(split('/',$file))[-1];
           $source=&Apache::lonnet::hreflocation($dir,$file);
    $allmeta=&Apache::lonnet::ssi_body($source,('grade_target' => 'meta'));
           &metaeval($allmeta);
       }
       return $allmeta;
   }
   
   #########################################
   #########################################
   
   =pod
   
   =item B<publish>
   
   This is the workhorse function of this module.  This subroutine generates
   backup copies, performs any automatic processing (prior to publication,
   especially for rat and ssi files),
   
   Returns a 2 element array, the first is the string to be shown to the
   user, the second is an error code, either 1 (an error occured) or 0
   (no error occurred)
   
   I<Additional documentation needed.>
   
   =cut
   
   #########################################
   #########################################
 sub publish {  sub publish {
   
     my ($source,$target,$style)=@_;      my ($source,$target,$style,$batch)=@_;
     my $logfile;      my $logfile;
     my $scrout='';      my $scrout='';
     my $allmeta='';      my $allmeta='';
     my $content='';      my $content='';
     my %allow=();      my %allow=();
     undef %allow;  
   
     unless ($logfile=Apache::File->new('>>'.$source.'.log')) {      unless ($logfile=Apache::File->new('>>'.$source.'.log')) {
  return    return ('<font color="red">'.&mt('No write permission to user directory, FAIL').'</font>',1);
          '<font color=red>No write permission to user directory, FAIL</font>';  
     }      }
     print $logfile       print $logfile 
 "\n\n================= Publish ".localtime()." Phase One  ================\n";  "\n\n================= Publish ".localtime()." Phase One  ================\n".$ENV{'user.name'}.'@'.$ENV{'user.domain'}."\n";
   
     if (($style eq 'ssi') || ($style eq 'rat')) {      if (($style eq 'ssi') || ($style eq 'rat') || ($style eq 'prv')) {
 # ------------------------------------------------------- This needs processing  # ------------------------------------------------------- This needs processing
   
 # ----------------------------------------------------------------- Backup Copy  # ----------------------------------------------------------------- Backup Copy
Line 206  sub publish { Line 914  sub publish {
     print $logfile "Copied original file to ".$copyfile."\n";      print $logfile "Copied original file to ".$copyfile."\n";
         } else {          } else {
     print $logfile "Unable to write backup ".$copyfile.':'.$!."\n";      print $logfile "Unable to write backup ".$copyfile.':'.$!."\n";
           return "<font color=red>Failed to write backup copy, $!,FAIL</font>";      return ("<font color=\"red\">Failed to write backup copy, $!,FAIL</font>",1);
         }          }
 # ------------------------------------------------------------- IDs and indices  # ------------------------------------------------------------- IDs and indices
   
         my $maxindex=10;   my ($outstring,$error);
         my $maxid=10;   ($outstring,$error,%allow)=&fix_ids_and_indices($logfile,$source,
    $target);
         my $needsfixup=0;   if ($error) { return ($outstring,$error); }
   
         {  
           my $org=Apache::File->new($source);  
           $content=join('',<$org>);  
         }  
         {  
           my $parser=HTML::TokeParser->new(\$content);  
           my $token;  
           while ($token=$parser->get_token) {  
               if ($token->[0] eq 'S') {  
                   my $counter;  
   if ($counter=$addid{$token->[1]}) {  
       if ($counter eq 'id') {  
   if (defined($token->[2]->{'id'})) {  
                              $maxid=  
        ($token->[2]->{'id'}>$maxid)?$token->[2]->{'id'}:$maxid;  
  } else {  
                              $needsfixup=1;  
                          }  
                       } else {  
    if (defined($token->[2]->{'index'})) {  
                              $maxindex=  
    ($token->[2]->{'index'}>$maxindex)?$token->[2]->{'index'}:$maxindex;  
   } else {  
                              $needsfixup=1;  
   }  
       }  
   }  
               }  
           }  
       }  
       if ($needsfixup) {  
           print $logfile "Needs ID and/or index fixup\n".  
         "Max ID   : $maxid (min 10)\n".  
                 "Max Index: $maxindex (min 10)\n";  
       }  
           my $outstring='';  
           my $parser=HTML::TokeParser->new(\$content);  
           $parser->xml_mode(1);  
           my $token;  
           while ($token=$parser->get_token) {  
               if ($token->[0] eq 'S') {  
                 my $counter;  
                 my $tag=$token->[1];  
                 my $lctag=lc($tag);  
                 unless ($lctag eq 'allow') {    
                   my %parms=%{$token->[2]};  
                   $counter=$addid{$tag};  
                   if (!$counter) { $counter=$addid{$lctag}; }  
                   if ($counter) {  
       if ($counter eq 'id') {  
   unless (defined($parms{'id'})) {  
                               $maxid++;  
                               $parms{'id'}=$maxid;  
                               print $logfile 'ID: '.$tag.':'.$maxid."\n";  
                           }  
                       } elsif ($counter eq 'index') {  
    unless (defined($parms{'index'})) {  
                               $maxindex++;  
                               $parms{'index'}=$maxindex;  
                               print $logfile 'Index: '.$tag.':'.$maxindex."\n";  
   }  
       }  
   }   
                     
                   map {  
                       if (defined($parms{$_})) {  
   my $oldurl=$parms{$_};  
                           my $newurl=&urlfixup($oldurl,$target);  
                           if ($newurl ne $oldurl) {  
       $parms{$_}=$newurl;  
                               print $logfile 'URL: '.$tag.':'.$oldurl.' - '.  
   $newurl."\n";  
   }  
                           $allow{$newurl}=1;  
                       }  
                   } ('src','href','background');  
   
                   if ($lctag eq 'applet') {  
       my $codebase='';  
                       if (defined($parms{'codebase'})) {  
          my $oldcodebase=$parms{'codebase'};  
                          unless ($oldcodebase=~/\/$/) {  
                             $oldcodebase.='/';  
                          }  
                          $codebase=&urlfixup($oldcodebase,$target);  
                          $codebase=~s/\/$//;      
                          if ($codebase ne $oldcodebase) {  
      $parms{'codebase'}=$codebase;  
                              print $logfile 'URL codebase: '.$tag.':'.  
                                   $oldcodebase.' - '.  
   $codebase."\n";  
  }  
                          $allow{$codebase.'/*'}=1;  
       } else {  
                         map {  
                           if (defined($parms{$_})) {  
       my $oldurl=$parms{$_};  
                               my $newurl=&urlfixup($oldurl,$target);  
       $newurl=~s/\/[^\/]+$/\/\*/;  
                                   print $logfile 'Allow: applet '.$_.':'.  
                                   $oldurl.' allows '.  
   $newurl."\n";  
                               $allow{$newurl}=1;  
                           }  
                         } ('archive','code','object');  
                       }  
                   }  
   
                   my $newparmstring='';  
                   my $endtag='';  
                   map {  
                     if ($_ eq '/') {  
                       $endtag=' /';  
                     } else {   
                       my $quote=($parms{$_}=~/\"/?"'":'"');  
                       $newparmstring.=' '.$_.'='.$quote.$parms{$_}.$quote;  
     }  
                   } keys %parms;  
   if (!$endtag) { if ($token->[4]=~m:/>$:) { $endtag=' /'; }; }  
   $outstring.='<'.$tag.$newparmstring.$endtag.'>';  
          } else {  
    $allow{$token->[2]->{'src'}}=1;  
  }  
               } elsif ($token->[0] eq 'E') {  
  if ($token->[2]) {  
                   unless ($token->[1] eq 'allow') {  
                      $outstring.='</'.$token->[1].'>';  
   }  
  }  
               } else {  
                   $outstring.=$token->[1];  
               }  
           }  
 # ------------------------------------------------------------ Construct Allows  # ------------------------------------------------------------ Construct Allows
      unless ($style eq 'rat') {      
  $scrout.='<h3>Dependencies</h3>';   $scrout.='<h3>'.&mt('Dependencies').'</h3>';
  my $allowstr="\n";          my $allowstr='';
         map {          foreach (sort(keys(%allow))) {
    my $thisdep=$_;     my $thisdep=$_;
            $allowstr.='<allow src="'.$thisdep.'" />'."\n";     if ($thisdep !~ /[^\s]/) { next; }
            $scrout.='<br>';             unless ($style eq 'rat') { 
            unless ($thisdep=~/\*/) {                $allowstr.="\n".'<allow src="'.$thisdep.'" />';
      }
              $scrout.='<br />';
              if ($thisdep!~/\*/ && $thisdep!~m|^/adm/|) {
        $scrout.='<a href="'.$thisdep.'">';         $scrout.='<a href="'.$thisdep.'">';
            }             }
            $scrout.='<tt>'.$thisdep.'</tt>';             $scrout.='<tt>'.$thisdep.'</tt>';
            unless ($thisdep=~/\*/) {             if ($thisdep!~/\*/ && $thisdep!~m|^/adm/|) {
        $scrout.='</a>';         $scrout.='</a>';
                if (                 if (
        &Apache::lonnet::getfile($Apache::lonnet::perlvar{'lonDocRoot'}.'/'.         &Apache::lonnet::getfile($Apache::lonnet::perlvar{'lonDocRoot'}.'/'.
                                             $thisdep.'.meta') eq '-1') {                                              $thisdep.'.meta') eq '-1') {
    $scrout.=     $scrout.= ' - <font color="red">'.&mt('Currently not available').
                            ' - <font color=red>Currently not available</font>';         '</font>';
                } else {                 } else {
                    my %temphash=(&Apache::lonnet::declutter($target).'___'.                     my %temphash=(&Apache::lonnet::declutter($target).'___'.
                              &Apache::lonnet::declutter($thisdep).'___usage'                               &Apache::lonnet::declutter($thisdep).'___usage'
                                  => time);                                   => time);
                    $thisdep=~/^\/res\/(\w+)\/(\w+)\//;                     $thisdep=~/^\/res\/(\w+)\/(\w+)\//;
                    if ((defined($1)) && (defined($2))) {                     if ((defined($1)) && (defined($2))) {
                       &Apache::lonnet::put('resevaldata',\%temphash,$1,$2);                        &Apache::lonnet::put('nohist_resevaldata',\%temphash,
      $1,$2);
    }     }
        }         }
            }             }
         } keys %allow;          }
         $outstring=~s/(\<\/[^\>]+\>\s*)$/$allowstr$1/s;          $outstring=~s/\n*(\<\/[^\>]+\>)\s*$/$allowstr\n$1\n/s;
     }  
 # ------------------------------------------------------------- Write modified  # ------------------------------------------------------------- Write modified.
   
         {          {
           my $org;            my $org;
           unless ($org=Apache::File->new('>'.$source)) {            unless ($org=Apache::File->new('>'.$source)) {
              print $logfile "No write permit to $source\n";               print $logfile "No write permit to $source\n";
              return                return ('<font color="red">'.&mt('No write permission to').
               "<font color=red>No write permission to $source, FAIL</font>";       ' '.$source.
        ', '.&mt('FAIL').'</font>',1);
   }    }
           print $org $outstring;            print($org $outstring);
         }          }
   $content=$outstring;    $content=$outstring;
   
       if ($needsfixup) {  
           print $logfile "End of ID and/or index fixup\n".  
         "Max ID   : $maxid (min 10)\n".  
                 "Max Index: $maxindex (min 10)\n";  
       } else {  
   print $logfile "Does not need ID and/or index fixup\n";  
       }  
     }      }
 # --------------------------------------------- Initial step done, now metadata  # -------------------------------------------- Initial step done, now metadata.
   
 # ---------------------------------------- Storage for metadata keys and fields  
   
   # --------------------------------------- Storage for metadata keys and fields.
   # these are globals
   #
      %metadatafields=();       %metadatafields=();
      %metadatakeys=();       %metadatakeys=();
             
      my %oldparmstores=();       my %oldparmstores=();
             
      $scrout.='<h3>Metadata Information</h3>';      unless ($batch) {
        $scrout.='<h3>'.&mt('Metadata Information').' ' .
          Apache::loncommon::help_open_topic("Metadata_Description")
          . '</h3>';
       }
   
 # ------------------------------------------------ First, check out environment  # ------------------------------------------------ First, check out environment
      unless (-e $source.'.meta') {       unless (-e $source.'.meta') {
Line 425  sub publish { Line 1002  sub publish {
 # ------------------------------------------------ Check out directory hierachy  # ------------------------------------------------ Check out directory hierachy
   
         my $thisdisfn=$source;          my $thisdisfn=$source;
         $thisdisfn=~s/^\/home\/$cuname\///;          $thisdisfn=~s/^\/home\/\Q$cuname\E\///;
   
         my @urlparts=split(/\//,$thisdisfn);          my @urlparts=split(/\//,$thisdisfn);
         $#urlparts--;          $#urlparts--;
   
         my $currentpath='/home/'.$cuname.'/';          my $currentpath='/home/'.$cuname.'/';
   
         map {   my $prefix='../'x($#urlparts);
           foreach (@urlparts) {
     $currentpath.=$_.'/';      $currentpath.=$_.'/';
             $scrout.=&metaread($logfile,$currentpath.'default.meta');              $scrout.=&metaread($logfile,$currentpath.'default.meta',$prefix);
         } @urlparts;      $prefix=~s|^\.\./||;
           }
   # ----------------------------------------------------------- Parse file itself
   # read %metadatafields from file itself
    
    $allmeta=&parseformeta($source,$style);
   
 # ------------------- Clear out parameters and stores (there should not be any)  # ------------------- Clear out parameters and stores (there should not be any)
   
         map {          foreach (keys %metadatafields) {
     if (($_=~/^parameter/) || ($_=~/^stores/)) {      if (($_=~/^parameter/) || ($_=~/^stores/)) {
  delete $metadatafields{$_};   delete $metadatafields{$_};
             }              }
         } keys %metadatafields;          }
   
     } else {      } else {
 # ---------------------- Read previous metafile, remember parameters and stores  # ---------------------- Read previous metafile, remember parameters and stores
   
         $scrout.=&metaread($logfile,$source.'.meta');          $scrout.=&metaread($logfile,$source.'.meta');
   
         map {          foreach (keys %metadatafields) {
     if (($_=~/^parameter/) || ($_=~/^stores/)) {      if (($_=~/^parameter/) || ($_=~/^stores/)) {
                 $oldparmstores{$_}=1;                  $oldparmstores{$_}=1;
  delete $metadatafields{$_};   delete $metadatafields{$_};
             }              }
         } keys %metadatafields;          }
           # ------------------------------------------ See if anything new in file itself
     }   
    $allmeta=&parseformeta($source,$style);
   
 # -------------------------------------------------- Parse content for metadata     }
     if ($style eq 'ssi') {  
         my $oldenv=$ENV{'request.uri'};  
   
         $ENV{'request.uri'}=$target;  
         $allmeta=Apache::lonxml::xmlparse('meta',$content);  
         $ENV{'request.uri'}=$oldenv;  
   
         &metaeval($allmeta);         
     }  
 # ---------------- Find and document discrepancies in the parameters and stores  # ---------------- Find and document discrepancies in the parameters and stores
   
         my $chparms='';      my $chparms='';
         map {      foreach (sort keys %metadatafields) {
     if (($_=~/^parameter/) || ($_=~/^stores/)) {   if (($_=~/^parameter/) || ($_=~/^stores/)) {
                 unless ($_=~/\.\w+$/) {       unless ($_=~/\.\w+$/) { 
                    unless ($oldparmstores{$_}) {   unless ($oldparmstores{$_}) {
       print $logfile 'New: '.$_."\n";      print $logfile 'New: '.$_."\n";
                       $chparms.=$_.' ';      $chparms.=$_.' ';
                    }   }
         }      }
             }   }
         } sort keys %metadatafields;      }
         if ($chparms) {      if ($chparms) {
     $scrout.='<p><b>New parameters or stored values:</b> '.   $scrout.='<p><b>'.&mt('New parameters or stored values').
                      $chparms;      ':</b> '.$chparms.'</p>';
         }      }
   
         my $chparms='';      $chparms='';
         map {      foreach (sort keys %oldparmstores) {
     if (($_=~/^parameter/) || ($_=~/^stores/)) {   if (($_=~/^parameter/) || ($_=~/^stores/)) {
                 unless (($metadatafields{$_.'.name'}) ||      unless (($metadatafields{$_.'.name'}) ||
                         ($metadatafields{$_.'.package'}) || ($_=~/\.\w+$/)) {      ($metadatafields{$_.'.package'}) || ($_=~/\.\w+$/)) {
     print $logfile 'Obsolete: '.$_."\n";   print $logfile 'Obsolete: '.$_."\n";
                     $chparms.=$_.' ';   $chparms.=$_.' ';
                 }      }
             }   }
         } sort keys %oldparmstores;      }
         if ($chparms) {      if ($chparms) {
     $scrout.='<p><b>Obsolete parameters or stored values:</b> '.   $scrout.='<p><b>'.&mt('Obsolete parameters or stored values').':</b> '.
                      $chparms;      $chparms.'</p><h1><font color="red">'.&mt('Warning!').
         }      '</font></h1><p><font color="red" size="+1">'.
       &mt('If this resource is in active use, student performance data from the previous version may become inaccessible.').'</font></p><hr />';
       }
   
 # ------------------------------------------------------- Now have all metadata  # ------------------------------------------------------- Now have all metadata
   
         $scrout.=      my %keywords=();
      '<form action="/adm/publish" method="post">'.  
           &hiddenfield('phase','two').  
           &hiddenfield('filename',$ENV{'form.filename'}).  
   &hiddenfield('allmeta',&Apache::lonnet::escape($allmeta)).  
           &hiddenfield('dependencies',join(',',keys %allow)).  
           &textfield('Title','title',$metadatafields{'title'}).  
           &textfield('Author(s)','author',$metadatafields{'author'}).  
   &textfield('Subject','subject',$metadatafields{'subject'});  
   
 # --------------------------------------------------- Scan content for keywords  
   
  my $keywordout='<p><b>Keywords:</b><br><table border=2><tr>';  
         my $colcount=0;  
                   
  if (length($content)<500000) {      if (length($content)<500000) {
     my $textonly=$content;   my $textonly=$content;
             $textonly=~s/\<script[^\<]+\<\/script\>//g;   $textonly=~s/\<script[^\<]+\<\/script\>//g;
             $textonly=~s/\<m\>[^\<]+\<\/m\>//g;   $textonly=~s/\<m\>[^\<]+\<\/m\>//g;
             $textonly=~s/\<[^\>]*\>//g;   $textonly=~s/\<[^\>]*\>//g;
             $textonly=~tr/A-Z/a-z/;   $textonly=~tr/A-Z/a-z/;
             $textonly=~s/[\$\&][a-z]\w*//g;   $textonly=~s/[\$\&][a-z]\w*//g;
             $textonly=~s/[^a-z\s]//g;   $textonly=~s/[^a-z\s]//g;
   
             my %keywords=();   foreach ($textonly=~m/(\w+)/g) {
             map {      unless ($nokey{$_}) {
  unless ($nokey{$_}) {  
                    $keywords{$_}=1;  
                 }   
             } ($textonly=~m/(\w+)/g);  
   
             map {  
  $keywords{$_}=1;   $keywords{$_}=1;
             } split(/\W+/,$metadatafields{'keywords'});      } 
    }
       }
   
             map {              
                 $keywordout.='<td><input type=checkbox name="key.'.$_.'"';      foreach my $addkey (split(/[\"\'\,\;]/,$metadatafields{'keywords'})) {
                 if ($metadatafields{'keywords'}=~/$_/) {    $addkey=~s/\s+/ /g;
                    $keywordout.=' checked';    $addkey=~s/^\s//;
                 }   $addkey=~s/\s$//;
                 $keywordout.='>'.$_.'</td>';   if ($addkey=~/\w/) {
                 if ($colcount>10) {      $keywords{$addkey}=1;
     $keywordout.="</tr><tr>\n";   }
                     $colcount=0;      }
                 }  # --------------------------------------------------- Now we also have keywords
                 $colcount++;  # =============================================================================
             } sort keys %keywords;  # interactive mode html goes into $intr_scrout
   # batch mode throws away this HTML
   # additionally all of the field functions have a by product of setting
   #   $ENV{'from.'..} so that it can be used by the phase two handler in
   #    batch mode
   
       my $intr_scrout.=
    '<form name="pubform" action="/adm/publish" method="post">'.
    '<p><input type="submit" value="'.&mt('Finalize Publication').'" /></p>'.
    &hiddenfield('phase','two').
    &hiddenfield('filename',$ENV{'form.filename'}).
    &hiddenfield('allmeta',&Apache::lonnet::escape($allmeta)).
    &hiddenfield('dependencies',join(',',keys %allow)).
    &textfield('Title','title',$metadatafields{'title'}).
    &textfield('Author(s)','author',$metadatafields{'author'}).
    &textfield('Subject','subject',$metadatafields{'subject'});
   
         } else {  # --------------------------------------------------- Scan content for keywords
     $keywordout.='<td>File too long for keyword analysis</td>';  
         }           
           
  $keywordout.='</tr></table>';  
   
         $scrout.=$keywordout;      my $keywords_help = Apache::loncommon::help_open_topic("Publishing_Keywords");
       my $KEYWORDS=&mt('Keywords');
       my $CheckAll=&mt('check all');
       my $UncheckAll=&mt('uncheck all');
       my $keywordout=<<"END";
   <script>
   function checkAll(field) {
       for (i = 0; i < field.length; i++)
           field[i].checked = true ;
   }
   
         $scrout.=&textfield('Additional Keywords','addkey','');  function uncheckAll(field) {
       for (i = 0; i < field.length; i++)
           field[i].checked = false ;
   }
   </script>
   <p><font color="#800000" face="helvetica"><b>$KEYWORDS:</b></font>
    $keywords_help</b>
   <input type="button" value="$CheckAll" onclick="javascript:checkAll(document.pubform.keywords)" /> 
   <input type="button" value="$UncheckAll" onclick="javascript:uncheckAll(document.pubform.keywords)" /> 
   </p>
   <br />
   END
       $keywordout.='<table border="2"><tr>';
       my $colcount=0;
   
       foreach (sort keys %keywords) {
    $keywordout.='<td><input type="checkbox" name="keywords" value="'.$_.'"';
    if ($metadatafields{'keywords'}) {
       if ($metadatafields{'keywords'}=~/\Q$_\E/) {
    $keywordout.=' checked="on"';
    $ENV{'form.keywords'}.=$_.',';
       }
    } elsif (&Apache::loncommon::keyword($_)) {
       $keywordout.=' checked="on"';
       $ENV{'form.keywords'}.=$_.',';
    }
    $keywordout.=' />'.$_.'</td>';
    if ($colcount>10) {
       $keywordout.="</tr><tr>\n";
       $colcount=0;
    }
    $colcount++;
       }
       $ENV{'form.keywords'}=~s/\,$//;
   
         $scrout.=&textfield('Notes','notes',$metadatafields{'notes'});      $keywordout.='</tr></table>';
   
         $scrout.=      $intr_scrout.=$keywordout;
              '<p><b>Abstract:</b><br><textarea cols=80 rows=5 name=abstract>'.  
               $metadatafields{'abstract'}.'</textarea>';  
   
  $source=~/\.(\w+)$/;      $intr_scrout.=&textfield('Additional Keywords','addkey','');
   
  $scrout.=&hiddenfield('mime',$1);      $intr_scrout.=&textfield('Notes','notes',$metadatafields{'notes'});
   
         $scrout.=&selectbox('Language','language',      $intr_scrout.=
                             $metadatafields{'language'},%language);   "\n<p><font color=\"#800000\" face=\"helvetica\"><b>".&mt('Abstract').":".
    "</b></font></p><br />".
    '<textarea cols="80" rows="5" name="abstract">'.
    $metadatafields{'abstract'}.'</textarea></p>';
   
         unless ($metadatafields{'creationdate'}) {      $source=~/\.(\w+)$/;
     $metadatafields{'creationdate'}=time;  
         }  
         $scrout.=&hiddenfield('creationdate',$metadatafields{'creationdate'});  
   
         $scrout.=&hiddenfield('lastrevisiondate',time);  
   
          $intr_scrout.=
  $scrout.=&textfield('Publisher/Owner','owner',   "\n<p><font color=\"#800000\" face=\"helvetica\"><b>".
                             $metadatafields{'owner'});   &mt('Lowest Grade Level').':'.
 # --------------------------------------------------- Correct copyright for rat           "</b></font></p><br />".
     if ($style eq 'rat') {   &select_level_form($metadatafields{'lowestgradelevel'},'lowestgradelevel').
        if ($metadatafields{'copyright'} eq 'public') {    "\n<p><font color=\"#800000\" face=\"helvetica\"><b>".
           delete $metadatafields{'copyright'};   &mt('Highest Grade Level').':'.
        }   "</b></font></p><br />".
        delete $cprtag{'public'};   &select_level_form($metadatafields{'highestgradelevel'},'highestgradelevel').
    }   &textfield('Standards','standards',$metadatafields{'standards'});
   
         $scrout.=&selectbox('Copyright/Distribution','copyright',  
                             $metadatafields{'copyright'},%cprtag);  
   
     return $scrout.  
       '<p><input type="submit" value="Finalize Publication"></form>';  
 }  
   
 # -------------------------------------------------------- Publication Step Two  
   
 sub phasetwo {      $intr_scrout.=&hiddenfield('mime',$1);
   
     my ($source,$target,$style,$distarget)=@_;      my $defaultlanguage=$metadatafields{'language'};
     my $logfile;      $defaultlanguage =~ s/\s*notset\s*//g;
     my $scrout='';      $defaultlanguage =~ s/^,\s*//g;
       $defaultlanguage =~ s/,\s*$//g;
   
     unless ($logfile=Apache::File->new('>>'.$source.'.log')) {      $intr_scrout.=&selectbox('Language','language',
  return        $defaultlanguage,
          '<font color=red>No write permission to user directory, FAIL</font>';       \&Apache::loncommon::languagedescription,
        (&Apache::loncommon::languageids),
        );
   
       unless ($metadatafields{'creationdate'}) {
    $metadatafields{'creationdate'}=time;
     }      }
     print $logfile       $intr_scrout.=&hiddenfield('creationdate',
 "\n================= Publish ".localtime()." Phase Two  ================\n";         &Apache::lonmysql::unsqltime($metadatafields{'creationdate'}));
   
      %metadatafields=();      $intr_scrout.=&hiddenfield('lastrevisiondate',time);
      %metadatakeys=();  
   
      &metaeval(&Apache::lonnet::unescape($ENV{'form.allmeta'}));  
   
      $metadatafields{'title'}=$ENV{'form.title'};      $intr_scrout.=&textfield('Publisher/Owner','owner',
      $metadatafields{'author'}=$ENV{'form.author'};       $metadatafields{'owner'});
      $metadatafields{'subject'}=$ENV{'form.subject'};  
      $metadatafields{'notes'}=$ENV{'form.notes'};  
      $metadatafields{'abstract'}=$ENV{'form.abstract'};  
      $metadatafields{'mime'}=$ENV{'form.mime'};  
      $metadatafields{'language'}=$ENV{'form.language'};  
      $metadatafields{'creationdate'}=$ENV{'form.creationdate'};  
      $metadatafields{'lastrevisiondate'}=$ENV{'form.lastrevisiondate'};  
      $metadatafields{'owner'}=$ENV{'form.owner'};  
      $metadatafields{'copyright'}=$ENV{'form.copyright'};  
   
      my $allkeywords=$ENV{'form.addkey'};  
      map {  
          if ($_=~/^form\.key\.(\w+)/) {  
      $allkeywords.=','.$1;  
          }  
      } keys %ENV;  
      $allkeywords=~s/\W+/\,/;  
      $allkeywords=~s/^\,//;  
      $metadatafields{'keywords'}=$allkeywords;  
    
      {  
        print $logfile "\nWrite metadata file for ".$source;  
        my $mfh;  
        unless ($mfh=Apache::File->new('>'.$source.'.meta')) {  
  return   
          '<font color=red>Could not write metadata, FAIL</font>';  
        }      
        map {  
  unless ($_=~/\./) {  
            my $unikey=$_;  
            $unikey=~/^([A-Za-z]+)/;  
            my $tag=$1;  
            $tag=~tr/A-Z/a-z/;  
            print $mfh "\n\<$tag";  
            map {  
                my $value=$metadatafields{$unikey.'.'.$_};  
                $value=~s/\"/\'\'/g;  
                print $mfh ' '.$_.'="'.$value.'"';  
            } split(/\,/,$metadatakeys{$unikey});  
    print $mfh '>'.$metadatafields{$unikey}.'</'.$tag.'>';  
          }  
        } sort keys %metadatafields;  
        $scrout.='<p>Wrote Metadata';  
        print $logfile "\nWrote metadata";  
      }  
   
 # -------------------------------- Synchronize entry with SQL metadata database  # -------------------------------------------------- Correct copyright for rat.
     my %perlvar;      my $defaultoption=$metadatafields{'copyright'};
     open (CONFIG,"/etc/httpd/conf/access.conf") || die "Can't read access.conf";      unless ($defaultoption) { $defaultoption='default'; }
     my $configline;      unless ($style eq 'prv') {
     while ($configline=<CONFIG>) {   if ($style eq 'rat') {
  if ($configline =~ /PerlSetVar/) {      if ($metadatafields{'copyright'} eq 'public') { 
     my ($dummy,$varname,$varvalue)=split(/\s+/,$configline);   delete $metadatafields{'copyright'};
     chomp($varvalue);   $defaultoption='default';
     $perlvar{$varname}=$varvalue;      }
       $intr_scrout.=&selectbox('Copyright/Distribution','copyright',
        $defaultoption,
        \&Apache::loncommon::copyrightdescription,
       (grep !/^public$/,(&Apache::loncommon::copyrightids)));
       } else {
    $intr_scrout.=&selectbox('Copyright/Distribution','copyright',
       $defaultoption,
       \&Apache::loncommon::copyrightdescription,
       (&Apache::loncommon::copyrightids));
       }
       
       my $copyright_help =
    Apache::loncommon::help_open_topic('Publishing_Copyright');
       $intr_scrout =~ s/DISTRIBUTION:/'DISTRIBUTION: ' . $copyright_help/ge;
       $intr_scrout.=&textfield('Custom Distribution File','customdistributionfile',
    $metadatafields{'customdistributionfile'}).
       $copyright_help;
       my $uctitle=&mt('Obsolete');
               $intr_scrout.=
    "\n<p><font color=\"#800000\" face=\"helvetica\"><b>$uctitle:".
    '</b></font> <input type="checkbox" name="obsolete" ';
       if ($metadatafields{'obsolete'}) {
    $intr_scrout.=' checked="1" ';
       }
       $intr_scrout.='/ ></p>'.
    &textfield('Suggested Replacement for Obsolete File',
       'obsoletereplacement',
       $metadatafields{'obsoletereplacement'});
    } else {
       $intr_scrout.=&hiddenfield('copyright','private');
  }   }
       if (!$batch) {
    $scrout.=$intr_scrout.'<p><input type="submit" value="'.
       &mt('Finalize Publication').'" /></p></form>';
     }      }
     close(CONFIG);      return($scrout,0);
   }
   
     my $warning;  #########################################
     my $dbh;  #########################################
     {  
  unless (  
  $dbh = DBI->connect("DBI:mysql:loncapa","www",$perlvar{'lonSqlAccess'},{ RaiseError =>0,PrintError=>0})  
  ) {   
     $warning='<font color=red>WARNING: Cannot connect to '.  
  'database!</font>';  
  }  
  else {  
     my %sqldatafields;  
     $sqldatafields{'url'}=$distarget;  
     my $sth=$dbh->prepare(  
   'delete from metadata where url like binary'.  
   '"'.$sqldatafields{'url'}.'"');  
     $sth->execute();  
     map {my $field=$metadatafields{$_}; $field=~s/\"/\'\'/g;   
  $sqldatafields{$_}=$field;}  
     ('title','author','subject','keywords','notes','abstract',  
      'mime','language','creationdate','lastrevisiondate','owner',  
      'copyright');  
       
     $sth=$dbh->prepare('insert into metadata values ('.  
        '"'.delete($sqldatafields{'title'}).'"'.','.  
        '"'.delete($sqldatafields{'author'}).'"'.','.  
        '"'.delete($sqldatafields{'subject'}).'"'.','.  
        '"'.delete($sqldatafields{'url'}).'"'.','.  
        '"'.delete($sqldatafields{'keywords'}).'"'.','.  
        '"'.'current'.'"'.','.  
        '"'.delete($sqldatafields{'notes'}).'"'.','.  
        '"'.delete($sqldatafields{'abstract'}).'"'.','.  
        '"'.delete($sqldatafields{'mime'}).'"'.','.  
        '"'.delete($sqldatafields{'language'}).'"'.','.  
        '"'.  
        sqltime(delete($sqldatafields{'creationdate'}))  
        .'"'.','.  
        '"'.  
        sqltime(delete(  
        $sqldatafields{'lastrevisiondate'})).'"'.','.  
        '"'.delete($sqldatafields{'owner'}).'"'.','.  
        '"'.delete(  
        $sqldatafields{'copyright'}).'"'.')');  
     $sth->execute();  
     $dbh->disconnect;  
     $scrout.='<p>Synchronized SQL metadata database';  
     print $logfile "\nSynchronized SQL metadata database";  
  }  
     }  
   
   =pod 
   
 # ----------------------------------------------------------- Copy old versions  =item B<phasetwo>
      
 if (-e $target) {  Render second interface showing status of publication steps.
     my $filename;  This is publication step two.
     my $maxversion=0;  
     $target=~/(.*)\/([^\/]+)\.(\w+)$/;  Parameters:
     my $srcf=$2;  
     my $srct=$3;  =over 4
     my $srcd=$1;  
     unless ($srcd=~/^\/home\/httpd\/html\/res/) {  =item I<$source>
  print $logfile "\nPANIC: Target dir is ".$srcd;  
         return "<font color=red>Invalid target directory, FAIL</font>";  =item I<$target>
   
   =item I<$style>
   
   =item I<$distarget>
   
   =back
   
   Returns:
   
   =over 4
   
   =item Scalar string
   
   String contains status (errors and warnings) and information associated with
   the server's attempts at publication.     
   
   =cut
   
   #'stupid emacs
   #########################################
   #########################################
   sub phasetwo {
   
       my ($r,$source,$target,$style,$distarget,$batch)=@_;
       $source=~s/\/+/\//g;
       $target=~s/\/+/\//g;
   
       if ($target=~/\_\_\_/) {
    $r->print(
    '<font color="red">'.&mt('Unsupported character combination').
     ' "<tt>___</tt>" '.&mt('in filename, FAIL').'</font>');
           return 0;
     }      }
     opendir(DIR,$srcd);      $distarget=~s/\/+/\//g;
     while ($filename=readdir(DIR)) {      my $logfile;
        if ($filename=~/$srcf\.(\d+)\.$srct$/) {      unless ($logfile=Apache::File->new('>>'.$source.'.log')) {
    $maxversion=($1>$maxversion)?$1:$maxversion;   $r->print(
        }          '<font color="red">'.
    &mt('No write permission to user directory, FAIL').'</font>');
           return 0;
     }      }
     closedir(DIR);      print $logfile 
     $maxversion++;          "\n================= Publish ".localtime()." Phase Two  ================\n".$ENV{'user.name'}.'@'.$ENV{'user.domain'}."\n";
     $scrout.='<p>Creating old version '.$maxversion;      
     print $logfile "\nCreating old version ".$maxversion;      %metadatafields=();
       %metadatakeys=();
   
       &metaeval(&Apache::lonnet::unescape($ENV{'form.allmeta'}));
       
       $metadatafields{'title'}=$ENV{'form.title'};
       $metadatafields{'author'}=$ENV{'form.author'};
       $metadatafields{'subject'}=$ENV{'form.subject'};
       $metadatafields{'notes'}=$ENV{'form.notes'};
       $metadatafields{'abstract'}=$ENV{'form.abstract'};
       $metadatafields{'mime'}=$ENV{'form.mime'};
       $metadatafields{'language'}=$ENV{'form.language'};
       $metadatafields{'creationdate'}=$ENV{'form.creationdate'};
       $metadatafields{'lastrevisiondate'}=$ENV{'form.lastrevisiondate'};
       $metadatafields{'owner'}=$ENV{'form.owner'};
       $metadatafields{'copyright'}=$ENV{'form.copyright'};
       $metadatafields{'standards'}=$ENV{'form.standards'};
       $metadatafields{'lowestgradelevel'}=$ENV{'form.lowestgradelevel'};
       $metadatafields{'highestgradelevel'}=$ENV{'form.highestgradelevel'};
       $metadatafields{'customdistributionfile'}=
                                    $ENV{'form.customdistributionfile'};
       $metadatafields{'obsolete'}=$ENV{'form.obsolete'};
       $metadatafields{'obsoletereplacement'}=
                           $ENV{'form.obsoletereplacement'};
       $metadatafields{'dependencies'}=$ENV{'form.dependencies'};
       $metadatafields{'modifyinguser'}=$ENV{'user.name'}.'@'.
                                    $ENV{'user.domain'};
       $metadatafields{'authorspace'}=$cuname.'@'.$cudom;
       
       my $allkeywords=$ENV{'form.addkey'};
       if (exists($ENV{'form.keywords'})) {
           if (ref($ENV{'form.keywords'})) {
               $allkeywords .= ','.join(',',@{$ENV{'form.keywords'}});
           } else {
               $allkeywords .= ','.$ENV{'form.keywords'};
           }
       }
       $allkeywords=~s/[\;\,]/\,/;
       $allkeywords=~s/[\"\']//g;
       $allkeywords=~s/\s+/ /g;
       $allkeywords=~s/^[ \,]//;
       $allkeywords=~s/[ \,]$//;
       $metadatafields{'keywords'}=$allkeywords;
       
   # check if custom distribution file is specified
       if ($metadatafields{'copyright'} eq 'custom') {
    my $file=$metadatafields{'customdistributionfile'};
    unless ($file=~/\.rights$/) {
               return 
                   '<font color="red">'.&mt('No valid custom distribution rights file specified, FAIL').
    '</font>';
           }
       }
       {
           print $logfile "\nWrite metadata file for ".$source;
           my $mfh;
           unless ($mfh=Apache::File->new('>'.$source.'.meta')) {
               return 
                   '<font color="red">'.&mt('Could not write metadata, FAIL').
    '</font>';
           }
           foreach (sort keys %metadatafields) {
               unless ($_=~/\./) {
                   my $unikey=$_;
                   $unikey=~/^([A-Za-z]+)/;
                   my $tag=$1;
                   $tag=~tr/A-Z/a-z/;
                   print $mfh "\n\<$tag";
                   foreach (split(/\,/,$metadatakeys{$unikey})) {
                       my $value=$metadatafields{$unikey.'.'.$_};
                       $value=~s/\"/\'\'/g;
                       print $mfh ' '.$_.'="'.$value.'"';
                   }
                   print $mfh '>'.
                       &HTML::Entities::encode($metadatafields{$unikey},'<>&"')
                           .'</'.$tag.'>';
               }
           }
           $r->print('<p>'.&mt('Wrote Metadata').'</p>');
           print $logfile "\nWrote metadata";
       }
       
   # -------------------------------- Synchronize entry with SQL metadata database
   
     my $copyfile=$srcd.'/'.$srcf.'.'.$maxversion.'.'.$srct;      $metadatafields{'url'} = $distarget;
       $metadatafields{'version'} = 'current';
   
       my ($error,$success) = &store_metadata(%metadatafields);
       if ($success) {
    $r->print('<p>'.&mt('Synchronized SQL metadata database').'</p>');
    print $logfile "\nSynchronized SQL metadata database";
       } else {
    $r->print($error);
    print $logfile "\n".$error;
       }
   # --------------------------------------------- Delete author resource messages
       my $delresult=&Apache::lonmsg::del_url_author_res_msg($target); 
       $r->print('<p>'.&mt('Removing error messages:').' '.$delresult.'</p>');
       print $logfile "\nRemoving error messages: $delresult";
   # ----------------------------------------------------------- Copy old versions
      
       if (-e $target) {
           my $filename;
           my $maxversion=0;
           $target=~/(.*)\/([^\/]+)\.(\w+)$/;
           my $srcf=$2;
           my $srct=$3;
           my $srcd=$1;
           unless ($srcd=~/^\/home\/httpd\/html\/res/) {
               print $logfile "\nPANIC: Target dir is ".$srcd;
               return "<font color=\"red\">Invalid target directory, FAIL</font>";
           }
           opendir(DIR,$srcd);
           while ($filename=readdir(DIR)) {
               if (-l $srcd.'/'.$filename) {
                   unlink($srcd.'/'.$filename);
                   unlink($srcd.'/'.$filename.'.meta');
               } else {
                   if ($filename=~/\Q$srcf\E\.(\d+)\.\Q$srct\E$/) {
                       $maxversion=($1>$maxversion)?$1:$maxversion;
                   }
               }
           }
           closedir(DIR);
           $maxversion++;
           $r->print('<p>Creating old version '.$maxversion.'</p>');
           print $logfile "\nCreating old version ".$maxversion."\n";
           
           my $copyfile=$srcd.'/'.$srcf.'.'.$maxversion.'.'.$srct;
           
         if (copy($target,$copyfile)) {          if (copy($target,$copyfile)) {
     print $logfile "Copied old target to ".$copyfile."\n";      print $logfile "Copied old target to ".$copyfile."\n";
             $scrout.='<p>Copied old target file';              $r->print('<p>'.&mt('Copied old target file').'</p>');
         } else {          } else {
     print $logfile "Unable to write ".$copyfile.':'.$!."\n";      print $logfile "Unable to write ".$copyfile.':'.$!."\n";
            return "<font color=red>Failed to copy old target, $!, FAIL</font>";              return "<font color=\"red\">".&mt('Failed to copy old target').
    ", $!, ".&mt('FAIL')."</font>";
         }          }
           
 # --------------------------------------------------------------- Copy Metadata  # --------------------------------------------------------------- Copy Metadata
   
  $copyfile=$copyfile.'.meta';   $copyfile=$copyfile.'.meta';
           
         if (copy($target.'.meta',$copyfile)) {          if (copy($target.'.meta',$copyfile)) {
     print $logfile "Copied old target metadata to ".$copyfile."\n";      print $logfile "Copied old target metadata to ".$copyfile."\n";
             $scrout.='<p>Copied old metadata';              $r->print('<p>'.&mt('Copied old metadata').'</p>')
         } else {          } else {
     print $logfile "Unable to write metadata ".$copyfile.':'.$!."\n";      print $logfile "Unable to write metadata ".$copyfile.':'.$!."\n";
             if (-e $target.'.meta') {              if (-e $target.'.meta') {
                return                   return 
        "<font color=red>Failed to write old metadata copy, $!, FAIL</font>";                      "<font color=\"red\">".
   &mt('Failed to write old metadata copy').", $!, ".&mt('FAIL')."</font>";
     }      }
         }          }
           
           
 } else {      } else {
     $scrout.='<p>Initial version';          $r->print('<p>'.&mt('Initial version').'</p>');
     print $logfile "\nInitial version";          print $logfile "\nInitial version";
 }      }
   
 # ---------------------------------------------------------------- Write Source  # ---------------------------------------------------------------- Write Source
  my $copyfile=$target;      my $copyfile=$target;
       
       my @parts=split(/\//,$copyfile);
       my $path="/$parts[1]/$parts[2]/$parts[3]/$parts[4]";
       
       my $count;
       for ($count=5;$count<$#parts;$count++) {
           $path.="/$parts[$count]";
           if ((-e $path)!=1) {
               print $logfile "\nCreating directory ".$path;
               $r->print('<p>'.&mt('Created directory').' '.$parts[$count].'</p>');
               mkdir($path,0777);
           }
       }
       
       if (copy($source,$copyfile)) {
           print $logfile "\nCopied original source to ".$copyfile."\n";
           $r->print('<p>'.&mt('Copied source file').'</p>');
       } else {
           print $logfile "\nUnable to write ".$copyfile.':'.$!."\n";
           return "<font color=\"red\">".
       &mt('Failed to copy source').", $!, ".&mt('FAIL')."</font>";
       }
       
   # --------------------------------------------------------------- Copy Metadata
   
            my @parts=split(/\//,$copyfile);      $copyfile=$copyfile.'.meta';
            my $path="/$parts[1]/$parts[2]/$parts[3]/$parts[4]";      
       if (copy($source.'.meta',$copyfile)) {
           print $logfile "\nCopied original metadata to ".$copyfile."\n";
           $r->print('<p>'.&mt('Copied metadata').'</p>');
       } else {
           print $logfile "\nUnable to write metadata ".$copyfile.':'.$!."\n";
           return 
               "<font color=\"red\">".&mt('Failed to write metadata copy').", $!, ".&mt('FAIL')."</font>";
       }
       $r->rflush;
   # --------------------------------------------------- Send update notifications
   
            my $count;      my @subscribed=&get_subscribed_hosts($target);
            for ($count=5;$count<$#parts;$count++) {      foreach my $subhost (@subscribed) {
                $path.="/$parts[$count]";   $r->print('<p>'.&mt('Notifying host').' '.$subhost.':');$r->rflush;
                if ((-e $path)!=1) {   print $logfile "\nNotifying host ".$subhost.':';
                    print $logfile "\nCreating directory ".$path;   my $reply=&Apache::lonnet::critical('update:'.$target,$subhost);
                    $scrout.='<p>Created directory '.$parts[$count];   $r->print($reply.'</p><br />');$r->rflush;
    mkdir($path,0777);   print $logfile $reply;
                }      }
            }      
   # ---------------------------------------- Send update notifications, meta only
   
         if (copy($source,$copyfile)) {      my @subscribedmeta=&get_subscribed_hosts("$target.meta");
     print $logfile "Copied original source to ".$copyfile."\n";      foreach my $subhost (@subscribedmeta) {
             $scrout.='<p>Copied source file';   $r->print('<p>'.
         } else {  &mt('Notifying host for metadata only').' '.$subhost.':');$r->rflush;
     print $logfile "Unable to write ".$copyfile.':'.$!."\n";   print $logfile "\nNotifying host for metadata only ".$subhost.':';
             return "<font color=red>Failed to copy source, $!, FAIL</font>";   my $reply=&Apache::lonnet::critical('update:'.$target.'.meta',
         }      $subhost);
    $r->print($reply.'</p><br />');$r->rflush;
    print $logfile $reply;
       }
       
   # --------------------------------------------------- Notify subscribed courses
       my %courses=&coursedependencies($target);
       my $now=time;
       foreach (keys %courses) {
    $r->print('<p>'.&mt('Notifying course').' '.$_.':');$r->rflush;
    print $logfile "\nNotifying host ".$_.':';
           my ($cdom,$cname)=split(/\_/,$_);
    my $reply=&Apache::lonnet::cput
                     ('versionupdate',{$target => $now},$cdom,$cname);
    $r->print($reply.'</p><br />');$r->rflush;
    print $logfile $reply;
       }
   # ------------------------------------------------ Provide link to new resource
       unless ($batch) {
           my $thisdistarget=$target;
           $thisdistarget=~s/^\Q$docroot\E//;
           
           my $thissrc=$source;
           $thissrc=~s/^\/home\/(\w+)\/public_html/\/priv\/$1/;
           
           my $thissrcdir=$thissrc;
           $thissrcdir=~s/\/[^\/]+$/\//;
           
           
           $r->print(
              '<hr /><a href="'.$thisdistarget.'"><font size="+2">'.
              &mt('View Published Version').'</font></a>'.
              '<p><a href="'.$thissrc.'"><font size=+2>'.
     &mt('Back to Source').'</font></a></p>'.
              '<p><a href="'.$thissrcdir.
                      '"><font size="+2">'.
     &mt('Back to Source Directory').'</font></a></p>');
       }
       return '<p><font color="green">'.&mt('Done').'</font></p>';
   }
   
 # --------------------------------------------------------------- Copy Metadata  #########################################
   
         $copyfile=$copyfile.'.meta';  sub batchpublish {
       my ($r,$srcfile,$targetfile)=@_;
       #publication pollutes %ENV with form.* values
       my %oldENV=%ENV;
       $srcfile=~s/\/+/\//g;
       $targetfile=~s/\/+/\//g;
       my $thisdisfn=$srcfile;
       $thisdisfn=~s/\/home\/korte\/public_html\///;
       $srcfile=~s/\/+/\//g;
   
       my $docroot=$r->dir_config('lonDocRoot');
       my $thisdistarget=$targetfile;
       $thisdistarget=~s/^\Q$docroot\E//;
   
   
       %metadatafields=();
       %metadatakeys=();
       $srcfile=~/\.(\w+)$/;
       my $thistype=$1;
   
         if (copy($source.'.meta',$copyfile)) {  
     print $logfile "Copied original metadata to ".$copyfile."\n";  
             $scrout.='<p>Copied metadata';  
         } else {  
     print $logfile "Unable to write metadata ".$copyfile.':'.$!."\n";  
             return   
           "<font color=red>Failed to write metadata copy, $!, FAIL</font>";  
         }  
   
 # --------------------------------------------------- Send update notifications      my $thisembstyle=&Apache::loncommon::fileembstyle($thistype);
        
       $r->print('<h2>'.&mt('Publishing').' <tt>'.$thisdisfn.'</tt></h2>');
   
 {  # phase one takes
   #  my ($source,$target,$style,$batch)=@_;
       my ($outstring,$error)=&publish($srcfile,$targetfile,$thisembstyle,1);
       $r->print('<p>'.$outstring.'</p>');
   # phase two takes
   # my ($source,$target,$style,$distarget,batch)=@_;
   # $ENV{'form.allmeta'},$ENV{'form.title'},$ENV{'form.author'},...
       if (!$error) {
    $r->print('<p>');
    &phasetwo($r,$srcfile,$targetfile,$thisembstyle,$thisdistarget,1);
    $r->print('</p>');
       }
       %ENV=%oldENV;
       return '';
   }
   
     my $filename;  #########################################
    
     $target=~/(.*)\/([^\/]+)$/;  sub publishdirectory {
     my $srcf=$2;      my ($r,$fn,$thisdisfn)=@_;
     opendir(DIR,$1);      $fn=~s/\/+/\//g;
     while ($filename=readdir(DIR)) {      $thisdisfn=~s/\/+/\//g;
        if ($filename=~/$srcf\.(\w+)$/) {      my $resdir=
    my $subhost=$1;   $Apache::lonnet::perlvar{'lonDocRoot'}.'/res/'.$cudom.'/'.$cuname.'/'.
            if ($subhost ne 'meta') {   $thisdisfn;
        $scrout.='<p>Notifying host '.$subhost.':';      $r->print('<h1>'.&mt('Directory').' <tt>'.$thisdisfn.'</tt></h1>'.
                print $logfile "\nNotifying host '.$subhost.':'";        &mt('Target').': <tt>'.$resdir.'</tt><br />');
                my $reply=&Apache::lonnet::critical('update:'.$target,$subhost);  
                $scrout.=$reply;      my $dirptr=16384; # Mask indicating a directory in stat.cmode.
                print $logfile $reply;                
            }      opendir(DIR,$fn);
        }      my @files=sort(readdir(DIR));
       foreach my $filename (@files) {
    my ($cdev,$cino,$cmode,$cnlink,
               $cuid,$cgid,$crdev,$csize,
               $catime,$cmtime,$cctime,
               $cblksize,$cblocks)=stat($fn.'/'.$filename);
   
    my $extension='';
    if ($filename=~/\.(\w+)$/) { $extension=$1; }
    if ($cmode&$dirptr) {
       if (($filename!~/^\./) && ($ENV{'form.pubrec'})) {
    &publishdirectory($r,$fn.'/'.$filename,$thisdisfn.'/'.$filename);
       }
    } elsif ((&Apache::loncommon::fileembstyle($extension) ne 'hdn') &&
    ($filename!~/^[\#\.]/) && ($filename!~/\~$/)) {
   # find out publication status and/or exiting metadata
       my $publishthis=0;
       if (-e $resdir.'/'.$filename) {
           my ($rdev,$rino,$rmode,$rnlink,
       $ruid,$rgid,$rrdev,$rsize,
       $ratime,$rmtime,$rctime,
       $rblksize,$rblocks)=stat($resdir.'/'.$filename);
           if (($rmtime<$cmtime) || ($ENV{'form.forcerepub'})) {
   # previously published, modified now
       $publishthis=1;
                   }
       } else {
   # never published
    $publishthis=1;
       }
       if ($publishthis) {
                   &batchpublish($r,$fn.'/'.$filename,$resdir.'/'.$filename);
       } else {
    $r->print('<br />'.&mt('Skipping').' '.$filename.'<br />');
       }
       $r->rflush();
    }
     }      }
     closedir(DIR);      closedir(DIR);
   
 }  }
   
 # ---------------------------------------- Send update notifications, meta only  #########################################
   # publish a default.meta file
   
   sub defaultmetapublish {
       my ($r,$fn,$cuname,$cudom)=@_;
       $fn=~s/^\/\~$cuname\//\/home\/$cuname\/public_html\//;
       unless (-e $fn) {
          return HTTP_NOT_FOUND;
       }
       my $target=$fn;
       $target=~s/^\/home\/$cuname\/public_html\//$Apache::lonnet::perlvar{'lonDocRoot'}\/res\/$cudom\/$cuname\//;
   
 {  
   
     my $filename;      &Apache::loncommon::content_type($r,'text/html');
        $r->send_http_header;
     $target=~/(.*)\/([^\/]+)$/;  
     my $srcf=$2.'.meta';      $r->print('<html><head><title>LON-CAPA Publishing</title></head>');
     opendir(DIR,$1);      $r->print(&Apache::loncommon::bodytag('Catalog Information Publication'));
     while ($filename=readdir(DIR)) {  
        if ($filename=~/$srcf\.(\w+)$/) {  # ---------------------------------------------------------------- Write Source
    my $subhost=$1;      my $copyfile=$target;
            if ($subhost ne 'meta') {      
        $scrout.=      my @parts=split(/\//,$copyfile);
                 '<p>Notifying host for metadata only '.$subhost.':';      my $path="/$parts[1]/$parts[2]/$parts[3]/$parts[4]";
                print $logfile       
                 "\nNotifying host for metadata only '.$subhost.':'";      my $count;
                my $reply=&Apache::lonnet::critical(      for ($count=5;$count<$#parts;$count++) {
                                 'update:'.$target.'.meta',$subhost);          $path.="/$parts[$count]";
                $scrout.=$reply;          if ((-e $path)!=1) {
                print $logfile $reply;                            $r->print('<p>'.&mt('Created directory').' '.$parts[$count].'</p>');
            }              mkdir($path,0777);
        }          }
       }
       
       if (copy($fn,$copyfile)) {
           $r->print('<p>'.&mt('Copied source file').'</p>');
       } else {
           return "<font color=\"red\">".
       &mt('Failed to copy source').", $!, ".&mt('FAIL')."</font>";
     }      }
     closedir(DIR);  
   
   # --------------------------------------------------- Send update notifications
   
       my @subscribed=&get_subscribed_hosts($target);
       foreach my $subhost (@subscribed) {
    $r->print('<p>'.&mt('Notifying host').' '.$subhost.':');$r->rflush;
    my $reply=&Apache::lonnet::critical('update:'.$target,$subhost);
    $r->print($reply.'</p><br />');$r->rflush;
       }
   # ------------------------------------------------------------------- Link back
       my $link=$fn;
       $link=~s/^\/home\/$cuname\/public_html\//\/priv\/$cuname\//;
       $r->print("<a href='$link'>".&mt('Back to Catalog Information').'</a>');
       $r->print('</body></html>');
       return OK;
 }  }
   #########################################
   
 # ------------------------------------------------ Provide link to new resource  =pod
   
     my $thisdistarget=$target;  =item B<handler>
     $thisdistarget=~s/^$docroot//;  
   
     my $thissrc=$source;  A basic outline of the handler subroutine follows.
     $thissrc=~s/^\/home\/(\w+)\/public_html/\/priv\/$1/;  
   
     my $thissrcdir=$thissrc;  =over 4
     $thissrcdir=~s/\/[^\/]+$/\//;  
   
   =item *
   
     return $warning.$scrout.  Get query string for limited number of parameters.
       '<hr><a href="'.$thisdistarget.'"><font size=+2>View Target</font></a>'.  
       '<p><a href="'.$thissrc.'"><font size=+2>Back to Source</font></a>'.  
       '<p><a href="'.$thissrcdir.  
       '"><font size=+2>Back to Source Directory</font></a>';  
   
 }  =item *
   
   Check filename.
   
   =item *
   
   File is there and owned, init lookup tables.
   
 # ================================================================ Main Handler  =item *
   
   Start page output.
   
   =item *
   
   Evaluate individual file, and then output information.
   
   =item *
   
   Publishing from $thisfn to $thistarget with $thisembstyle.
   
   =back
   
   =cut
   
   #########################################
   #########################################
 sub handler {  sub handler {
   my $r=shift;      my $r=shift;
   
   if ($r->header_only) {      if ($r->header_only) {
      $r->content_type('text/html');   &Apache::loncommon::content_type($r,'text/html');
      $r->send_http_header;   $r->send_http_header;
      return OK;   return OK;
   }      }
   
 # Get query string for limited number of parameters  # Get query string for limited number of parameters
   
     map {      &Apache::loncommon::get_unprocessed_cgi($ENV{'QUERY_STRING'},
        my ($name, $value) = split(/=/,$_);                                              ['filename']);
        $value =~ tr/+/ /;  
        $value =~ s/%([a-fA-F0-9][a-fA-F0-9])/pack("C",hex($1))/eg;  
        if ($name eq 'filename') {  
            unless ($ENV{'form.'.$name}) {  
               $ENV{'form.'.$name}=$value;  
    }  
        }  
     } (split(/&/,$ENV{'QUERY_STRING'}));  
   
   
 # -------------------------------------------------------------- Check filename  # -------------------------------------------------------------- Check filename
   
   my $fn=$ENV{'form.filename'};      my $fn=&Apache::lonnet::unescape($ENV{'form.filename'});
   
       ($cuname,$cudom)=
    &Apache::loncacc::constructaccess($fn,$r->dir_config('lonDefDomain'));
   
   # special publication: default.meta file
       if ($fn=~/\/default.meta$/) {
    return &defaultmetapublish($r,$fn,$cuname,$cudom); 
       }
       $fn=~s/\.meta$//;
       
   unless ($fn) {       unless ($fn) { 
      $r->log_reason($cuname.' at '.$cudom.   $r->log_reason($cuname.' at '.$cudom.
          ' trying to publish empty filename', $r->filename);          ' trying to publish empty filename', $r->filename); 
      return HTTP_NOT_FOUND;   return HTTP_NOT_FOUND;
   }       } 
   
   ($cuname,$cudom)=      unless (($cuname) && ($cudom)) {
     &Apache::loncacc::constructaccess($fn,$r->dir_config('lonDefDomain'));   $r->log_reason($cuname.' at '.$cudom.
   unless (($cuname) && ($cudom)) {         ' trying to publish file '.$ENV{'form.filename'}.
      $r->log_reason($cuname.' at '.$cudom.         ' ('.$fn.') - not authorized', 
          ' trying to publish file '.$ENV{'form.filename'}.         $r->filename); 
          ' ('.$fn.') - not authorized',    return HTTP_NOT_ACCEPTABLE;
          $r->filename);       }
      return HTTP_NOT_ACCEPTABLE;  
   }      my $home=&Apache::lonnet::homeserver($cuname,$cudom);
       my $allowed=0;
   unless (&Apache::lonnet::homeserver($cuname,$cudom)       my @ids=&Apache::lonnet::current_machine_ids();
           eq $r->dir_config('lonHostID')) {      foreach my $id (@ids) { if ($id eq $home) { $allowed = 1; }  }
      $r->log_reason($cuname.' at '.$cudom.      unless ($allowed) {
          ' trying to publish file '.$ENV{'form.filename'}.   $r->log_reason($cuname.' at '.$cudom.
          ' ('.$fn.') - not homeserver ('.         ' trying to publish file '.$ENV{'form.filename'}.
          &Apache::lonnet::homeserver($cuname,$cudom).')',          ' ('.$fn.') - not homeserver ('.$home.')', 
          $r->filename);          $r->filename); 
      return HTTP_NOT_ACCEPTABLE;   return HTTP_NOT_ACCEPTABLE;
   }      }
   
   $fn=~s/^http\:\/\/[^\/]+//;      $fn=~s/^http\:\/\/[^\/]+//;
   $fn=~s/^\/\~(\w+)/\/home\/$1\/public_html/;      $fn=~s/^\/\~(\w+)/\/home\/$1\/public_html/;
   
   my $targetdir='';      my $targetdir='';
   $docroot=$r->dir_config('lonDocRoot');       $docroot=$r->dir_config('lonDocRoot'); 
   if ($1 ne $cuname) {      if ($1 ne $cuname) {
      $r->log_reason($cuname.' at '.$cudom.   $r->log_reason($cuname.' at '.$cudom.
          ' trying to publish unowned file '.$ENV{'form.filename'}.         ' trying to publish unowned file '.
          ' ('.$fn.')',          $ENV{'form.filename'}.' ('.$fn.')', 
          $r->filename);          $r->filename); 
      return HTTP_NOT_ACCEPTABLE;   return HTTP_NOT_ACCEPTABLE;
   } else {      } else {
       $targetdir=$docroot.'/res/'.$cudom;   $targetdir=$docroot.'/res/'.$cudom;
   }      }
                                                                     
       
   unless (-e $fn) {       unless (-e $fn) { 
      $r->log_reason($cuname.' at '.$cudom.   $r->log_reason($cuname.' at '.$cudom.
          ' trying to publish non-existing file '.$ENV{'form.filename'}.         ' trying to publish non-existing file '.
          ' ('.$fn.')',          $ENV{'form.filename'}.' ('.$fn.')', 
          $r->filename);          $r->filename); 
      return HTTP_NOT_FOUND;   return HTTP_NOT_FOUND;
   }       } 
   
 unless ($ENV{'form.phase'} eq 'two') {      unless ($ENV{'form.phase'} eq 'two') {
   
 # --------------------------------- File is there and owned, init lookup tables  # -------------------------------- File is there and owned, init lookup tables.
   
   %addid=();   %addid=();
   
   {   {
       my $fh=Apache::File->new($r->dir_config('lonTabDir').'/addid.tab');      my $fh=Apache::File->new($r->dir_config('lonTabDir').'/addid.tab');
       while (<$fh>=~/(\w+)\s+(\w+)/) {      while (<$fh>=~/(\w+)\s+(\w+)/) {
           $addid{$1}=$2;   $addid{$1}=$2;
       }      }
   }   }
   
   %nokey=();  
   
   {  
      my $fh=Apache::File->new($r->dir_config('lonIncludes').'/un_keyword.tab');  
       map {  
           my $word=$_;  
           chomp($word);  
           $nokey{$word}=1;  
       } <$fh>;  
   }  
   
   %language=();  
   
   {  
      my $fh=Apache::File->new($r->dir_config('lonTabDir').'/language.tab');  
       map {  
           $_=~/(\w+)\s+([\w\s\-]+)/;  
           $language{$1}=$2;  
       } <$fh>;  
   }  
   
   %cprtag=();  
   
   {  
      my $fh=Apache::File->new($r->dir_config('lonIncludes').'/copyright.tab');  
       map {  
           $_=~/(\w+)\s+([\w\s\-]+)/;  
           $cprtag{$1}=$2;  
       } <$fh>;  
   }  
   
 }   %nokey=();
   
 # ----------------------------------------------------------- Start page output   {
       my $fh=Apache::File->new($r->dir_config('lonIncludes').'/un_keyword.tab');
   $r->content_type('text/html');      while (<$fh>) {
   $r->send_http_header;   my $word=$_;
    chomp($word);
   $r->print('<html><head><title>LON-CAPA Publishing</title></head>');   $nokey{$word}=1;
   $r->print(      }
    '<body bgcolor="#FFFFFF"><img align=right src=/adm/lonIcons/lonlogos.gif>');   }
   my $thisfn=$fn;  
          }
 # ------------------------------------------------------------- Individual file  
   {  # ---------------------------------------------------------- Start page output.
       $thisfn=~/\.(\w+)$/;  
       my $thistype=$1;      &Apache::loncommon::content_type($r,'text/html');
       my $thisembstyle=&Apache::lonnet::fileembstyle($thistype);      $r->send_http_header;
   
       my $thistarget=$thisfn;      $r->print('<html><head><title>LON-CAPA Publishing</title></head>');
       $r->print(&Apache::loncommon::bodytag('Resource Publication'));
   
   
       my $thisfn=$fn;
   
       my $thistarget=$thisfn;
               
       $thistarget=~s/^\/home/$targetdir/;      $thistarget=~s/^\/home/$targetdir/;
       $thistarget=~s/\/public\_html//;      $thistarget=~s/\/public\_html//;
   
       my $thisdistarget=$thistarget;
       $thisdistarget=~s/^\Q$docroot\E//;
   
       my $thisdistarget=$thistarget;      my $thisdisfn=$thisfn;
       $thisdistarget=~s/^$docroot//;      $thisdisfn=~s/^\/home\/\Q$cuname\E\/public_html\///;
   
       my $thisdisfn=$thisfn;      if ($fn=~/\/$/) {
       $thisdisfn=~s/^\/home\/$cuname\/public_html\///;  # -------------------------------------------------------- This is a directory
    &publishdirectory($r,$fn,$thisdisfn);
    $r->print('<hr><font size="+2">'.&mt('Done').'</font><br><a href="/priv/'
     .$cuname.'/'.$thisdisfn
     .'">'.&mt('Return to Directory').'</a>');
   
       $r->print('<h2>Publishing '.  
         &Apache::lonnet::filedescription($thistype).' <tt>'.      } else {
         $thisdisfn.'</tt></h2><b>Target:</b> <tt>'.$thisdistarget.'</tt><p>');  # ---------------------- Evaluate individual file, and then output information.
    $thisfn=~/\.(\w+)$/;
    my $thistype=$1;
    my $thisembstyle=&Apache::loncommon::fileembstyle($thistype);
    $r->print('<h2>'.&mt('Publishing').' '.
     &Apache::loncommon::filedescription($thistype).' <tt>');
   
    $r->print(<<ENDCAPTION);
   <a href='javascript:void(window.open("/~$cuname/$thisdisfn","cat","height=300,width=500,scrollbars=1,resizable=1,menubar=0,location=1"))'>
   $thisdisfn</a>
   ENDCAPTION
           $r->print('</tt></h2><b>'.&mt('Target').':</b> <tt>'.
     $thisdistarget.'</tt><br />');
         
        if (($cuname ne $ENV{'user.name'}) || ($cudom ne $ENV{'user.domain'})) {   if (($cuname ne $ENV{'user.name'})||($cudom ne $ENV{'user.domain'})) {
           $r->print('<h3><font color=red>Co-Author: '.$cuname.' at '.$cudom.      $r->print('<h3><font color="red">'.&mt('Co-Author').': '.
                '</font></h3>');        $cuname.&mt(' at ').$cudom.'</font></h3>');
       }   }
   
       if (&Apache::lonnet::fileembstyle($thistype) eq 'ssi') {  
           $r->print('<br><a href="/adm/diff?filename=/~'.$cuname.'/'.  
                     $thisdisfn.  
    '&versionone=priv" target=cat>Diffs with Current Version</a><p>');  
       }  
     
 # ------------ We are publishing from $thisfn to $thistarget with $thisembstyle  
   
        unless ($ENV{'form.phase'} eq 'two') {   if (&Apache::loncommon::fileembstyle($thistype) eq 'ssi') {
          $r->print(      $r->print(<<ENDDIFF);
           '<hr>'.&publish($thisfn,$thistarget,$thisembstyle));  <br />
        } else {  <a href='javascript:void(window.open("/adm/diff?filename=/~$cuname/$thisdisfn&versiontwo=priv","cat","height=300,width=500,scrollbars=1,resizable=1,menubar=0,location=1"))'>
          $r->print(  ENDDIFF
           '<hr>'.&phasetwo($thisfn,$thistarget,$thisembstyle,$thisdistarget));               $r->print(&mt('Diffs with Current Version').'</a><br />');
        }     }
     
   # ------------------ Publishing from $thisfn to $thistarget with $thisembstyle.
   
   }   unless ($ENV{'form.phase'} eq 'two') {
   $r->print('</body></html>');      my ($outstring,$error)=&publish($thisfn,$thistarget,$thisembstyle);
       $r->print('<hr />'.$outstring);
    } else {
       $r->print('<hr />'.
       &phasetwo($r,$thisfn,$thistarget,$thisembstyle,$thisdistarget)); 
    }
       }
       $r->print('</body></html>');
   
   return OK;      return OK;
 }  }
   
 1;  1;
 __END__  __END__
   
   =pod
   
   =back
   
   =back
   
   =cut
   
   

Removed from v.1.59  
changed lines
  Added in v.1.168


FreeBSD-CVSweb <freebsd-cvsweb@FreeBSD.org>