Annex 1- IntraComm transfers

1. Les outils de transfert (FR)


Il existe plusieurs mécanismes de transfert qui ont évolué en fonction des technologies et de l'architecture des serveurs du Data Center. On peut distinguer trois moyens principaux:

1.1 Outil FTP classique

Tels que WS FTP Pro, Smarterm, etc... adaptés pour :

 

1.2 Outil Staging Manager

Le programme de gestion central accessible par le navigateur IE.5 est adapté pour :

 

1.3 Procédure ou programme

Toute procédure contenant des commandes système ou programme informatique qui supporte les instructions de transfert FTP est adaptée pour une production intensive ou à intervalles réguliers (ex: actualités). Ce moyen doit pouvoir effectuer les opérations suivantes :

Une ancienne procédure instaurée dans le passé par le Data Center est toujours en exploitation pour un nombre limité de sites. Elle est appelée à disparaitre au profit de cette dernière solution.

 

2. L'outil "Staging-Manager" (FR)


2.1 Outil pour la mise à jour des sites EUROPA et IntraComm

L' outil Staging-Manager offre aux DG toutes les fonctions nécessaires pour la gestion de leurs sites sur EUROPA et IntraComm :

Il est donc destiné à l'ensemble des gestionnaires de sites EUROPA et IntraComm.

Ce programme, construit par le Data center, utilise uniquement le protocole http pour se connecter au serveur et ne fonctionne qu'avec le browser standard Commission (MS Internet Explorer 5 et supérieur) et n'est pas opérationnel avec d'autres browsers (Netscape, etc...).

Il est d'abord conçu pour déclencher les transferts en production immédiats en remplacement de l'ancienne procédure 'Jaco', mais il offre également les fonctions de transfert et de management classiques.

Bien que la plupart des améliorations demandées à l'issue de la phase-pilote aient été intégrées, le Staging-Manager ne permet pas de charger plus d'un fichier local sans sélection individuelle : cet outil est donc justifié pour un petit nombre de fichiers. Pour le transfert d'un nombre plus important de fichiers, le Staging-Manager propose de charger l'ensemble sous forme d'un fichier .zip et de le décompresser automatiquement.

Les outils FTP classiques demeurent l'alternative indiquée pour un transfert important de fichiers.

Le Staging-Manager affiche aussi la comparaison des fichiers et répertoires entre environnement staging et production, ce qui permet à chaque gestionnaire de synchroniser et assainir ses contenus.

Les permissions (read ou write) sont identiques à l'accès FTP attribué aux gestionnaires dans leur environnement 'staging' particulier : ils peuvent éditer le fichier .request.update ou .request.delete et déclencher une mise en production (MEP) s'ils disposent des droits adéquats.

Pour rappel, toute demande ou modification d'accès doit être transmise à ADMIN INTRACOMM PERMISSIONS qui en assurent l'administration.

Désormais, les MEP sont traitées en parallèle (jusque 20) pour accélérer les performances et limiter les files d'attente. La visualisation des MEPs en cours et des archives est également disponible.

La version 2.03 de l'outil Staging-Manager est accessible à l'adresse http://intracomm.staging.cc.cec.eu.int:8888 (IntraComm) ou http://doteu.staging.cc.cec.eu.int:8888 (Europa depuis la migration vers .eu)

Nous vous invitons à découvrir d'abord les fonctions de l'outil qui sont décrites dans la page d'aide. Pour éviter de fausses manoeuvres au départ, il est préférable de créer un nouveau répertoire temporaire pour y tester les différentes fonctions, pour ensuite le supprimer.

Le support de l'outil est assuré par le Data Center via le HelpDesk Central. (EC CENTRAL HELPDESK)

 

3. Spécifications techniques pour le transfert en production (FR)


Introduction

3 types d'accès sont alloués aux gestionnaires d'un site en fonction de leurs rôles:
  1. FTP: transfert/suppression de fichiers/répertoires du site sur le staging server,
  2. transfert en production à l'heure planifiée,
  3. transfert en production immédiat.

Le Webmaster de chaque DG transmet à ADMIN INTRACOMM PERMISSIONS les demandes d'accès pour les gestionnaires de tous les sites de sa DG.
Le transfert des fichiers (pages, documents, images...) depuis le serveur local vers le staging server requiert uniquement le droit FTP
Le staging server sert à vérifier les mises à jour avant le transfert en production !!!

 

Le mécanisme de transfert en production
Le transfert en production s'applique aux fichiers/répertoires du staging-server indiqués dans les fichiers .request.update ou .request.delete placés à la racine du site, pour être copiés ou supprimés sur le serveur de production.
Ce fichier en format texte contient des noms de répertoires ou fichiers terminés par un caractère de fin de ligne.
Les exemples indiqués ci-dessous s'appliquent à un transfert en production du site /intracomm/public/htdocs/home/
Le chemin des fichiers est exprimé depuis la racine du site.

 

Exemple de fichiers ou répertoires corrects
objet à transférerContenu de .request.update
page d'accueilmenu_fr.html
annonce d'une rubriquepublish/100397_fr.html
page d'accueil d'un sous-sitelife/index_fr.html
répertoire entiericn/
imageimg/banner_intracomm_fr.gif

 

Exemples de fichiers ou répertoires incorrects
type d'erreurContenu de .request.update
caractère ou espace placé devant le nom du répertoire/life/index_fr.html
*/life/index_fr.html
1) life/index_en.html
/public/htdocs/home/life/index_fr.html
http://www.cc.cec/home/life/index_fr.html
chemin d'accès incomplet ou erronélife /index_en.html (espace)
liffe/index_en.html (erreur de frappe)
life/ (/ en fin de répertoire)
life\index_fr.html ( \ au lieu de /)
fichier/répertoire inexistantTout fichier/répertoire absent du staging-serveur au début du transfert en production
commentairesignatures, messages, commentaires, etc...

 

Production planifiée ou immédiate.
Les transferts en production sont déclenchés par défaut tous les jours à 13:00 et 22:00 h.
Dans certains cas particuliers, le Webmaster peut demander la modification de cet horaire à l'équipe ADMIN INTRACOMM PERMISSIONS.
Les fichiers .request... doivent être prêts et corrects avant l'heure planifiée pour le transfert en production !
Le transfert immédiat en production est autorisé en cas d'urgence au moyen de la fonction 'save and execute' de l'outil Staging Manager.
Les transferts en production consomment des ressources et dégradent les performances des serveurs.
En cours de journée, ils sont limités à 10.000 fichiers d'une taille totale de 200 Mbytes par site.
Après 20:00 h, il n'y a plus de limite.
Attention! l'affichage (au travers du reverse-proxy) des pages transférées fraichement en production peut atteindre jusqu'à 15 minutes et retarder momentanément le résultat de l'opération !

 

Responsabilité des transferts en production

 

Noms de fichiers, suffixes et caractères interdits
Certains noms et extensions de fichiers spécifiques ne sont pas transférés en production. (voir la liste complète de ces noms)
De plus, certains caractères sont interdits car ils sont utilisés par les systèmes d'exploitation des serveurs du Data Center, (voir caractères interdits)
L'utilisation de ces caractères empêche le fonctionnement correct des programmes de gestion et de maintenance des serveurs.

 

Contrôle des transferts
Chaque transfert en production se termine par la création d'un fichier .report placé à la racine du site. Ce rapport est envoyé par e-mail aux destinataires choisis par le Webmaster de la DG.
Il est important de lire chaque rapport pour s'assurer que l'opération s'est correctement déroulée. Les dernières lignes du rapport indiquent le statut du transfert :

Les avertissements (Warnings) mentionnent généralement la non-exécution de certaines transferts. Il est important de de vérifier qu'il ne s'agit de fichiers indispensables pour la cohérence du site.

Quatre exemples concrets :

1) Transfert correct: ni erreur, ni avertissement, et nnn octets copiés.

Total bytes copied : 541955
no error.
no warning.


2) Transfert correct: mention d'un fichier non-transféré; vérifier s'il n'est pas indispensable en production.

Warning File not copied : north_korea/nav/_vti_cnf/north_korea_nav.htm
[...]
Total bytes copied : 242601
no error.
1 warning(s) during update.


3) Transfert échoué : 1 seule erreur entraine l'abandon.

Error : can not read news_corner/speech12_en.htm, file not found.
Too many errors (1). No file copied or deleted
1 error(s) during update.
no warning.


4) Transfert rejeté car la date des fichiers du staging serveur est plus ancienne que le serveur de production. Aucune erreur détectée mais 0 octet transféré.

Total bytes copied : 0
no error.
no warning.


 

Documentation et support
Les références techniques décrivant la publication sur les serveurs web de la Commission au Data Center est disponible à l'adresse http://www.cc.cec/Publishing/index.htm.
En particulier :
"Updating the Production Sites" http://www.cc.cec/Publishing/update.htm.
"Sample .request.update file" Updating the Production Sites
Une assistance technique en cas de difficultés lors des transferts est disponible auprès de l'équipe Webdesk du Data Center. Documenter le problème pour le soumettre à leur intention via le helpdesk local.

4. Access request for transfers to IntraComm


The IntraComm Team at DG ADMIN D5 is in charge of granting access rights to IntraComm servers :

Ftp-access
Makes it possible to upload files/folders from your own development/environment (local disc, shared disc or development-server at your DG) to the staging-server of IntraComm (http://www.cc.cec:8081).

Permission to make scheduled transfers
Makes it possible to place .request.update and/or .request.delete-files commands, for lists of files to be transferred from the staging to the production server, or to be deleted from the production-server.
Updates typically take place at 13h00 and at 22h00 every day.

Permission to make immediate updates
Makes it possible to place the .request.update and/or .request.delete files commands and to execute the transfer immediately (via the "save and execute" function of the staging-manager (the former "JACO" procedure).

In order to request access rights, the DG webmaster should send an application to ADMIN INTRACOMM PERMISSSIONS giving the following information (please copy + paste the following text to your mail and fill in) :

1. URL(s) for which access is asked for :
   /intracomm/public/htdocs/...

2. CUD-login(s) or token(s) Id of the person(s) who should get FTP-access to the staging-server of IntraComm:
   ...
   ...

3. CUD-login(s) or token(s) Id of the person(s) who should get the possibility of making updates on the production-server.
  ...
  ...

4. CUD-login(s) or token(s) Id of the person(s) who should get the possibility of making immediate updates on the production-server
  ...
  ...

5. Please indicate the e-mail addresses of the persons who should get the automatically generated transfer-reports:
  ...@ec.europa.eu