Annex 1- IntraComm transfers
Content
1. Les outils de transfert (FR)
Il existe plusieurs mécanismes de transfert qui ont évolué en fonction des technologies et de l'architecture des serveurs du Data Center. On peut distinguer trois moyens principaux:
1.1 Outil FTP classique
Tels que WS FTP Pro, Smarterm, etc... adaptés pour :
- un grand nombre de fichiers/librairies,
- une sélection importante,
- pas de production immédiate.
1.2 Outil Staging Manager
Le programme de gestion central accessible par le navigateur IE.5 est adapté pour :
- un nombre limité de fichiers/librairies ou un fichier compressé (format .zip),
- la création automatique du fichier .request...,
- déclencher la production immédiate. (exit procédure JACO fin mars 2003)
1.3 Procédure ou programme
Toute procédure contenant des commandes système ou programme informatique qui supporte les instructions de transfert FTP est adaptée pour une production intensive ou à intervalles réguliers (ex: actualités). Ce moyen doit pouvoir effectuer les opérations suivantes :
- la sélection et le transfert FTP des fichiers,
- la création et le transfert du fichier .request.update,
- [ la commande http: URL, login, password en cas de production immédiate ]
Une ancienne procédure instaurée dans le passé par le Data Center est toujours en exploitation pour un nombre limité de sites. Elle est appelée à disparaitre au profit de cette dernière solution.
2. L'outil "Staging-Manager" (FR)
2.1 Outil pour la mise à jour des sites EUROPA et IntraComm
L' outil Staging-Manager offre aux DG toutes les fonctions nécessaires pour la gestion de leurs sites sur EUROPA et IntraComm :
- transfert des fichiers vers l'environnement de staging,
- vérification,
- planification,
- déclenchement des mises à jour,
- suivi des mises à jour vers l'environnement de production,
- synchronisation des sites staging et production.
Il est donc destiné à l'ensemble des gestionnaires de sites EUROPA et IntraComm.
Ce programme, construit par le Data center, utilise uniquement le protocole http pour se connecter au serveur et ne fonctionne qu'avec le browser standard Commission (MS Internet Explorer 5 et supérieur) et n'est pas opérationnel avec d'autres browsers (Netscape, etc...).
Il est d'abord conçu pour déclencher les transferts en production immédiats en remplacement de l'ancienne procédure 'Jaco', mais il offre également les fonctions de transfert et de management classiques.
Bien que la plupart des améliorations demandées à l'issue de la phase-pilote aient été intégrées, le Staging-Manager ne permet pas de charger plus d'un fichier local sans sélection individuelle : cet outil est donc justifié pour un petit nombre de fichiers. Pour le transfert d'un nombre plus important de fichiers, le Staging-Manager propose de charger l'ensemble sous forme d'un fichier .zip et de le décompresser automatiquement.
Les outils FTP classiques demeurent l'alternative indiquée pour un transfert important de fichiers.
Le Staging-Manager affiche aussi la comparaison des fichiers et répertoires entre environnement staging et production, ce qui permet à chaque gestionnaire de synchroniser et assainir ses contenus.
Les permissions (read ou write) sont identiques à l'accès FTP attribué aux gestionnaires dans leur environnement 'staging' particulier : ils peuvent éditer le fichier .request.update ou .request.delete et déclencher une mise en production (MEP) s'ils disposent des droits adéquats.
Pour rappel, toute demande ou modification d'accès doit être transmise à ADMIN INTRACOMM PERMISSIONS qui en assurent l'administration.
Désormais, les MEP sont traitées en parallèle (jusque 20) pour accélérer les performances et limiter les files d'attente. La visualisation des MEPs en cours et des archives est également disponible.
La version 2.03 de l'outil Staging-Manager est accessible à l'adresse http://intracomm.staging.cc.cec.eu.int:8888 (IntraComm) ou http://doteu.staging.cc.cec.eu.int:8888 (Europa depuis la migration vers .eu)
Nous vous invitons à découvrir d'abord les fonctions de l'outil qui sont décrites dans la page d'aide. Pour éviter de fausses manoeuvres au départ, il est préférable de créer un nouveau répertoire temporaire pour y tester les différentes fonctions, pour ensuite le supprimer.
Le support de l'outil est assuré par le Data Center via le HelpDesk Central. (EC CENTRAL HELPDESK)
3. Spécifications techniques pour le transfert en production (FR)
Introduction
3 types d'accès sont alloués aux gestionnaires d'un site en fonction de leurs rôles:
- FTP: transfert/suppression de fichiers/répertoires du site sur le staging server,
- transfert en production à l'heure planifiée,
- transfert en production immédiat.
Le Webmaster de chaque DG transmet à ADMIN INTRACOMM PERMISSIONS les demandes d'accès pour les gestionnaires de tous les sites de sa DG.
Le transfert des fichiers (pages, documents, images...) depuis le serveur local vers le staging server requiert uniquement le droit FTP
Le staging server sert à vérifier les mises à jour avant le transfert en production !!!
Le mécanisme de transfert en production
Le transfert en production s'applique aux fichiers/répertoires du staging-server indiqués dans les fichiers .request.update ou .request.delete placés à la racine du site, pour être copiés ou supprimés sur le serveur de production.
Ce fichier en format texte contient des noms de répertoires ou fichiers terminés par un caractère de fin de ligne.
Les exemples indiqués ci-dessous s'appliquent à un transfert en production du site /intracomm/public/htdocs/home/
Le chemin des fichiers est exprimé depuis la racine du site.
Exemple de fichiers ou répertoires corrects
| objet à transférer | Contenu de .request.update |
| page d'accueil | menu_fr.html |
| annonce d'une rubrique | publish/100397_fr.html |
| page d'accueil d'un sous-site | life/index_fr.html |
| répertoire entier | icn/ |
| image | img/banner_intracomm_fr.gif |
Exemples de fichiers ou répertoires incorrects
| type d'erreur | Contenu de .request.update |
| caractère ou espace placé devant le nom du répertoire | /life/index_fr.html */life/index_fr.html 1) life/index_en.html /public/htdocs/home/life/index_fr.html http://www.cc.cec/home/life/index_fr.html |
| chemin d'accès incomplet ou erroné | life /index_en.html (espace) liffe/index_en.html (erreur de frappe) life/ (/ en fin de répertoire) life\index_fr.html ( \ au lieu de /) |
| fichier/répertoire inexistant | Tout fichier/répertoire absent du staging-serveur au début du transfert en production |
| commentaire | signatures, messages, commentaires, etc... |
Production planifiée ou immédiate.
Les transferts en production sont déclenchés par défaut tous les jours à 13:00 et 22:00 h.
Dans certains cas particuliers, le Webmaster peut demander la modification de cet horaire à l'équipe ADMIN INTRACOMM PERMISSIONS.
Les fichiers .request... doivent être prêts et corrects avant l'heure planifiée pour le transfert en production !
Le transfert immédiat en production est autorisé en cas d'urgence au moyen de la fonction 'save and execute' de l'outil Staging Manager.
Les transferts en production consomment des ressources et dégradent les performances des serveurs.
En cours de journée, ils sont limités à 10.000 fichiers d'une taille totale de 200 Mbytes par site.
Après 20:00 h, il n'y a plus de limite.
Attention! l'affichage (au travers du reverse-proxy) des pages transférées fraichement en production peut atteindre jusqu'à 15 minutes et retarder momentanément le résultat de l'opération !
Responsabilité des transferts en production
- Les gestionnaires autorisés à transférer en production se sont engagés à respecter :
- le contrôle des pages au niveau du staging-serveur avant le transfert vers le serveur de production
- La règle 10 de l'IPG propose une liste assez complète des divers points à contrôler,
- le contrôle du transfert correct dès réception du rapport de production avec le cas échéant, rectification des erreurs pour un transfert correct,
- la limitation des transferts immédiats aux cas d'urgence et pour un nombre limité de fichiers. En cas d'abus, le D.C. informera l'équipe EUROPA,
- la synchronisation entre le contenu des sites staging et production, désormais possible au moyen de l'outil Staging Manager.
Noms de fichiers, suffixes et caractères interdits
Certains noms et extensions de fichiers spécifiques ne sont pas transférés en production. (voir la liste complète de ces noms)
De plus, certains caractères sont interdits car ils sont utilisés par les systèmes d'exploitation des serveurs du Data Center, (voir caractères interdits)
L'utilisation de ces caractères empêche le fonctionnement correct des programmes de gestion et de maintenance des serveurs.
Contrôle des transferts
Chaque transfert en production se termine par la création d'un fichier .report placé à la racine du site. Ce rapport est envoyé par e-mail aux destinataires choisis par le Webmaster de la DG.
Il est important de lire chaque rapport pour s'assurer que l'opération s'est correctement déroulée. Les dernières lignes du rapport indiquent le statut du transfert :
- "Errors" : le transfert a complètement échoué,
- "Warnings" : vérifier les détails et corriger si nécessaire,
- nnn bytes : taille des fichiers transférés.
Les avertissements (Warnings) mentionnent généralement la non-exécution de certaines transferts. Il est important de de vérifier qu'il ne s'agit de fichiers indispensables pour la cohérence du site.
Quatre exemples concrets :
1) Transfert correct: ni erreur, ni avertissement, et nnn octets copiés.
Total bytes copied : 541955
no error.
no warning.
2) Transfert correct: mention d'un fichier non-transféré; vérifier s'il n'est pas indispensable en production.
Warning File not copied : north_korea/nav/_vti_cnf/north_korea_nav.htm
[...]
Total bytes copied : 242601
no error.
1 warning(s) during update.
3) Transfert échoué : 1 seule erreur entraine l'abandon.
Error : can not read news_corner/speech12_en.htm, file not found.
Too many errors (1). No file copied or deleted
1 error(s) during update.
no warning.
4) Transfert rejeté car la date des fichiers du staging serveur est plus ancienne que le serveur de production. Aucune erreur détectée mais 0 octet transféré.
Total bytes copied : 0
no error.
no warning.
Documentation et support
Les références techniques décrivant la publication sur les serveurs web de la Commission au Data Center est disponible à l'adresse http://www.cc.cec/Publishing/index.htm.
En particulier :
"Updating the Production Sites" http://www.cc.cec/Publishing/update.htm.
"Sample .request.update file" Updating the Production Sites
Une assistance technique en cas de difficultés lors des transferts est disponible auprès de l'équipe Webdesk du Data Center. Documenter le problème pour le soumettre à leur intention via le helpdesk local.
4. Access request for transfers to IntraComm
The IntraComm Team at DG ADMIN D5 is in charge of granting access rights to IntraComm servers :
Ftp-access
Makes it possible to upload files/folders from your own development/environment (local disc, shared disc or development-server at your DG) to the staging-server of IntraComm (http://www.cc.cec:8081).
Permission to make scheduled transfers
Makes it possible to place .request.update and/or .request.delete-files commands, for lists of files to be transferred from the staging to the production server, or to be deleted from the production-server.
Updates typically take place at 13h00 and at 22h00 every day.
Permission to make immediate updates
Makes it possible to place the .request.update and/or .request.delete files commands and to execute the transfer immediately (via the "save and execute" function of the staging-manager (the former "JACO" procedure).
In order to request access rights, the DG webmaster should send an application to ADMIN INTRACOMM PERMISSSIONS giving the following information (please copy + paste the following text to your mail and fill in) :
1. URL(s) for which access is asked for :
/intracomm/public/htdocs/...
2. CUD-login(s) or token(s) Id of the person(s) who should get FTP-access to the staging-server of IntraComm:
...
...
3. CUD-login(s) or token(s) Id of the person(s) who should get the possibility of making updates on the production-server.
...
...
4. CUD-login(s) or token(s) Id of the person(s) who should get the possibility of making immediate updates on the production-server
...
...
5. Please indicate the e-mail addresses of the persons who should get the automatically generated transfer-reports:
...@ec.europa.eu
