ROADEF'2003 : Modalités Pratiques

Jeux d'instances fournis par l'ONERA et le CNES

L'ONERA-CNES a choisi de fournir progressivement trois bases de scénarii, ceci dans le souci de donner plus de possibilités aux candidats de mieux régler leurs programmes :

  1. BASE A : base qui est disponible dès le début du challenge (les jeux d'instances sont ici).
    Elle sert à la fois aux candidats pour régler leurs algorithmes et au jury pour la sélection des candidats pour la finale.
    C'est la base de la phase de qualification.
  2. BASE B : : base qui sera fournie aux candidats finalistes afin d'affiner encore plus leurs algorithmes.
  3. BASE X : base qui sera utilisée avec la base A pour le classement final des finalistes avant le congrès ROADEF'2003.
    C'est la base de la phase finale, elle ne sera divulguée aux candidats qu'après l'annonce du classement final au congrès ROADEF'2003.

Fournitures attendues des candidats

Afin de pouvoir effectuer une sélection dans de bonnes conditions, l'ONERA-CNES demande à chacun des participants au challenge de fournir les éléments suivants :

  • une fiche descriptive de l'équipe qui a travaillé sur le projet :
    • nom(s),
    • statut(s) (étudiant, chercheur, industriel...),
    • organisme(s) d'appartenance,
    • présentation succincte (moins d'une page) de l'équipe et de ses travaux ;
  • un résumé étendu sur la ou les méthodes utilisées pour résoudre le problème posé avec les justifications et/ou les références nécessaires (en moins de six pages). Il doit de plus comporter la liste des logiciels (commerciaux ou libres) utilisés ainsi que le langage de développement choisi ;
  • un tableau de synthèse des résultats obtenus (gain) sur les diverses instances dans le temps imparti, i.e. au bout de 300 secondes de temps CPU (sur une machine comparable à la Sun-Blade-1000 décrite ci-après)nbsp;;
  • les fichiers de solutions et de résultats associés aux différentes instances proposées. Ces informations doivent étre fournies au format ASCII.
  • Le programme ayant permis de produire ces solutions, deux possibilités sont offertes :
    • soit un ensemble de fichiers sources C ou C++, fournis avec une documentation pour la compilation et le fichier makefile associé, l'ensemble devant permettre de générer sans difficulté l'exécutable sur la machine cible.
    • soit un fichier directement exécutable sur la machine cible.

Organisation de l'arborescence des dossiers candidats

Pour un participant indicé NN dans l'ordre d'arrivée, l'arborescence sera la suivante :

  • répertoire: Candidate-NN/
  • sous-répertoires :
    • Candidate-NN/Team-description/
    • Candidate-NN/Method-description/
    • Candidate-NN/Result-synthesis/
    • Candidate-NN/Instances/
    • Candidate-NN/Solutions/
    • Candidate-NN/Results/
    • Candidate-NN/Program/

L'exécutable doit pouvoir étre utilisé en ligne en tapant la commande suivante dans le répertoire Candidate-NN/Program/

  • executable-name instance-name -t cpu-time

avec :

  • instance-name :nbsp;: nom du fichier contenant les données associées à l'instance traitée
  • cpu-time :nbsp;: temps de calcul imparti en secondes, fixé à 300.

Le programme devra aller chercher le fichier d'instance de nom instance-name dans le répertoire Candidate-NN/Instances/ et écrire la solution obtenue au bout du temps cpu-time dans le répertoire Candidate-NN/Solutions/.

Le jury se réserve le droit de ne pas retenir une candidature dans les cas suivants :

  • dossier parvenu au responsable du Challenge au-delà de la date limite,
  • dossier incomplet ou erroné (informations partielles, oubli de l'un des éléments décrits ci-dessus),
  • évaluation impossible (problème persistant de compilation, d'exécution ou de formatage des solutions ou des résultats, ...).

La mise à disposition sur Internet des sources et/ou des exécutables des logiciels des candidats n'est effectué qu'avec l'accord au préalable des candidats.

Environnement informatique d'évaluation fourni par l'ONERA-CNES

Le matériel informatique sur lequel seront testés les programmes sera :

  • soit une station de travail SUN (machine de référence): Sun-Blade-1000 à 750Mhz avec 512Mo de RAM et son environnement logiciel : Unix SunOS 5.8 avec un compilateur gcc version 3.0 pour C et C++..
  • soit un PC :nbsp;: Pentium MMX à 233Mhz avec 256Mo de RAM et son environnement logiciel : Linux RedHat 7.2 (Enigma) version EDT 2001 (noyau 2.4.7-10) avec un compilateur gcc 3.0 pour C et C++.

Le jury tiendra compte de la puissance relative des deux machines.

Procédure d'évaluation et de classement

Il y a deux catégories :

  • la catégorie Senior qui regroupe globalement tous les candidats,
  • la catégorie Junior limitée aux projets dont les équipes sont majoritairement constituées d'étudiants éventuellement encadrés par leurs professeurs.

Remarque : un projet Junior peut aussi gagner le prix de la catégorie Senior s'il s'avère que le projet est le meilleur de tous de ce Challenge. En revanche, un projet Senior ne peut pas gagner le prix de la catégorie Junior.

Points importants:

  • Le programme d'évaluation de l'ONERA-CNES consistera en un shell qui, sur une instance, appellera le programme fourni par un candidat, lui laissera 300 secondes, ira récupérer la solution qui devra avoir été écrite par le programme dans le répertoire Candidate-NN/Solutions/, la vérifiera, l'évaluera et ira écrire le gain asscocié dans le répertoire Candidate-NN/Results/.
  • Pour les programmes non-déterministes, 10 exécutions par instance sont demandées afin d'obtenir une moyenne, une médiane et un écart-type.
  • Le temps de 300 secondes correspond aux contraintes opérationnelles et l'unique critère d'évaluation est le gain de la solution au bout de 300 secondes.
  • Sur les résultats de la base A, au plus 10 candidats seront retenus pour participer à la phase finale.
  • Les finalistes ne seront départagés que sur les instances des bases A et X. La base B ne sert qu'aux réglages des programmes des finalistes.

Planning

08/04/02 : début de la phase de qualification
mise en place du site WEB, avec le sujet complet ;
01/07/02 : étendue au 30 septembre 2002
fin du dépôt des candidatures,
pour vous inscrire, veuillez envoyez vos affiliations complètes par email à Van-Dat CUNG ;
18/11/02 : fin de la phase de qualification
date limite pour la fourniture des résultats obtenus sur les scénarii de la base A ;
18/12/02 : début de la phase finale repoussé au 15 janvier 2003
annonce des résultats à l'issue de la 1ère phase,
sélection des finalistes qui seront invités à présenter leurs travaux au congrès ROADEF'2003 ;
l'ONERA-CNES fournira la base B pour que les finalistes, qui le souhaitent, puissent régler leurs programmes ;
20/01/03 : repoussé au 31 janvier 2003, nouvelle date limite 3 février 2003 à minuit.
les finalistes qui le souhaitent peuvent fournir à cette date au plus tard une version améliorée de leurs programmes,
l'ONERA-CNES testera les programmes fournis sur les instances de la base X inconnue des candidats ;
26-28 février 2003 à ROADEF'2003 : fin de la phase finale
Annonce des résultats finaux sur les bases A et X.
Le gagnant dans chacune des catégories se verra attribuer un prix par l'intermédiaire de ROADEF.