insideIT.fr : le blog des architectes IT de SFEIR

Aller au contenu | Aller au menu | Aller à la recherche

dimanche 22 novembre 2009

Paris Datageeks : premier meetup.

Cette semaine s'est déroulée la première rencontre Paris Datageeks (le 19 nov). Meeting informel qui prit place à La Karambole, convivial bar à DJ du 18ème arrondissement de Paris.

Paris Datageeks a été initié par Olivier Grisel, un passionné des technologies scientifiques touchant de près ou de loin aux données, à leur interprétation et leur compréhension. Par des machines.

Constatant un intérêt pour ces technologies autour de la capitale, Olivier Grisel prit l'initiative d'organiser cette rencontre, "juste pour voir". Un verre de vin pour les uns, une bière pour les autres, c'est de manière improvisée que se sont effectués les échanges entre les participants. "Qui fait quoi?", lance l'un d'entre nous. Le tour de table débute et la quinzaine se présente. Parmi nous, étudiants, chercheurs, ingénieurs de développement, gus de garage, entrepreneurs pour un nouveau monde numérique. Ou encore simples curieux.

On y parle linguistique appliquée, système d'information géographique (GIS), algorithmique, machine learning, intelligence artificielle, web sémantique. Très en vogue, les bases de données dites "NoSQL" sont évidemment de la partie. CouchDB, MongoDB, HBase, Redis. Traitement massif des données avec Hadoop/MapReduce. Les questions et retours d'expériences de chacun agitent les neurones d'une communauté de geeks passionnés.

Ces technologies sont encore jeunes, voir expérimentales. Parmi nous, peu ont osés les mettre en production. Mais la tendance du traitement des données en masse est belle et bien présente. Les géants de l'Internet comme Google ou Amazon ont fait leurs preuves avec ces technologies.

La soirée se passe, certains ont faim, d'autres repartent. Le meetup se termine dans un restaurant espagnol où tapas, paella et Rioja font bon ménage. J'ai vite été embarqué dans une conversation passionnée sur les Conditional Random Fields, la descente stochastique de gradient et la programmation vectorielle sur GPU.

Merci à Olivier Grisel pour l'initiative. En attendant de fixer le prochain meetup Paris Datageeks, rendez-vous à l'OpenDataCamp le 12 décembre 2009, à La Cantine.

vendredi 19 décembre 2008

[Base de données] L'outil de Modélisation PowerAMC sort la v15 : le modèle architectural d'entreprise

La dernière version de PowerAMC, la version 15 (ou PowerDesigner v15), présente un nouveau modèle : le modèle architectural d'entreprise.

Le modèle Architectural permet de décrire une chaîne de tâches, décrire des rôles, décrire l'utilisation des serveurs... Il se veut avec une vision plus stratégique des outils informatiques mais vise aussi la standardisation de la description des projets.

Pour cela, ce modèle Architectural est composé de 3 niveaux de représentation :

* le niveau métier avec :
   le diagramme de cartographie (zone architecture, fonctions métiers, processus)
   le niveau organisation (les personnes, leurs rôles, les unités d'organisation)
   la communication métier
   l'urbanisation
* le niveau application avec :
   le diagramme de services
   le diagramme d'architecture d'application
* le diagramme d'infrastructure et technologie avec 
   les serveurs, les postes de travail, les réseaux, les liens périphériques, firewall, mobiles...

Isabelle Chapre

lien : http://fadace.developpez.com/poweramc/entretien/

dimanche 14 décembre 2008

[Base de données] Oracle : Le problème des verrous sur des contraintes d'intégrité

Oracle : Le problème des verrous sur des contraintes d'intégrité.

A chaque contrainte d'intégrité de type "foreignkey" (FK), Oracle préconise la création d'index. Sans cet index sur la FK, Oracle posera des verrous lors des mises à jour sur les enregistrements de la table "parent" et verrouillera toute la table "enfant" (tous les enregistrements de la table) jusqu'au prochain commit / rollback. Ce qui fera qu'un 2ieme utilisateur qui voudra accéder aux données en MAJ sur la table "enfant" sera mis en attente (verrou). Pour éviter ce fonctionnement par défaut Oracle, il est IMPERATIF de créer à chaque FK un index associé.

Pour voir la liste des contraintes, utiliser les vues du dictionnaire de données :

user_constraints, user_cons_columns, user_cons_obj_columns

cf : "Oracle Composite Indexes and Foreign Key Constraints" Doc de Andy Rivenes - AppsDBA Consulting - Copyright © 2005, AppsDBA Consulting, All Rights Reserved. The following will describe how composite indexes can be used to index foreign key constraints. In Oracle, foreign key constraints should be indexed if the parent table incurs updates or deletes. With unindexed foreign key columns, Oracle will lock the child table when an update (rare – you really shouldn't be updating a primary key) or a delete occurs on the parent table. In the case of multiple foreign keys in a child table, there are times when a composite index (e.g. multi-column) provides a better access path than two separate indexes. The following will first show what happens with indexed and unindexed foreign key columns and then will show how to implement a composite index on multiple foreign key columns.

Isabelle Chapre

jeudi 11 décembre 2008

[Base de données] L'outil de Modélisation PowerAMC sort la v15 : les nouveautés

L'outil de Modélisation PowerAMC sort la v15.

Le 19/11/2008, Sybase a présenté à Paris son nouvelle version de PowerAMC v15.

Les nouveautés de la V15 concernent :

  • une modélisation architecturale d'entreprise
    • avec 7 nouveaux diagrammes
    • et plus de 30 nouveaux objets dans le méta-modèle
  • un nouveau diagramme "l'analyse d'impact" (ou "link and synch") pour identifier les impacts des modifications sur les modèles
  • la notification des changements
  • la possibilité d'importer/exporter des modèles qui ont été fait sous Visio ou importer des documents word ou des documents excel
  • une interface web pour partager le référentiel

Isabelle Chapre

samedi 6 décembre 2008

[Base de données] Le métier de DBA Etudes : quelles sont ses tâches ? sa méthodologie ?

Le métier de DBA Etudes comprend différentes tâches et il doit fournir un certain nombre de livrables suite à son travail. C'est lui qui assure la cohérence entre les différents modèles de données. Voici ces tâches :

- MCD (Modèle Conceptuel des Données)
  - conception
  - validation

Pour cela, le DBA Etudes a besoin du Dossier de Spécifications Générales finalisé par le(s) consultant(s) fonctionnel(s)

- MPD (Modèle Physique des Données) brut
- MPD (Modèle Physique des Données) optimisé
  - index (primaire, secondaire)
  - structure des tables
  - cascade(s) - suppression
  - restriction(s) - intégrité référentielle
  - redondance d'informations
- Scripts de création des tables
- Support aux corrections/adaptations fonctionnelles en cours de développement
  - assistance MCD/MPD
  - installation/intégration
- Support aux phases de Développement/TI/Recette
  - assistance directe aux requêtes complexes
  - vérification des performances
- Installation noyau SGBD (optionnel)
- Installation base
  - création (createdb)
  - création des users
  - dimensionnement des tablespaces
  - éxécution des scripts de création de la base et gestion des droits, des synonymes, des séquences …"
- Formation SQL appliquée au projet
  - Spécificités SGBD : partionning, spécificités sur les grosses tables
  - Notion de transaction
  - Triggers/Procedures stockées
  - Atouts et faiblesses du modèle

Isabelle Chapre

jeudi 23 octobre 2008

[Base de données] Différence entre les métiers "DBA Production" et "DBA Etudes"

Database Administrator DBA n'est pas qu'un seul métier. Il comprend diverses facettes. Le DBA peut avoir le métier de : DBA de production ou DBA Etudes ; ils ne font pas du tout la même chose.

Le métier de DBA Production concerne :

  • les sauvegardes / restauration
  • le tunning noyau
  • les paramétrages du noyau de la base de données, en lien avec les machines et leurs systèmes d'exploitation
  • les DBA production peuvent intervenir 24h sur 24h et donc on un accès à leur domicile pour intervenir le soir et les week-end (via tétracall par exemple..)
  • changement de version du noyau

Le métier de DBA Etudes concerne les phases Etudes et Développement d'un projet :

  • la partie MCD jusqu'à la partie MPD
  • la normalisation d'un modèle de données avec sa dé-normalisation
  • le tunning requêtes : les problématiques de temps de réponse sur les requêtes (outils explain / tkprof)
  • le positionnement index au bon endroit
  • les problèmes de volumétrie (partitionning, index ..)

Isabelle Chapre

lundi 11 février 2008

[Base de données] [TechDays 2008 - J1] Conférence LinqToSql du 11/02/2008 par Mitsuru Futura

Conférence LinqToSql présentée aux techdays du 11/02/2008 de microsoft par Mitsuru Futura (microsoft) :

Il ressort de cette présentation technique de LinqToSql, ressort que Microsoft voudrait devenir un standard pour les bases de données avec LinqToSql.

Ce nouveau language n'est pas encore au point et surtout, ne fait que des relations 1 pour 1 entre les entités.

Tant que ce problème ne sera pas résolu, il sera impossible d'utiliser LinqToSql.

les mots clefs de la conference :

  • mapping de sql dynamic
  • générateur de code associé
  • modèle tjrs compilé (vérifie les erreurs)
  • peu de classes
  • on est tjrs en relation 1 * 1 , i.e. 1 entité = 1 table en Linq To Sql
  • ne supporte que les BDD Sql Serveur (2005, 2000 et Compact)
  • pour les autres BDD, attendre les versions futures de LinqToEntities

exemple de manipulation d'une requête : var q4 =

 (from C in db.customers
  select c).skip(5).take(5);

masterDataGridView.DataSource = q4.ToList();

Isabelle Chapre