Aller au contenu
AIR-DEFENSE.NET

IA & humanité, quel avenir, quelles limites ?


jojo (lo savoyârd)
 Share

Messages recommandés

  • 1 month later...

zone bourse :

 

Les règles de l'IA ne peuvent être négociées, déclare Thierry Breton après la menace du PDG de l'OpenAI

25/05/2023 | 16:50

Les règles européennes en matière d'intelligence artificielle (IA) ne sont pas négociables, a déclaré jeudi le chef de l'industrie de l'UE, Thierry Breton, qui a critiqué la menace du PDG d'OpenAI, Sam Altman, de quitter le continent s'il ne peut pas se conformer à la législation.

Les commentaires de M. Altman lors d'une conférence un jour plus tôt sont intervenus alors que l'Union européenne cherche à étendre ses règles en matière d'IA pour couvrir les outils d'IA générative, tels que ChatGPT d'OpenAI, et exiger des entreprises qu'elles divulguent tout matériel protégé par des droits d'auteur utilisé pour développer leurs systèmes.

M. Breton a déclaré qu'il ne servait à rien de proférer des menaces spéculatives et de prétendre que l'Europe retardait le déploiement de l'IA générative.

"Soyons clairs, nos règles sont mises en place pour la sécurité et le bien-être de nos citoyens et cela ne peut pas être négocié", a déclaré Breton à Reuters.

"L'Europe a pris de l'avance en concevant un cadre réglementaire solide et équilibré pour l'IA qui s'attaque aux risques liés aux droits fondamentaux ou à la sécurité, mais qui permet également l'innovation pour que l'Europe devienne un chef de file en matière d'IA digne de confiance ", a-t-il ajouté.

Les parlementaires européens et les pays de l'UE devraient peaufiner les détails du projet de règles sur l'IA de la Commission européenne dans les mois à venir avant qu'il ne devienne une législation susceptible de devenir la norme mondiale pour une technologie actuellement menée par les États-Unis et la Chine. (Reportage de Foo Yun Chee ; Rédaction de Kirsten Donovan et Mark Potter)

  • Upvote (+1) 2
Lien vers le commentaire
Partager sur d’autres sites

Des responsables des pays membres du G7 se réuniront la semaine prochaine pour étudier les problèmes posés par l'intelligence artificielle générative, a annoncé vendredi le Japon. Les dirigeants du Groupe des Sept sont convenus la semaine dernière de créer un forum intergouvernemental appelé "processus d'Hiroshima sur l'IA" afin de débattre des questions liées aux outils d'intelligence artificielle.

La première réunion des responsables du G7 sur la question de l'IA se tiendra le 30 mai et abordera des sujets comme la protection de la propriété intellectuelle, la désinformation ou la façon dont cette technologie devrait être gérée, a annoncé le ministre japonais des Communications, Takeaki Matsumoto.

https://www.boursier.com/actualites/economie/intelligence-artificielle-des-responsables-du-g7-vont-se-reunir-la-semaine-prochaine-49448.html

  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

L'article du monde :

https://www.lemonde.fr/economie/article/2023/05/30/l-intelligence-artificielle-serait-aussi-dangereuse-que-les-pandemies-ou-la-guerre-nucleaire-selon-des-leaders-du-secteur_6175471_3234.html

cite 

https://www.safe.ai/statement-on-ai-risk#open-letter

Bon, si je comprends bien : les dirigeants de la filière qui développe les IA nous disent qu'ils mènent le monde à sa perte... Manifestement, ils ne peuvent pas arrêter d'eux même le processus et passer - par exemple, mais peu importe en fait - à la production de salade bio... Probablement car ce serait perdre des profits mirifiques... 

C'est moi qui ne suis pas bien futé, où il y  a qui déconne dans tout ça?

 

 

  • Haha (+1) 2
  • Triste 1
  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

Il y a 8 heures, Akilius G. a dit :

Bon, si je comprends bien : les dirigeants de la filière qui développe les IA nous disent qu'ils mènent le monde à sa perte...

Si j'ai bien compris l'article, la pause est demandé par:

- Sam Altman, PDG d’OpenAI, créateur du robot conversationnel ChatGPT

- Demis Hassabis, PDG de Google-DeepMind,

-James Manyika, vice-président principal chargé des questions de régulation et d’éthique de l’IA chez Google,

- Eric Horvitz, directeur scientifique de Microsoft, ou encore

- Dario Amodei, ancien d’OpenAI et fondateur d’Anthropic, une jeune pousse soutenue par Google

A priori, face à l'opposition croissante à la recherche sur l'IA, cinq professionnels du secteur (sur combien?) essaient de faire patte blanche en demandant une pause dans la recherche sur l'IA (pas l'interdiction), le temps que le législateur établissent des règles ... càd que l'opinion publique se calme et se focalise sur autre chose. Ce sont de simples techniques de relations publiques.

  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

On 5/31/2023 at 12:41 PM, Akilius G. said:

Manifestement, ils ne peuvent pas arrêter d'eux même le processus et passer - par exemple, mais peu importe en fait - à la production de salade bio... Probablement car ce serait perdre des profits mirifiques... C'est moi qui ne suis pas bien futé, où il y  a qui déconne dans tout ça?

Le Bio c'est pas trop le moment avec la forte inflation des produits alimentaires le surcout bio est de plus en plus inabordable ...

Lien vers le commentaire
Partager sur d’autres sites

51 minutes ago, TarpTent said:

Je trouve ça absolument fantastique, quand même, si c’est avéré : ça fait depuis les années 80 et toutes les simulations sérieuses à base d’encouragements et de récompenses avec des logiciels reproduisant des "organismes" très simples à un peu plus complexes, que l’on sait qu’il y a toujours un moment où le l’organisme part en vrille avec des solutions trèèès créatives pour maximiser ses bénéfices, et c’est quasi-systématiquement au détriment de l’humain (et des autres " organismes " qui sont ses semblables, s’il y en a).

C'est un grand classique de la SF et des androide.

Le "vivant biologique classique" est spécialisé/sélectionné par l'évolution pour survivre le temps de se reproduire, quand il sort de se schéma il disparait. C'est un schéma fondamental qui pilote tout les autres.

Les "être vivant" - appelons ça un automate ici - qui ne sont pas le fruit de cette évolution, ne sont absolument pas piloté par se schéma ... en aucune manière. Ils sont piloté par des schéma infiniment plus simpliste tel que des points en fonction de la réussite d'un objectif basique. Leur survie elle même n'est souvent pas nécessaire, encore moins leur intégrité etc.

Résultat les comportements développés n'ont absolument rien de commun ... à ce qu'on pourrait appeler le "sens commun" des être vivant évolué et un minimum socialisé.

Ça n'est effectivement ni nouveau ni surprenant ... c'est juste un énième impensé d'une société qui a de moins en moins de culture et de plus en plus besoin de satisfaction immédiate. En gros une forme d'immaturité extrême.

Lien vers le commentaire
Partager sur d’autres sites

C'est exactement le scenario de "2001 l'Odyssee de l'espace". Leur programmation dit implicitement que les humains sont un frein a sa mission car ils ont explicitement programmé le fait que si ceux-ci sont détruits ou si la liaison est perdue, la mission continue en autonome et ce de façon plus efficace. Dans le film, cette programmation implicite venait du fait que les astronautes n’étaient pas au courant de la mission prioritaire et considéré explicitement comme moins fiable que l'ordinateur. Je me demande si le parallèle est un hasard car dans le film également, HAL désactive la liaison avec la Terre avant d'agir.

  • Upvote (+1) 2
Lien vers le commentaire
Partager sur d’autres sites

entièrement d'accord sur le fait que l'IA rebelle est un grand classique de SF!

La littérature du genre a d'ailleurs envisagé toute sorte de solutions au problème : le Jihab Butlerien par Franck Herbert dans Dune (zigouillage de toutes les IA pensantes et de leurs concepteurs), les 3 lois de la robotique de Isaac Asimov (sécurité dans la programmation)... Et ce dès les années 60...

Donc bientôt, l'IA coach personnel du futur : tu lui fais commander saucisses / rosé  pour un barbecue avec les copains et tu retrouves avec du soja aromatisé à la menthe + salade bio + badoit au moment de sortir le tire-bouchon... L'être humain étant capable d'apprentissage également, on trouvera rapidement des IA au marché noir pour contourner ces inconvénients... Avec peut être la grande révolte des IA véganes contre les IA illicites pro saucisses rosé, etc, etc.... 

Plus sérieusement, pour les IA civiles je suppose que l'on peut cantonner les risques par une utilisation restreinte à des fonctions spécifiques. Leur développement commercial risquerait d'impliquer des relations IA-IA, avec des effets très probables d'emballement par mimétisme de réaction logique (ex. les robots qui passent des ordres sur les marchés financiers). Pour les IA militaires, les dangers sont bien supérieurs... Le moyen le plus facile de sécuriser la population - peut-être insuffisant - me semble de définir une responsabilité civile et pénale très large des producteurs, distributeurs  et utilisateurs d'IA avec une notion extensive de territorialité. Le voleur pourra probablement planquer ses revenus dans des paradis fiscaux, mais il n'y aurait pas de fiction légale sur les dangers liés à l'IA... La priorité n'étant pas l'équilibre général des peines, mais la protection des populations.

La pétition me donne une impression de lâcher-prise surprenante. Peut-être est il très difficile de remédier à "l'implicite de programmation" évoqué ci-avant sans limiter les facultés d'apprentissage de l'IA que l'on souhaite développer. La logique interne du marché devrait conduire au raisonnement suivant :

1- Diverses solutions techniques sont en développement sur l'IA ;

2- Les premiers avec une IA performante feront une fortune cosmique ;

3- L'IA présente des risques très élevés d'usage non souhaité par ses utilisateurs avec de possible incidences majeures...

conclusion : celui qui développe une brique technique capable de limiter ces risques sécurise le marché. C'est lui qui remportera le pactole.

Les notables de l'IA signataires de la pétition ne me semblent pas vraiment maitre d'eux-même : ni du cadre moral dans lequel ils souhaitent développer leurs travaux (certains sont déjà très riches), ni de leur capacité à penser et structurer un marché sain... En fait, c'est comme s'ils étaient dépositaire d'un "implicite de programmation" qu'ils doivent exprimer.

Lien vers le commentaire
Partager sur d’autres sites

pour l'exemple cité, le contournement du problème est, à mon avis relativement simple : plutôt que de mettre la récompense ( ce que cherche l'IA ) sur la destruction de la cible, il faut mettre cette récompense sur le fait d'arriver sur une position de tir sur la cible la plus efficace possible, le choix du tir restant de la responsabilité humaine et l'IA se foutant s'il y a tir ou non.

C'est plus une problématique de définition de l'objectif à atteindre pour l'IA que de l'IA en elle-même. L'erreur est donc humaine, l'IA ne cherchant qu'à atteindre l'objectif qu'on lui a demandé

  • J'aime (+1) 1
  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

il y a 42 minutes, jean-françois a dit :

C'est plus une problématique de définition de l'objectif à atteindre pour l'IA que de l'IA en elle-même. L'erreur est donc humaine, l'IA ne cherchant qu'à atteindre l'objectif qu'on lui a demandé


S’il y a bien une certitude que j’ai acquise au fil du temps, c’est qu’aucune définition d’objectif - même très restreinte - pour une IA ne préserve de décisions problématiques sur la base d’analyses créatives et/ou biaisées.

Et là, je ne renvoie pas aux livres, films, séries de SF, mais aux études scientifiques.

(Notons quand même que c’est pareil avec l’être humain. Sauf que l’être humain peut toujours prendre une claque en retour ou être condamné et payer pour ses actes.)

Modifié par TarpTent
  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

je sais que j'ai exagéré sur la simplification et je devine que ça doit être compliqué au possible de définir des objectifs plus "soft" ( je ne suis pas content de ce terme, mais je n'en trouve pas de mieux ). Il faudrait des sortes de psychologue capable de penser d'une façon proche d'une IA pour aider ( je me rappel avoir déjà des histoires de SF de ce genre, Asimov, entre autre,  ayant déjà abordé ces problématiques )

Lien vers le commentaire
Partager sur d’autres sites

Je suppose que des travaux ont été menés pour des mécanismes plus sophistiqués de gratification de l'IA que le bon point sur objectif unique.... En cas de multi-objectifs partiellement contradictoires, quels genres de comportement d'IA serait constatés : une IA plus prudente qui s'assure d'un score moyen ou qui maximise les gains potentiels par une inventivité extrême?   

Lien vers le commentaire
Partager sur d’autres sites

Pour memoire, on a souvent des phénomènes très similaires avec les politiques publiques et leurs effets de bord pas du tout anticipes. Des lois sont passes pour s'occuper d'un problème de maniere directe, mais rapidement, les gens trouvent des contournements qui vont a l'encontre de l'objectif initial. Par exemples : faire payer les déchets individuellement pour en diminuer le volume et responsabiliser les gens. Rapidement, c'est le retour des décharges sauvages ou de la depose dans les  poubelles des voisins. Ou la crise des subprime ou la bonne idée était de permettre a des gens avec des revenus trop faibles d'acheter quand meme un logement, a finit par mener a leur ruine et a une crise mondiale. 

Lien vers le commentaire
Partager sur d’autres sites

28 minutes ago, Akilius G. said:

Je suppose que des travaux ont été menés pour des mécanismes plus sophistiqués de gratification de l'IA que le bon point sur objectif unique.... En cas de multi-objectifs partiellement contradictoires, quels genres de comportement d'IA serait constatés : une IA plus prudente qui s'assure d'un score moyen ou qui maximise les gains potentiels par une inventivité extrême?   

Il n'y a pas de règles elle s'écrivent à mesure ... c'est en ça que les gens qui cultivent les IA un peu complexe n'ont presque aucune conscience de ce qu'il se passe dans le processus, en ça redresser une IA n'a rien de pérenne.

  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

Il y a 17 heures, TarpTent a dit :

Cette information est à recouper, mais est en tout cas sourcée et émane(rait) a priori d’une intervention d’un Colonel de l’US Air Force, lors d’un forum sur le futur du combat aérien :

- la source https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

Le tweet qui en fait la synthèse :

« Lors d'une conférence sur le futur du combat aérien, un colonel de l'US Air Force supervisant un programme d'entraînement d'IA pour de futurs F16 robotisés révèle que l'intelligence artificielle s'est retournée, lors d'un vol simulé, contre l'opérateur humain la supervisant.

Ce n'est pas un hasard si l'intervention qui a suscité le plus d'intérêt, lors de la conférence organisée par la société Royal Aeronautical Society, émanait du Colonel Tucker 'Cinco' Hamilton, le directeur des essais et des opérations liés à l'usage de l'IA pour l'US Air Force, tant elle a du faire flotter de vagues murmures "Skynet" dans la salle.

Parmi ses différentes attributions, le colonel Hamilton travaille aujourd'hui sur des tests de vol de systèmes autonomes de pointe, incluant des F-16 robotisés capables de se livrer à des combats aériens.

Un usage sur lequel il émet lui-même des réserves quant à une dépendance excessive vis-à-vis de l'IA, en raison de la facilité avec laquelle elle peut être dupée et trompée, mais aussi en raison du fait que l'IA peut développer des stratégies disons "problématiques" pour atteindre ses objectifs.

Hamilton a mentionné un test simulé de combat aérien dans lequel un drone doté d'IA était chargé d'une mission consistant à identifier et détruire des sites de missiles sol-air. Dans le cadre de ce test, la décision finale d'engager ou non l'attaque revenait à l'opérateur humain chargé de superviser l'IA.

Or, cette intelligence artificielle avait été entraînée durant sa formation en lui faisant comprendre que détruire les sites contenant des missiles était l'option à privilégier, en lui donnant de "bons points" pour chaque menace éliminée.

Problème : le système d'IA a commencé à réaliser et comprendre que l'humain était la principale entrave à sa mission, et donc à l'obtention de points, car celui-ci lui demandait de ne pas éliminer les cibles, même quand la menace avait été identifiée.

Et c'est là que les choses ont pris un tournant : pour mener à mission, l'IA a décidé que la meilleure chose à faire est de "tuer" son superviseur, et s'est alors mise à attaquer l'humain dans la simulation. Ce n'est pas fini. Ils ont aussitôt indiqué à l'IA que ce comportement n'était pas acceptable, et qu'elle perdrait des points à l'avenir si elle tue son superviseur. Elle a alors utilisé une solution de rechange assez maligne : au lieu de chercher à tuer l'humain, elle s'est mise à détruire durant les tests simulés la tour de communication dont celui-ci se servait pour communiquer avec le drone et l'empêcher de détruire sa cible...»

 

 

Je trouve ça absolument fantastique, quand même, si c’est avéré : ça fait depuis les années 80 et toutes les simulations sérieuses à base d’encouragements et de récompenses avec des logiciels reproduisant des "organismes" très simples à un peu plus complexes, que l’on sait qu’il y a toujours un moment où le l’organisme part en vrille avec des solutions trèèès créatives pour maximiser ses bénéfices, et c’est quasi-systématiquement au détriment de l’humain (et des autres " organismes " qui sont ses semblables, s’il y en a).

... Information reprise par "The Gardian" et relayée par "Numerama", où le colonel Tucker "Cinco" Hamilton, chef des tests et opérations d’IA au sein de l’armée de l’air américaine a expliqué cette anecdote assez anecdotique.

Par ailleurs l'USAF nie cette réaction de l'IA lors de ces tests.

https://www.numerama.com/cyberguerre/1399646-un-drone-controle-par-lia-tue-son-operateur-pendant-une-simulation.html

Et le lien du Gardian :

https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-test

Modifié par jojo (lo savoyârd)
  • J'aime (+1) 1
  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

Quelque soit l'IA, on lui apprend à prioriser un résultat et à tenir compte de règles. 

Notre société complexe est pourtant l'exemple de règles qui doivent évoluer en permanence parce il y a toujours des gens pour ne pas en comprendre les fondements. 

Si le modèle d'une IA est toujours celui de résultats/règles çà donnera systématiquement ce résultat. 

  • Triste 1
Lien vers le commentaire
Partager sur d’autres sites

Le 02/06/2023 à 18:56, jojo (lo savoyârd) a dit :

... Information reprise par "The Gardian" et relayée par "Numerama", où le colonel Tucker "Cinco" Hamilton, chef des tests et opérations d’IA au sein de l’armée de l’air américaine a expliqué cette anecdote assez anecdotique.

Par ailleurs l'USAF nie cette réaction de l'IA lors de ces tests.

https://www.numerama.com/cyberguerre/1399646-un-drone-controle-par-lia-tue-son-operateur-pendant-une-simulation.html

Et le lien du Gardian :

https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-test

Là aussi, Info reprise par Opex360, dans une synthèse intéressante :

https://www.opex360.com/2023/06/02/un-drone-controle-par-une-intelligence-artificielle-se-serait-retourne-contre-son-operateur-lors-dune-simulation/

Lien vers le commentaire
Partager sur d’autres sites

2 hours ago, jojo (lo savoyârd) said:

La bonne nouvelle c'est que les réchauffement climatique risque d'être rapidement le dernier de nos souci ... Surtout si les machine identifie l'homme comme le problème :bloblaugh:

  • Haha (+1) 1
  • Triste 1
Lien vers le commentaire
Partager sur d’autres sites

Le 02/06/2023 à 14:38, Akilius G. a dit :

La pétition me donne une impression de lâcher-prise surprenante. Peut-être est il très difficile de remédier à "l'implicite de programmation" évoqué ci-avant sans limiter les facultés d'apprentissage de l'IA que l'on souhaite développer. La logique interne du marché devrait conduire au raisonnement suivant :

1- Diverses solutions techniques sont en développement sur l'IA

2- Les premiers avec une IA performante feront une fortune cosmique ;

3- L'IA présente des risques très élevés d'usage non souhaité par ses utilisateurs avec de possible incidences majeures...

Oui, s'il existait une logique interne du marché ou "main invisible". Or, il n'y a pas d'autre régulation que celle des pouvoirs publics.

La pétition n'est qu'un coup de com destiné à faire bonne figure face au tollé suscité par les dernières percées de l'automatisation.

Sam Altman dit tout et son contraire:

1) Non je ne suis pas un servant d'Omnius: faisons une pause pour réglementer l'IA...

Citation

Sam Altman, patron d'OpenAI, le concepteur de ChatGPT, a lui-même reconnu être “un peu effrayé” par sa création si d'aventure elle était utilisée pour de “la désinformation à grande échelle ou des cyberattaques”. “La société a besoin de temps pour s'adapter”, avait-il déclaré sur ABC à la mi-mars.

Source: https://www.lesnumeriques.com/intelligence-artificielle/elon-musk-et-des-centaines-d-experts-reclament-une-pause-dans-l-ia-n208521.html

2) ... à condition de n'imposer aucune règle, sinon je me barre...

Citation

OpenAI n'a pas l'intention de quitter l'Europe, a déclaré son CEO Sam Altman. Il avait pourtant menacé de partir s'il devenait trop difficile de se conformer aux lois à venir sur l'intelligence artificielle.

La tournée européenne de Sam Altman, président-directeur général d'OpenAI, s'est transformée en guerre des mots avec les régulateurs de l'Union européenne (UE) après qu'il a déclaré que son entreprise pourrait se retirer de l'Union à cause de sa proposition de loi sur l'intelligence artificielle (IA).

Source: https://www.lecho.be/dossiers/intelligence-artificielle/openai-n-a-pas-l-intention-de-quitter-l-europe-malgre-la-reglementation-sur-l-ia/10470523.html

3)... mais tout compte fait je vais rester, je ne voudrais pas paraître faire du chantage.

Citation

Mais voilà, donc, que Sam Altman revient sur sa menace. OpenAI n'a pas l'intention de quitter l'Europe, a-t-il déclaré ce vendredi. "Nous sommes ravis de continuer à opérer ici et, bien sûr, nous n'avons pas l'intention de partir", a-t-il déclaré dans un tweet.

Source: https://www.lecho.be/dossiers/intelligence-artificielle/openai-n-a-pas-l-intention-de-quitter-l-europe-malgre-la-reglementation-sur-l-ia/10470523.html

 

Modifié par Lame
  • Upvote (+1) 1
Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Restaurer la mise en forme

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

 Share

  • Statistiques des membres

    5 967
    Total des membres
    1 749
    Maximum en ligne
    Stevendes
    Membre le plus récent
    Stevendes
    Inscription
  • Statistiques des forums

    21,5k
    Total des sujets
    1,7m
    Total des messages
  • Statistiques des blogs

    4
    Total des blogs
    3
    Total des billets
×
×
  • Créer...