rogue0

Systèmes de surveillance de population (big data, big brother, etc)

Recommended Posts

Pour moi, l' expérience indienne en matière d'hypersurveillance est certainement plus inquiétante que l'expérience chinoise.

En matière de surveillance et notation des citoyens, la Chine est un modèle pour les Européens, encore très minoritaires, qui veulent copier son système politique. Le système politique indien présente de grandes similitudes avec la plupart des régimes européens. Il comporte des dispositifs de dictature constitutionnelle biens pratiques pour ceux qui aspirent à l'instauration d'une démocratie contrôlée. L' Union indienne est également un des modèles fédéraux favoris des eurofédéralistes hamiltoniens.

Autrement dit, l'Inde peut fournir un schéma de construction d'un Etat parlementaire sous régime d'hypersurveillance.  Régime sans doute plus facilement privatisable que celui de la Chine.

Share this post


Link to post
Share on other sites

1. Sur le comportement des IA (encore) faibles...
 

Citation

Amazon a dû se débarrasser d’une intelligence artificielle sexiste

Un programme censé trier les CV avant embauche discriminait les candidates.

Amazon a tenté d’automatiser ses recrutements en les confiant à une intelligence artificielle (IA) secrète. Selon une source anonyme impliquée dans le projet, le géant du e-commerce voulait «un engin auquel on pouvait fournir 100 CVs [pour] qu’il recrache les cinq meilleurs et qu’on embauche ceux-là».

Le succès d’Amazon repose en partie sur l’automatisation de toutes les étapes de son activité, du fonctionnement interne de ses entrepôts aux recommandations et à la fixation des prix sur son site Internet. Il semble donc naturel que l’entreprise étende cette automatisation à son recrutement.

L'IA copie les comportements humains

On pourrait même penser que c'est une bonne chose, puisqu’a priori des robots devraient être totalement objectifs, débarrassés de biais racistes ou sexistes que l'on trouve chez des humains. Or au contraire, les IA perpétuent ces biais. En effet, l’algorithme utilisé par Amazon, comme beaucoup d’autres, utilise ce qu'on appelle le «machine learning», c’est-à-dire qu'il se base sur des données pré-existantes et tente au mieux de les reproduire pour prendre des décisions.

L’IA s'appuyait sur les recrutements effectués durant les dix dernières années chez Amazon. Des embauches effectuées par des êtres humains, dans un environnement très largement dominé par les hommes. D’après Reuters, chez Amazon 60% de la masse salariale est masculine, et la société refuse de dévoiler la part de femmes à des postes techniques, où elles sont d’ordinaire encore plus rares.

Ainsi l’IA pénalisait les candidates qui avaient fait leur scolarité dans des universités non-mixtes ou tout CV qui contenait le mot «femme». Par exemple, la mention d’un «club de jeu échecs pour femme» dépréciait automatiquement le CV.

Selon Reuters, le programme n’était qu’un test. Lorsque le biais sexiste a été découvert, des modifications ont été apportées, mais comme Amazon ne pouvait s'assurer qu'il n'y avait pas d’autres discriminations, il a abandonné son algorithme en fin d’année dernière. Pour autant, le groupe n'a pas renoncé à trouver une formule qui pourrait le remplacer.

Source: Slate

 

2. Sur l'éducation des puissances informatiques...
 

Citation

Chine : les émotions au service de l’intelligence artificielle

En pleine croissance, le marché de la reconnaissance faciale a dépassé le milliard de yuans (128 millions d’euros) en 2016 et devrait être multiplié par cinq d’ici 2021, selon une étude du cabinet Analysys.

La course à l’intelligence artificielle (IA) continue de faire rage entre les États-Unis et la Chine. En juillet 2017, dans le cadre du Plan pour le développement de la prochaine génération d’intelligence artificielle, le Conseil des Affaires d’État a établi une stratégie prometteuse. D’ici 2020, la Chine espère ainsi rattraper son retard sur les États-Unis, les dépasser en 2025 et finalement imposer son leadership en la matière dès 2030. Dans le sillon de cette course à l’innovation à l’échelle mondiale, le gouvernement de Xi Jinping investit massivement dans le domaine de la reconnaissance faciale.

Le Parti communiste chinois recourt à d’importantes levées de fond avec l’aide des géants d’internet tels qu’Alibaba, Baidu et Tencent. En avril dernier, Alibaba a d’ailleurs participé à la plus grosse levée de fonds, soit environ 488 millions d’euros. Cette dernière est, selon ses fondateurs, la société la plus valorisée parmi l’ensemble des start ups chinoises qui travaillent sur « l’apprentissage profond, soit le fameux deep learning.

Connue pour son partenariat technologique avec les principaux fabricants de mobiles chinois tel que Huawei, l’entreprise exporte aussi ses technologies dans les domaines de la finance, la sécurité, le marché automobile, l’e-santé et l’éducation. Son produit phare sont ces caméras, adaptées à l’environnement dans lequel elles sont installées et capables de mesurer les faits et gestes des individus.

Le système de surveillance le plus sophistiqué du monde

Les systèmes de reconnaissance faciale se multiplient et envahissent ainsi la vie quotidienne des Chinois par la surveillance des lieux publics, des fast-foods, des banques, et jusqu’aux distributeurs de papier toilette ! Le pays met actuellement en place le système de caméras de surveillance le plus sophistiqué au monde. Il a déjà installé quelque 170 millions de caméras nourries à l’intelligence artificielle et en prévoit trois fois plus d’ici 2020.

Les établissements scolaires sont également visés : selon un journal local, un lycée de la ville d’Hangzhou, a expérimenté un « système intelligent de gestion des comportements en classe », une sorte de smart eye capable d’analyser la concentration des élèves. Situé au-dessus des professeurs, cet « œil numérique bienveillant » analyse les émotions des élèves à travers leurs traits et expressions de visage.

Il peut ainsi indiquer, en temps réel, à l’enseignant si l’élève est heureux, déconcentré, agité, anxieux ou encore s’il se sent concerné par la leçon en cours. L’objectif affirmé d’un tel système est d’aider les enseignants dans leurs démarches pédagogiques, d’encourager l’implication des élèves en classe et de pouvoir recenser rapidement les présents et les absents.

En pleine croissance, le marché de la reconnaissance faciale a dépassé le milliard de yuans (128 millions d’euros) en 2016 et devrait être multiplié par cinq d’ici 2021, selon une étude du cabinet Analysys.

Source: Contrepoints

Connexe: Les Chroniques de la Lune Noire 19: Une semaine ordinaire

Edited by Lame
Orthographe
  • Thanks 1
  • Confused 1

Share this post


Link to post
Share on other sites

 

L'hypersurveillance ne sert donc pas qu'à contrôler la population. Elle sert aussi à développer le contrôleur (artificiel) dans une logique d'automatisation. Ceci dit, sachant que le contrôleur sera de plus en plus puissant et qu'il a sa propre personnalité, son propre alignement, on peut se demander quand il passera de contrôleur à maître non souhaité...

Connexe: Psycho-pass

  • Upvote 1

Share this post


Link to post
Share on other sites
Le 13/09/2018 à 22:25, collectionneur a dit :

y a t'il eu des progrès depuis ?

Je ne sais pas si il y a eu des progrès depuis, mais ma femme est en voyage d'affaire à Shanghai en ce moment. Alors qu'elle a grandi dans l'URSS et pays dérivés, elle a été assez marqué du fait que l'hotel enregistre sa photo et lui explique que c'est pour savoir si elle se tient bien dans la rue (et autres ?) et que si jamais elle sortait des clous, ses prochaines demandes de visas (pro et perso) seraient refusées... Elle m'a demandé si c'était possible ou pas, et comment.

Je sais que la reconnaissance faciale a fait des progrès, mais de là à avoir une surveillance aussi généralisée et automatisée je suis dubitatif.

  • Haha 1
  • Upvote 1

Share this post


Link to post
Share on other sites
Le ‎17‎/‎10‎/‎2018 à 00:57, rendbo a dit :

Je sais que la reconnaissance faciale a fait des progrès, mais de là à avoir une surveillance aussi généralisée et automatisée je suis dubitatif.

Pourquoi? Le principe de la reconnaissance faciale, c'est aussi d'automatiser en partie la recherche des terroristes et des fugitifs.

Et puis, plus il y a de caméra, plus les Chinois auront peur d'être pris en faute, selon les époque, par Xi Yinping/les nouveaux princes rouges/Le "Grand ordinateur".

A noter que si les techniques de clonage atteignent un jour le même niveau de raffinement que le système panoptique, certaines dystopies pourraient rejoindre la réalité de manière inattendue...

  • Upvote 1

Share this post


Link to post
Share on other sites
Citation

Vie privée : le Conseil d’Etat valide le fichier rassemblant les informations de 60 millions de Français

Les détracteurs du mégafichier estiment qu’il ne prévoit pas assez de garanties contre les risques d’abus et de piratage. Le Conseil d’Etat, lui, y voit un outil contre la fraude.

Le Conseil d’Etat a rejeté jeudi 18 octobre les requêtes dirigées contre le décret instaurant le mégafichier regroupant les données personnelles de tous les Français, estimant notamment que sa création ne constituait pas une « atteinte disproportionnée » au droit des personnes au respect de leur vie privée.

............

 

https://lemonde.fr/pixels/article/2018/10/18/vie-privee-le-conseil-d-etat-valide-le-fichier-rassemblant-les-informations-de-60-millions-de-francais_5371436_4408996.html?xtref=https://t.co/O0sHl92ES9

Edited by Borisdedante
  • Thanks 1

Share this post


Link to post
Share on other sites

Du nouveau sur le système de crédit social chinois.

Le 28/09/2017 à 19:32, rogue0 a dit :

Je commence par le futur système chinois de « Social Credit System » (traduction personnelle: « casier social » / « réputation sociale »).
Il y a très peu d’information sur ce futur système (prévu pour 2020), qui a d’énormes implications pour la surveillance des populations, et sur les modèles de société (et de l’impact des réseaux sociaux…).(...)

    • Les entreprises auraient d'autres bonus / malus :
    • prêts avec bonus / malus ou refusés.
    • idem pour émissions d'obligations ou introduction en bourse(...)

Pour les entreprises privées, il y a aussi de gros impacts IT.
(1000x pire que pour les impacts de l'impôt prélevé à la source)
Il faut mettre à disposition des autorités des flux de données formattées (indicateurs sociaux), et appliquer les sanctions.

Révélation

"Heureusement", les données ne sont pas stockées ou calculées dans le Facebook local, mais par une autorité gouvernementale.

De facto, ça sera probablement une barrière à l'entrée pour les sociétés étrangères (au mieux, obligées de sous traiter ça à des portails style alibaba/wechat)

Implications business et aspect big data (barrière à l'entrée)

http://www.chinafile.com/library/reports/chinas-social-credit-system-big-data-enabled-approach-market-regulation-broad

impacts business

https://www.merics.org/en/merics-analysis/china-monitor/merics-china-monitor-no-39/

 

 

La chambre de commerce de l'UE basée en Chine (*) a publié son guide pour alerter et aider les entreprises UE présentes en Chine à s'adapter (démarrage imminent 2020, et connexion obligatoire à ce système pour tous, même pour les entreprises étrangères).
Je n'ai pas lu le document (trop de boulot et inscription email obligatoire).
(* donc peu probable que le document soit purement une attaque gratuite, façon think tank conservateur US ...)

Selon les résumés par France24 / et le SCMP, les entreprises étrangères pourraient avoir un petit avantage initial, puisqu'elles sont déjà sous obligation de transparence depuis longtemps (que ce soit la Bourse, ou les associations de consommateur...).
(300 nouveaux points de contrôle sous le nouveau système, et potentiellement plus impartiaux que des bureaucrates réclamant des "cadeaux"... ).
L'association propose des forums/discussions avec les autorités chinoises pour faciliter l'implémentation de ces systèmes

Cependant, le rapport alerte sur les détournements possibles du système.
Tout comme la blacklist US (entity list contre Huawei), le système peut facilement avoir des critères subjectifs voire arbitraires, comme la menace contre la sécurité nationale.

résumés:

https://www.france24.com/fr/20190829-chine-credit-social-entreprise-notation-controle-economie-surveillance
https://www.scmp.com/news/china/diplomacy/article/3024636/european-firms-warned-chinas-social-credit-system-could-be

rapport original (versions chinoises disponibles)

https://www.europeanchamber.com.cn/en/press-releases/3045/european_chamber_report_on_china_s_corporate_social_credit_system_a_wake_up_call_for_european_business_in_china

https://www.europeanchamber.com.cn/en/publications-archive/709

Edited by rogue0

Share this post


Link to post
Share on other sites

 

Le 17/10/2018 à 00:57, rendbo a dit :

Je ne sais pas si il y a eu des progrès depuis, mais ma femme est en voyage d'affaire à Shanghai en ce moment. Alors qu'elle a grandi dans l'URSS et pays dérivés, elle a été assez marqué du fait que l'hotel enregistre sa photo et lui explique que c'est pour savoir si elle se tient bien dans la rue (et autres ?) et que si jamais elle sortait des clous, ses prochaines demandes de visas (pro et perso) seraient refusées... Elle m'a demandé si c'était possible ou pas, et comment.

Je sais que la reconnaissance faciale a fait des progrès, mais de là à avoir une surveillance aussi généralisée et automatisée je suis dubitatif.

1) C'est l'objectif revendiqué à terme, et c'est en cours (avec des démos impressionnantes dans de nombreuses startup chinoises, qui sont leader mondiaux en la matière).

Par contre, je n'ai aucune idée sur de l'efficacité du système en condition réelle (taux de reconnaissance : à 90% ? 99% ? pour moi, un système de surveillance généralisé temps réel sera vraiment utilisable en ville à partir de 99.99% / 0.01% de fausse alerte)

2) De toute façon, depuis 2017, les services de l'immigration chinoises relèvent maintenant systématiquement les empreintes digitales et la photo de tout étranger dès l'entrée sur le territoire chinois (relié au passeport).
Constaté lors d'un passage récent en Chine.

------------------------------
Exemple du statut actuel:
J'avais déjà posté ça sur le fil cyberguerre.

Il y a eu une grosse fuite de donnée sur une "Smart City" à Pékin, le quartier Liangmaqiao des ambassades (ville interconnectée, incluant des caméras de surveillance biométriques, suivi des entrées/sorties et des passants, traquage des téléphones / wifi, etc).
Il y avait une copie de la base de donnée en accès libre sur un cloud alibaba.
https://techcrunch.com/2019/05/03/china-smart-city-exposed/

Pour un européen qui souhaite préserver sa vie privée, ça fait peur. (cf carte).
Les caméras à reconnaissance faciale estiment l'âge, ( et la beauté :bloblaugh:), l'ethnicité (Han, Xinjiang, black, caucasien...), détectent les barbes, lunettes de soleil, et si la personne est masquée (cause pollution ... ou autre) ,  et si les personnes sont reconnues, il croise ça automatiquement avec les fichiers de la police : c'est relié automatiquement à leur carte d'identité. (et leur crime/casier judiciaire: drogué, sorti de prison, etc)

Le taux de reconnaissance par le visage est inconnu ... mais de toute façon, ils sniffent aussi les téléphones mobiles et les Wifi allumés, donc cette identification-là est très fiable :tongue:

 

Révélation

beijing-cities.png

attractiveness-police-score.png

-------------------------

sur une note "plus légère":

le métro de Pékin signale qu'il est interconnecté au crédit social .
Ce qui inclut des malus en cas d'incivilité (manger ou boire dans le métro), et des bonus en cas de comportement "vertueux".

Si c'est "manuel" par les contrôleurs, c'est logique et ça ne me dérange pas.
Si c'est automatique via les caméras à reconnaissance faciale (le plus probable vu les foules), et ben les questions se posent (surtout sur la fiabilité de la reconnaissance...)

http://www.rfi.fr/asie-pacifique/20190519-chine-notes-credit-social-transports-commun-metro-pekin

  • Upvote 1

Share this post


Link to post
Share on other sites

Reverse engineering du filtrage / censure d'image sous WeChat (activée uniquement vers les comptes de chine continentale, pas les comptes à numéros étrangers)

Analyse purement technique (et pas droit de l'hommiste).
Pas le temps de commenter, je le ferais plus tard si ça intéresse quelqu'un.

https://citizenlab.ca/2019/07/cant-picture-this-2-an-analysis-of-wechats-realtime-image-filtering-in-chats/

Share this post


Link to post
Share on other sites
Le 27/09/2017 à 16:06, rogue0 a dit :

Dans le sujet :

  • Les boîtes noires de surveillance de la loi Sécurité, le système de surveillance #SORM russe, et ceux vendus aux pays du Maghreb sont en plein dans le sujet.

Fuite sur le système SORM russe, d'écoute et de surveillance internet / télécom (et de tracking GPS individuel ...)

https://meduza.io/en/feature/2019/08/27/suspicious-sniffers

https://darkk.net.ru/2019/cc/

cf dans le fil cyber pour les détails

c'est

Share this post


Link to post
Share on other sites
Le 08/02/2018 à 13:33, rendbo a dit :

C'est une fake news qui circule autour de Hong Kong, mais le concept reste intéressant.

En 2017 (aucun rapport avec les manifs à HK donc), des artistes ont proposé un concept pour tromper la reconnaissance faciale, sans masque (illégaux dans pas mal de pays maintenant).
En projetant un autre visage sur le sien. 

https://www.dailydot.com/debug/wearable-face-projector-hong-kong-protesters/

https://factcheck.afp.com/video-actually-shows-2017-dutch-university-design-project

 

Révélation

 

C'est du concept art :
il y a sans doute des méthodes plus efficaces pour brouiller la reconnaissance faciale (cf les voitures connectées : les méthodes pour brouiller leur reconnaissance des panneaux).
Ou le concept du Tshirt "super moche" dont le dessin pirate les caméra de surveillance par William Gibson

https://arstechnica.com/cars/2017/09/hacking-street-signs-with-stickers-could-confuse-self-driving-cars/

https://www.datapanik.org/2014/02/28/william-gibsons-really-ugly-t-shirt/

Edited by rogue0

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Member Statistics

    5,406
    Total Members
    1,550
    Most Online
    Le Chlick
    Newest Member
    Le Chlick
    Joined
  • Forum Statistics

    20,697
    Total Topics
    1,245,308
    Total Posts
  • Blog Statistics

    3
    Total Blogs
    2
    Total Entries