هنگامی که جفری هینتون، که او را پدرخواندهٔ هوش مصنوعی می‌نامند، شرکت گوگل را ترک کرد، به نظر واقعهٔ بزرگی نیامد، ولی آنچه تصمیم او را در استعفا (یا عمل منجر به اخراج) با اهمیت می‌کرد، دلیل اقدام او بود. هینتون مدعی بود که هوش مصنوعی او سه برابر هوش طبیعی قادر به دسترسی به اطلاعات و تجزیه و تحلیل داده‌هاست و این امر باعث می‌شود که به‌زودی هوش طبیعی در همهٔ زمینه‌ها از هوش ماشینی عقب بماند.
در چنین شرایطی چه تضمینی وجود دارد که انسان بتواند ماشین‌های هوشمند را کنترل کند؟
او لحظهٔ حساسی را یادآوری می‌کند که سیستم هوشمند گفته بود جوک فرستاده‌شده از طرف آقای هینتون «بامزه نیست». به نظر هینتون، این آن لحظه‌ای است که رسیدن به خودآگاهی در سیستم هوشمند را نشان می‌دهد و مرز بین ماشین-انسان برداشته می‌شود.
هینتون معتقد است که اگر سیستم‌های هوشمند هرچه زودتر مهار نشوند، مدنیت به خطر می‌افتد. او این«بات»ها یا «سیستم‌های هوشمند مولد» را به ویروس‌هایی تشبیه می‌کند که اگر بدون مقررات و قوانین در جامعه رها شوند، سلامت کل بشریت را تهدید می‌کنند.
بیشتر در این باره: کناره‌گیری پدر هوش مصنوعی از گوگل؛ آینده دیوانه‌وار استمشابه این اعلان خطر را ما در شهادت دادن «سم آلتمن» در کنگره مشاهده کردیم. آقای آلتمن مدیرکل شرکت «اوپن‌اِی‌آی» است که بات فوق هوشمند «چت‌جی‌پی‌تی» را توسعه داده است. او نیز معتقد است که باید مقررات دولتی حد و حدود این پدیدهٔ نوظهور را تعیین کند. او در یک جمله نگرانی خود را چنین بیان می‌کند: «اگر این فناوری به راه خطا برود، می‌تواند واقعاً خطا کند.»
تفاوت فناوری جدید هوش مصنوعی در سرعت یا دسترسی به داده‌ها نیست، آنچه این سیستم‌های هوشمند را متفاوت می‌کند، نوعی خودکاربودن یا حتی خودکامگی است. سیستم‌های هوشمند جدید در یک دور بی‌انتها نه‌تنها دائماً داده‌ها را تحلیل و باز از نو تحلیل می‌کند بلکه در این دور و تسلسل اشتباهات و کمبودهای خود را تصحیح می‌کند و به درجهٔ بالاتری از هوشمندی می‌رسد؛ به درجه‌ای از هوشمندی که گاه جفری هینتون آن را «جان‌دار» می‌نامد.
او حتی این سؤال را مطرح می‌کند که مرز بین جان‌دار و بی‌جان کجاست؟ ما یک آمیب را جان‌دار می‌نامیم ولی یک سیستم هوشمند را بی‌جان.
آثار اقتصادی سیستم‌های فوق هوشمند مثل چت‌جی‌پی‌تی از هم‌الان در بازار کار مشهود است. گفته می‌شود که تا هشتاد درصد مشاغل تا حد اتوماتیک‌شدن کامل پیش خواهند رفت و تنها کارهای یدی مصونیت دارند. با این تفصیل، چالش سنگینی در انتظار برنامه‌ریزان اجتماعی و اقتصادی خواهد بود. چالش هوش طبیعی در حوزهٔ سیاست نیز قابل تأمل است.
بیشتر در این باره: مغز مصنوعی سرانجام به کار افتاد، کدامیک از مشاغل ما در خطر است؟وجود سیستم‌های نیمه‌هوشمند اینترنتی (اگر بشود چنین اصطلاحی را به‌کار برد) خود انقلابی در زمینهٔ سیاست و اطلاع‌رسانی و تبلیغات و جمعآوری پول برای کاندیداهای مقامات مختلف است. اوباما اولین رئیس‌جمهوری بود که از امکانات اینترنتی با موفقیت برای جمعآوری کمک‌های مردمی برای تبلیغات ریاست‌جمهوری سود جست. ولی با ظهور سیستم‌های فوق هوشمند مثل بات «چت‌جی‌پی‌تی چهار» دوران خطرآفرینی این‌‌گونه سیستم‌ها آغاز می‌شود.
از این لحظه به بعد در پروسه‌ای که بی‌شباهت به سناریوهای علمی-تخیلی نیست، این سیستم‌ها قادرند ابعاد گوناگون زندگی اجتماعی را رصد و کنترل کنند و یا در آن دخالت و خرابکاری کنند. مثلاً برای دخالت در امر انتخابات در کشورهای دموکرات می‌توان در چشم‌به‌هم‌زدنی هزاران پیام ساختگی با اسم و امضای «معتبر» به کاندیداها و غیر آن فرستاد که تشخیص اصل از بدل تقریباً ناممکن باشد.
در یک آزمایش برای بررسی تأثیر کلان پیام‌‌ها، صدها پیام برای نامزدی خاصی فرستاده شد و کسی در اصیل‌بودن آن‌ها شک نکرد. دورانی که نمایندگان مردم می‌توانستند کم‌وبیش رضایت یا عدم رضایت موکلان را از تعداد پیام‌های رسیده حدس بزنند، به سر آمده است. روسیه چندان در امر تبلیغات و انحراف افکار علیه سیستم‌ها و دولت‌های دموکرات کشورهای اروپا و آمریکا موفق بوده که باعث نگرانی جدی آن‌ها شده است.
سیستم‌های هوشمند با استفاده از الگوریتم‌های فوق‌العاده پیشرفته و دسترسی به کلان‌‌داده‌ها امروزه قادر به پیش‌بینی دقیق رفتار افراد و ایجاد پیام‌های متناسب با آن‌ها هستند. بخش پراهمیت در رابطهٔ میان فناوری نو و دموکراسی کهن سیستم نظارتی‌ای است که تنها با کاربرد هوش مصنوعی امکان‌پذیر است و شوشانا زوبف اصطلاح «کاپیتالیزم مراقبتی» را برای آن وضع کرده است.
سیستم‌های هوشمند از طریق داده‌های کلان جمع‌آوری‌شده از طریق اینترنت و تحلیل آن‌ها به علائق و اعتقادات مردم پی می‌برد و برخلاف گذشته که سازمان‌ها و نیروهای تجاری و امنیتی جمعیت و طبقات را هدف قرار می‌دادند، امروزه تک‌تک افراد به‌طور مستقیم هدف تبلیغات قرار می‌گیرند. اهداف و سبک زندگی و خواست‌ها از طرق فوق‌العاده پیچیدهٔ هوش مصنوعی تحت تأثیر آمران و آگهی‌دهندگان قرار می‌گیرند و به این ترتیب خودمختاری فرد در تفکر و عمل که همان حوزهٔ آزادی فردی است، تضعیف می‌شود.
بدون آزادی و تفکرِ نقاد اصولاً قضاوت اخلاقی بی‌معنا می‌شود. دموکراسی را نمی‌توان بر اساس شایعات و تبلیغات بنیاد کرد. شهروند نقاد نیاز به اطلاعات صحیح و امکان پرسش و پاسخ نقادانه دارد.
بیشتر در این باره: بیل گیتس: هوش مصنوعی شاید یک روز ما را به عنوان تهدید ببیندیک نمونه از کاربرد هوش مصنوعی در کنترل کلان مردم را می‌توان در مراقبت و تفتیش دائمی دولت چین بر اقلیت اویغور دید. در مصاحبه‌ای پرتفصیل در مجلهٔ اکونومیست لندن، یکی از پناهندگان اویغوری شرح کشافی از زندگی ۲۵ میلیون اویغور داده است؛ زندگی‌ای که تحت مراقبت بی‌وقفهٔ مقامات امنیتی چین سپری می‌شود.
اویغورها مردمانی هستند مسلمان و ترک‌نژاد که از طرف مقامات امنیتی چین مشکوک به رادیکالیزم اسلامی و جداسری هستند. هزاران دوربین دیجیتال در معابر وجوه زندگی مردم را مراقبت می‌کنند و اویغورهایی که به هر دلیلی مظنون واقع شوند، به کمپ‌های عظیمی منتقل می‌شوند که هزاران اویغور را تحت مغزشویی قرار داده است. حضور نابه‌جای فردی اویغور که توسط دوریبن‌های دیجیتالی «چهره‌شناس» تشخیص داده شود، ممکن است سروکار او را به کمپ‌های آموزش ایدیولوژیک بیندازد.
این حجم سرکوب بدون کاربرد هوش مصنوعی ممکن نمی‌بود. اصولاً به نظر می‌رسد که فناوری فوق هوشمند به استبداد کمک کند. توسل به معیارهای کمّی سرکوب در مقابل جنبش کیفی مردم و بازداشت و اسارت کلان جوانان معترض در ایران بدون توسل به فناوری متکی بر ذهن هوشمند شانس موفقیت بسیار کمتری می‌داشت.
بیشتر در این باره: گزارش فاکس‌نیوز درباره استفاده حکومت ایران از فناوری‌های هوش مصنوعی برای گسترش سرکوبما در آستانهٔ جهش هوش مصنوعی هستیم که به طریق نامحسوس ولی به‌طور بنیادی در کار متحول‌کردن تعریف ماهیت ذهن و آگاهی، ماهیت کار، امکان آزادی و دموکراسی، و نهایتاً رفاه بشر است. می‌توان جوامعی را تصور کرد که در آینده‌ای نه چندان دور قرینه‌های پرجمعیت‌تر استان سین کیانگ چین و اویغورهای تحت مراقبت و تفتیش دایمی آن باشند.
اختراع سیستم اینترنت (که بدواً برای نیروی هوایی ایالات متحده راه‌اندازی شده بود) در ابتدای امر حتی امیدهایی برای ایجاد دموکراسی مستقیم ایجاد کرد. ولی در دور دوم تکامل خود به سیستم‌های هوشمند مولد، به نظر می‌رسد که اینترنت هوشمند در جهت مخالف آزادی و انتخاب فرد خودمختار در پویش باشد.
لازم است ذکر شود که پیشرفت‌های فوق‌العاده در قدرت محاسبهٔ ماشین‌ها و پیدایش اینترنت، هر دو، کار جمعآوری داده‌های کلان را تسهیل کرد. در واقع می‌توان دو دورهٔ مشخص در تکامل هوش مصنوعی را بررسی کرد: دورهٔ اول آغاز دورهٔ داده‌های کلان از سال ۲۰۰۱ به بعد است که می‌توان آن را دورهٔ خدمت سیستم‌های هوشمند دانست. دوره جدید هوش مصنوعی را که همراه با یادگیری عمیق از داده‌های کلان است، می‌توان از سال ۲۰۱۱ به بعد دانست که هوش مصنوعی به خودکامگی نزدیک می‌شود.
در فیلم کلاسیک استنلی کوبریک به نام «۲۰۰۱: ادیسه فضایی» (۱۹۶۸) ما یکی از اولین اشارات به خودکامگی ماشین هوشمند (هال) علیه انسان را می‌بینیم. فیلم که با سمفونی عظیم «چنین گفت زرتشت» اثر ریچارد اشتراوس آغاز و انتها می‌گیرد، مبارزهٔ انسان – ماشین هوشمند را با انهدام توأم انسان و ماشین و نوعی بازگشت به اصل پایان می‌دهد.
ولی امروزه هشدارهای دانشمندان و مسئولیت‌پذیری دولت‌های دموکراتیک امید به کنترل هوش مصنوعی را افزایش می‌دهد، هرچند دولت‌های استبدادی احتمالاً راه دیگری در پیش خواهند گرفت و چه بسا هوش مصنوعی را مسلح و در انهدام تمدن از آن بهره‌برداری کنند.
بیشتر در این باره: هشدار ماسک و گروهی از دانشمندان درباره طرح‌های پیشرفته‌تر هوش مصنوعی