021-22889554
021-26703715
مشاوره آموزشی رایگان

021-22889554  |  021-26703715 مشاوره آموزشی رایگان

تصمیم برای کشتن نباید بر عهده‌ی یک ربات قرار بگیرد

Daniel Suarez

The kill decision shouldn't belong to a robot

As a novelist, Daniel Suarez spins dystopian tales of the future. But on the TEDGlobal stage, he talks us through a real-life scenario we all need to know more about: the rise of autonomous robotic weapons of war. Advanced drones, automated weapons and AI-powered intelligence-gathering tools, he suggests, could take the decision to make war out of the hands of humans.


تگ های مرتبط :

Drones, Entertainment, Robots
من داستان‌های مهیجِ علمی‌ـ‌تخیلی می‌نویسم، در نتیجه اگه من بگم «ربات‌های قاتل»، احتمالاً فکرتون بره سمتِ چیزی مثلِ این. اما واقعیتش من این‌جا نیومدم تا درباره‌ی تخیل حرف بزنم. من این‌جام تا درباره‌ی ربات‌های قاتلِ خیلی واقعی صحبت کنم؛ پهپادهای رزمیِ خودکار. الآن موضوعِ صحبتِ من پهپادهای «شکارچی» یا «درنده» نیستن که در اون‌ها یک انسان تصمیماتِ هدف‌گیری رو انجام میده. من در موردِ سلاح‌های رباتیکِ تمام‌خودکاری صحبت می‌کنم که در موردِ مرگِ انسان‌ها تصمیم می‌گیرن، اون هم کاملاً تنها و مستقل. در واقع یه اصطلاح فنی هم براش وجود داره: «استقلالِ‌ عمل مرگبار».
ربات‌های قاتلِ دارای استقلالِ عملِ مرگبار، می‌تونن شکل‌های مختلفی داشته باشن ــ پرواز کنن، رو زمین حرکت کنن، یا این که صرفاً کمین بکنن. و راستش اونا به‌سرعت دارن به واقعیت نزدیک میشن. اینا دو تا پایگاهِ تیراندازیِ خودکارن که در حالِ حاضر توی منطقه‌ی بی‌طرف بینِ کره‌ی شمالی و جنوبی به کار گرفته شدن. هر دوی این ماشین‌ها این قابلیتو دارن که به طورِ خودکار یه هدفِ انسانی رو شناسایی كرده و بهش شلیک کنن، بردِ اون سمتِ چپی حتی بیشتر از یک کیلومترست. الآن در هر دو نمونه، هنوز یه آدم وجود داره که در موردِ اون شلیکِ مرگبار تصمیم می‌گیره. اما این یه الزامِ تکنولوژیک نیست، صرفاً یه انتخابه.
و من می‌خوام درست روی همین «انتخاب» تمرکز کنم، چون همین طور که ما گرفتنِ این تصمیمِ مرگبار رو از انسان‌ها به نرم‌افزار منتقل می‌کنیم، نه‌ تنها خطرِ گرفتنِ انسانیت از جنگ‌هامون رو می‌پذیریم، بلکه کلِ چشم‌اندازِ اجتماعی‌مون رو تغییر میدیم، کاملاً سوای میدانِ جنگ. به این دلیل که شیوه‌ای که انسان‌ها باهاش کشمکش‌هاشون رو حل‌وفصل می‌کنن، چشم‌اندازِ اجتماعی‌مون رو شکل میده. در طولِ تاریخ همیشه همین طور بوده. برای مثال، این‌ها پیشرفته‌ترین سیستمِ تسلیحاتی در سده‌ی ۱۴۰۰ پس از میلاد بودند. هم ساختن و هم نگهداریِ اون‌ها بسیار پرهزینه بود، اما با داشتنِ اون‌ها شما می‌تونستین به توده‌ی مردم مسلط بشین،
و توزیعِ قدرتِ سیاسی در جامعه‌ی فئودالی هم همین رو منعکس می‌کرد. قدرت در بالاترین نقطه متمرکز شده بود. و بعد چه تغییری ایجاد شد؟ نوآوری در تکنولوژی. باروت، توپ. و خیلی زود زره‌ها و قلعه‌ها از دور خارج شدند، و این که شما «چه کسی» رو به میدانِ نبرد می‌فرستادید اهمیتش کمتر شد در برابر این که شما «چند نفر» رو به میدان نبرد می‌فرستادین. پس همین طور که اندازه‌ی ارتش‌ها بزرگتر می‌شد، دولت‌ـ‌ملت به مثابه یک الزامِ سیاسی و پشتیبانی برای دفاع پدید اومد. و همون طور که رهبرها مجبور بودن به تعدادِ نفراتِ بیشتری از مردم‌شون تکیه بکنن، شروع به تقسیمِ قدرت با اون‌ها کردن. دولت‌های انتخابی شروع به شکل‌گیری کردند.
پس مجدداً، ابزارهایی که ما از اونا برای حل و فصلِ منازعه‌ها استفاده می‌کنیم، چشم‌اندازِ اجتماعیِ ما رو شکل میدن. سلاح‌های رباتیکِ خودکار هم یک چنین ابزاری هستند، اما چون با استفاده از اون‌ها، به عده‌ی بسیار اندکی برای رفتن به جنگ نیاز داریم، این خطر وجود داره که دوباره قدرت در دستِ افراد بسیار کمی متمرکز بشه. و ممکنه این ابزار روندِ پنج‌ـ‌سده‌ای به سمتِ دموکراسی رو معکوس بکنه. من فکر می‌کنم با دونستنِ این موضوع، می‌تونیم قدم‌های سرنوشت‌سازی رو برای حفظِ نهادهای دموکراتیک‌مون برداریم، برای انجامِ کاری که انسان‌ها از همه بهتر انجامش میدن، «تطبیق پیدا کردن». اما عاملِ زمان رو نباید فراموش کنیم. هفتاد کشور دارن به طورِ جداگانه
پهپادهای رزمیِ هدایت‌ـ‌از‌ـ‌دور رو توسعه میدن، و همون طور که خواهید دید، این پهپادهای هدایت‌ـ‌ازـ‌دور پیش‌درآمدِ تسلیحاتِ رباتیکِ خودکنترل هستن. دلیلش اینه که زمانی که شما از پهپادهای هدایت‌ـ‌ازـ‌دور استفاده می‌کنید، سه عاملِ قدرتمند وجود دارن که باعثِ انتقالِ تصمیم‌گیری از انسان‌ها به خودِ سامانه‌ی تسلیحاتی میشن. عاملِ اول حجمِ انبوهِ ویدیوهاییه که پهپادها تولید می‌کنن. برای مثال، در سالِ ۲۰۰۴، ناوگانِ پهپادهای ایالاتِ متحده روی‌هم‌ رفته ۷۱ ساعت ویدیوی نظارتی تولید کرده بود. تا سالِ ۲۰۱۱ این رقم به ۳۰۰,۰۰۰ ساعت رسید، که بازبینیِ تمامِ اون‌ها فراتر از توانِ انسان بود، اما حتی همین مقدار هم داره شدیداً افزایش پیدا می‌کنه.
برنامه‌های Gorgon Stare و Argus ِ پنتاگون ۶۵ دوربینِ مستقل از هم رو روی هر پهپاد سوار خواهند کرد، که بازبینیِ این حجمِ عظیم کاملاً فراتر از توانِ انسان خواهد بود. و این معنی‌ش اینه که نیازمندِ نرم‌افزارهای هوشِ بصری خواهیم بود تا این داده‌ها رو به‌دنبالِ مواردِ موردِ نظر مرور بکنن. و این به این معنى هست که به زودی این پهپادها هستند که به انسان‌ها میگن به چی نگاه کنن، بی برو برگرد. اما یه انگیزه‌ی قویِ دیگه هم وجود داره که بارِ تصمیم‌گیری رو از انسان‌ها برمی‌داره و به ماشین‌ها منتقل می‌کنه، و اون پارازیتِ الکترومغناطیسیه، که ارتباطِ بینِ پهپاد و اُپراتورش رو
قطع می‌کنه. یه مثال از این موضوع رو در سال ۲۰۱۱ دیدیم، جایی که پهپادِ آمریکاییِ دیده‌بانی «RQ-170» به واسطه‌ی یه حمله‌ی «جعلِ جی‌پی‌اس» بر فرازِ ایران کمی سردرگم شد، اما هر پهپادِ هدایت‌ـ‌ازـ‌دوری در معرضِ این نوع حمله قرار داره، و این یعنی پهپادها مجبور خواهند شد که بارِ تصمیم‌گیریِ بیشتری رو بر عهده بگیرن. اون‌ها هدفِ ماموریت‌شون رو خواهند دونست، و بدونِ هدایتِ انسان نسبت به شرایطِ جدید واکنش نشون خواهند داد. اون‌ها سیگنال‌های رادیوییِ خارجی رو نادیده می‌گیرن و خودشون هم سیگنال‌های بسیار کمی رو ارسال می‌کنن. و در واقع، می‌رسیم به سومین
و قوی‌ترین عاملی که بارِ تصمیم‌گیری رو از انسان‌ها به سمتِ اسلحه‌ها سوق میده: «انکارِ موجّه». ما امروز در یک اقتصادِ جهانی زندگی می‌کنیم. تولیداتِ های‌تک (فناوری پیشرفته) داره در بیشترِ قاره‌ها انجام میشه. جاسوسیِ سایبری در حالِ ربودنِ طراحی‌های پیشرفته برای طرف‌های نامعلومه، و در این محیط، احتمالِ خیلی زیادی داره که یه طراحیِ موفقیت‌آمیز پهپاد توی کارخونه‌های طرفِ قرارداد سرِ هم بشه، و توی بازارِ خاکستری پخش بشه. و در چنین شرایطی، وقتی داریم بقایای حمله‌ی انتحاریِ یک پهپاد رو موشکافی می‌کنیم، خیلی سخت خواهد بود که بفهمیم
چه کسی اون سلاح رو فرستاده. بدین ترتیب احتمال کاملا واقعیِ رخ دادنِ یک «جنگِ ناشناس» رو زیاد می‌کنه. این می‌تونه موازنه‌ی ژئوپولیتیک رو واژگون کنه، و دیگه برای یک ملت بسیار دشوار خواهد بود که قدرتِ آتش خودش رو به سمتِ مهاجم نشونه بره و اون می‌تونه موازنه‌ی قرنِ ۲۱ رو از دفاع به تهاجم سوق بده. بدین ترتیب، اقدامِ نظامی به یک گزینه‌ی قابلِ اجرا تبدیل میشه، نه‌ فقط برای کشورهای کوچیک بلکه همچنین برای سازمان‌های جنایت‌کار، شرکت‌های خصوصی و حتی اشخاص قدرتمند. این می‌تونه چشم‌اندازی از جنگ‌سالارانِ رقیبِ هم رو ایجاد کنه که حاکمیتِ قانون و جامعه‌ی مدنی رو تضعیف می‌کنه.
حالا اگه پاسخ‌گویی و شفافیت دو شالوده‌ی یک دولتِ انتخابی باشن، تسلیحاتِ رباتیکِ خودکار می‌تونن هر دو رو سست بکنن. شاید الآن دارین فکر می‌کنین که شهروندانِ کشورهای فوقِ پیشرفته توی هر جنگِ رباتیک از این مزیت برخوردارن که آسیب‌پذیریِ کمتری دارن، به‌خصوص نسبت به کشورهای در حالِ توسعه. اما من فکر می‌کنم که حقیقت درست عکسِ اینه. من فکر می‌کنم که شهروندانِ جوامعِ فوقِ پیشرفته نسبت به تسلیحاتِ رباتیک آسیب‌پذیرتر هستن. و دلیلش رو میشه در یک کلمه خلاصه کرد: دیتا (داده). دیتا به جوامعِ فوقِ پیشرفته نیرو میده.
موقعیتِ جغرافیاییِ تلفنِ همراه، فراداده‌های مخابراتی، رسانه‌های اجتماعی، ایمیل، پیامک، داده‌های تراکنش‌های مالی، داده‌های حمل‌ونقل، اینها گنجینه‌ای از داده‌های بلادرنگ درباره‌ی جابه‌جایی‌ها و تعاملاتِ اجتماعیِ مردم هستن. خلاصه‌ی کلام، ما بیشتر از هر مردمِ دیگه‌ای در طولِ تاریخ، برای ماشین‌ها قابلِ رؤیت هستیم، و این درست همون چیزیه که سلاح‌های خودکنترل برای هدف‌گیری بهش نیاز دارن. چیزی که اینجا دارین می‌بینین، نقشه‌ی تحلیل ارتباط یک گروه اجتماعیه. خط‌ها متصل بودن اجتماعی بین اشخاص رو نشون می‌ده. و این نوع نقشه‌ها می‌تونن به صورت اتوماتیک بر اساس ردپای داده‌هایی که مردم امروزی به جا می‌ذارن ایجاد بشن.
این معمولا برای بازاریابی کالاها و خدمات برای جوامع هدف استفاده می‌شه، ولی این یه فناوری دو-لبه است، چون هدف گرفتن در مفهوم دیگه‌ای هم استفاده می‌شه. دقت کنین که افراد خاصی پررنگ شده‌اند. این‌ها مراکز شبکه‌های اجتماعی هستن. این‌ها سازمان‌دهنده، تاثیرگذار و رهبر هستند، و این افراد هم می‌تونن به صورت اتوماتیک ازطریقِ الگوی ارتباطاتشون شناسایی بشن. حالا اگه شما یه بازاریاب هستین، پس شما هم ممکنه اون‌ها رو با نمونه‌ی محصولات هدف بگیرین و سعی کنین که نشان تجاریتون رو از طریق گروه اجتماعی اون‌ها گسترش بدین. ولی اگه شما یه دولت سرکوبگر باشین
که به دنبال دشمنان سیاسی می‌گرده، به جاش ممکنه اونارو حذف کنید، نابودشون کنین، توی گروه اجتماعیشون ازهم‌ گسیختگی ایجاد کنین، و اونایی هم که باقی می‌مونن پیوستگی و سازمان‌دهی اجتماعی رو از دست می‌دن. حالا توی دنیایی از سلاح‌های رباتیک ارزون و در حالا گسترش، مرزها حفاظت خیلی کمی رو در برابر تهدیدات کشورهای دور یا سازمان‌های جنایتکار فَرا-ملّی فراهم می‌کنن. جنبش‌های مردمیِ به دنبال تغییر می‌تونن زود شناسایی بشن و رهبرانشون قبل از این که تفکراتشون ارزش و بار حساس و حیاتی پیدا کنه نابود بشن. و تفکراتی که دارن ارزش مهمی پیدا می‌کنن،
در واقع همون چیزیه که توی دولت مردمی، فعالیت سیاسی بهش می‌پردازه. سلاح‌های مرگبار ناشناس می‌تونن حرکت مهلک انجام بدن انتخابی آسان برای همه‌ی انواع علائق مورد رقابت. و این می‌تونه آزادی بیان و حرکت‌های سیاسی مردمی رو دل‌سرد کنه، چیزایی که اساس دموکراسی هستن. و به همین دلیله که به یك عهدنامه‌ی بین‌المللی در رابطه با سلاح‌های رباتیک نیاز داریم، و به طور مشخصص‌تر یه منع بین‌المللی برای گسترش و به‌کارگیری ربات‌های کشنده. ما الآن تعهدهای بین‌المللی در رابطه با سلاح‌های هسته‌ای و بیولوژیک داریم، که با وجود نقص‌هایی، باز هم به طور گسترده‌ای کار کرده و تاثیرگذار بوده‌اند. ولی سلاح‌های رباتیک می‌تونن به همون اندازه خطرناک باشن،
چون اون‌ها تقریبا با قطعیت می‌شه گفت که استفاده خواهند شد، و همچنین می‌تونن برای نهادهای دموکراتیک ما نابود کننده باشن، در نوامبر ۲۰۱۲ وزارت دفاع ایالات متحده بخشنامه‌ای صادر کرد که می‌گه در تمامی تصمیمات منجر به مرگ یک انسان باید حاضر باشه. این دستور موقتا و به طور تاثیرگذاری سلاح‌های خودکنترل رو در ارتش ایالات متحده ممنوع کرد، ولی اون بخشنامه باید دائمی بشه. و می‌تونه زمینه رو برای اقدام جهانی فراهم کنه. چون نیاز به چهارچوبی بین‌المللی و قانونی برای سلاح‌های رباتیک دارم. و همین حالا هم بهش نیاز داریم، قبل از این که حمله‌ای ویران‌کننده به وقوع بپیونده یا یک حادثه‌ی تروریستی‌ای رخ بده که باعث بشه ملل جهان
بدون فکر کردن درباره‌ی پیامدهاش بخوان که از این سلاح‌ها استفاده بشه. سلاح‌های رباتیک خودکنترل قدرت بسیار زیادی رو در دستان افراد بسیار اندکی متمرکز می‌کنن که این خودش باعث به خطر افتادن دموکراسی می‌شه. حالا، منظورم رو اشتباه برداشت نکنید، فکر می‌کنم هزاران کاربرد عالی برای پهپادهای غیرمسلح غیرنظامی وجود داره: مونیتور کردن شرایط محیط زیستی، جستجو و نجات، تدارکات. اگه یه عهدنامه‌ی بین‌المللی در رابطه با سلاح‌های رباتیک داشته باشیم، چطور از مزایای پهپادها و وسایط نقلیه‌ی خودکنترل بهره ببریم در همون حال که از خودمون هم در برابر سلاح‌های رباتیک غیرقانونی محافظت می‌کنیم؟ فکر می‌کنم رازش «شفافیت» خواهد بود.
هیچ رباتی نباید توقع حریم خاص خودش رو در یه مکان عمومی داشته باشه. (تشویق حضار) هر ربات و پهپاد باید یک ID با امضای رمزنگاری شده که در کارخونه روی اون ثبت شده داشته باشه که بتونه برای ردیابی حرکاتش در فضاهای عمومی استفاده بشه. ما پلاک‌های شماره رو روی ماشین‌ها و هواپیماها داریم. این هم تفاوتی نداره. و هر شهروندی باید بتونه یک برنامه رو دانلود کنه که تراکم پهپادها و وسایط نقلیه‌ی خودکنترل رو که در فضای عمومی اطراف اون‌ها هم الآن و هم در گذشته دارن حرکت می‌کنن نشون بده. و مدیران شهری باید حسگرها و پهپادهای شهری رو برای
کشف پهپادهای ولگرد به کار بگیرن، و به جای فرستادن پهپادهایی کشنده از نوع خودشون که برن و اونارو سرنگون کنن، باید مردم رو از وجود اون‌ها آگاه کنن. و در مناطق خیلی فوق‌امنیتی خاص، شاید ربات‌های شهری اونارو به تله بندازن و اونا رو تا یک محل انهدام بمب ببرن. ولی دقت کنین، این بیشتر یک سیستم ایمنی‌‌ست تا یه سیستم تسلیحاتی. این به ما اجازه خواهد داد تا به خودمون با استفاده از وسایط نقلیه‌ی خودکنترل و پهپادها سود برسونیم در همون حال که همچنان از جامعه‌ی مدنی و آزاد خودمون حفاظت می‌کنیم. ما باید استفاده و گسترش ربات‌های کشنده رو ممنوع کنیم.
بیاین تسلیم وسوسه‌ی جنگ خودکار نشیم. دولت‌های استبدادی و سازمان‌های جنایتکار بدون شک این کارو خواهند کرد، ولی بیاین ما دیگه به اون‌ها ملحق نشیم. سلاح‌های رباتیک خودکنترل قدرت بسیار زیادی رو در دستان افراد ناشناسِ بسیار اندکی متمرکز می‌کنن، و این برای حکومت منتخب مردم نابودگر خواهد بود. بیاین مطمئن بشیم که، حداقل برای دموکراسی‌ها، ربات‌های کشنده تخیلی باقی بمونن. ممنونم. (تشویق حضار) ممنونم.
I write fiction sci-fi thrillers, so if I say "killer robots," you'd probably think something like this. But I'm actually not here to talk about fiction. I'm here to talk about very real killer robots, autonomous combat drones. Now, I'm not referring to Predator and Reaper drones, which have a human making targeting decisions. I'm talking about fully autonomous robotic weapons that make lethal decisions about human beings all on their own. There's actually a technical term for this: lethal autonomy. Now, lethally autonomous killer robots
would take many forms -- flying, driving, or just lying in wait. And actually, they're very quickly becoming a reality. These are two automatic sniper stations currently deployed in the DMZ between North and South Korea. Both of these machines are capable of automatically identifying a human target and firing on it, the one on the left at a distance of over a kilometer. Now, in both cases, there's still a human in the loop to make that lethal firing decision, but it's not a technological requirement. It's a choice. And it's that choice that I want to focus on,
because as we migrate lethal decision-making from humans to software, we risk not only taking the humanity out of war, but also changing our social landscape entirely, far from the battlefield. That's because the way humans resolve conflict shapes our social landscape. And this has always been the case, throughout history. For example, these were state-of-the-art weapons systems in 1400 A.D. Now they were both very expensive to build and maintain, but with these you could dominate the populace, and the distribution of political power in feudal society reflected that.
Power was focused at the very top. And what changed? Technological innovation. Gunpowder, cannon. And pretty soon, armor and castles were obsolete, and it mattered less who you brought to the battlefield versus how many people you brought to the battlefield. And as armies grew in size, the nation-state arose as a political and logistical requirement of defense. And as leaders had to rely on more of their populace, they began to share power. Representative government began to form. So again, the tools we use to resolve conflict
shape our social landscape. Autonomous robotic weapons are such a tool, except that, by requiring very few people to go to war, they risk re-centralizing power into very few hands, possibly reversing a five-century trend toward democracy. Now, I think, knowing this, we can take decisive steps to preserve our democratic institutions, to do what humans do best, which is adapt. But time is a factor. Seventy nations are developing remotely-piloted combat drones of their own, and as you'll see, remotely-piloted combat drones
are the precursors to autonomous robotic weapons. That's because once you've deployed remotely-piloted drones, there are three powerful factors pushing decision-making away from humans and on to the weapon platform itself. The first of these is the deluge of video that drones produce. For example, in 2004, the U.S. drone fleet produced a grand total of 71 hours of video surveillance for analysis. By 2011, this had gone up to 300,000 hours, outstripping human ability to review it all, but even that number is about to go up drastically. The Pentagon's Gorgon Stare and Argus programs will put up to 65 independently operated camera eyes
on each drone platform, and this would vastly outstrip human ability to review it. And that means visual intelligence software will need to scan it for items of interest. And that means very soon drones will tell humans what to look at, not the other way around. But there's a second powerful incentive pushing decision-making away from humans and onto machines, and that's electromagnetic jamming, severing the connection between the drone and its operator. Now we saw an example of this in 2011
when an American RQ-170 Sentinel drone got a bit confused over Iran due to a GPS spoofing attack, but any remotely-piloted drone is susceptible to this type of attack, and that means drones will have to shoulder more decision-making. They'll know their mission objective, and they'll react to new circumstances without human guidance. They'll ignore external radio signals and send very few of their own. Which brings us to, really, the third and most powerful incentive pushing decision-making away from humans and onto weapons:
plausible deniability. Now we live in a global economy. High-tech manufacturing is occurring on most continents. Cyber espionage is spiriting away advanced designs to parts unknown, and in that environment, it is very likely that a successful drone design will be knocked off in contract factories, proliferate in the gray market. And in that situation, sifting through the wreckage of a suicide drone attack, it will be very difficult to say who sent that weapon. This raises the very real possibility of anonymous war.
This could tilt the geopolitical balance on its head, make it very difficult for a nation to turn its firepower against an attacker, and that could shift the balance in the 21st century away from defense and toward offense. It could make military action a viable option not just for small nations, but criminal organizations, private enterprise, even powerful individuals. It could create a landscape of rival warlords undermining rule of law and civil society. Now if responsibility and transparency are two of the cornerstones of representative government,
autonomous robotic weapons could undermine both. Now you might be thinking that citizens of high-tech nations would have the advantage in any robotic war, that citizens of those nations would be less vulnerable, particularly against developing nations. But I think the truth is the exact opposite. I think citizens of high-tech societies are more vulnerable to robotic weapons, and the reason can be summed up in one word: data. Data powers high-tech societies. Cell phone geolocation, telecom metadata, social media, email, text, financial transaction data,
transportation data, it's a wealth of real-time data on the movements and social interactions of people. In short, we are more visible to machines than any people in history, and this perfectly suits the targeting needs of autonomous weapons. What you're looking at here is a link analysis map of a social group. Lines indicate social connectedness between individuals. And these types of maps can be automatically generated based on the data trail modern people leave behind. Now it's typically used to market goods and services to targeted demographics, but it's a dual-use technology,
because targeting is used in another context. Notice that certain individuals are highlighted. These are the hubs of social networks. These are organizers, opinion-makers, leaders, and these people also can be automatically identified from their communication patterns. Now, if you're a marketer, you might then target them with product samples, try to spread your brand through their social group. But if you're a repressive government searching for political enemies, you might instead remove them, eliminate them, disrupt their social group,
and those who remain behind lose social cohesion and organization. Now in a world of cheap, proliferating robotic weapons, borders would offer very little protection to critics of distant governments or trans-national criminal organizations. Popular movements agitating for change could be detected early and their leaders eliminated before their ideas achieve critical mass. And ideas achieving critical mass is what political activism in popular government is all about. Anonymous lethal weapons could make lethal action an easy choice for all sorts of competing interests.
And this would put a chill on free speech and popular political action, the very heart of democracy. And this is why we need an international treaty on robotic weapons, and in particular a global ban on the development and deployment of killer robots. Now we already have international treaties on nuclear and biological weapons, and, while imperfect, these have largely worked. But robotic weapons might be every bit as dangerous, because they will almost certainly be used, and they would also be corrosive to our democratic institutions. Now in November 2012 the U.S. Department of Defense
issued a directive requiring a human being be present in all lethal decisions. This temporarily effectively banned autonomous weapons in the U.S. military, but that directive needs to be made permanent. And it could set the stage for global action. Because we need an international legal framework for robotic weapons. And we need it now, before there's a devastating attack or a terrorist incident that causes nations of the world to rush to adopt these weapons before thinking through the consequences. Autonomous robotic weapons concentrate too much power
in too few hands, and they would imperil democracy itself. Now, don't get me wrong, I think there are tons of great uses for unarmed civilian drones: environmental monitoring, search and rescue, logistics. If we have an international treaty on robotic weapons, how do we gain the benefits of autonomous drones and vehicles while still protecting ourselves against illegal robotic weapons? I think the secret will be transparency. No robot should have an expectation of privacy in a public place. (Applause) Each robot and drone should have
a cryptographically signed I.D. burned in at the factory that can be used to track its movement through public spaces. We have license plates on cars, tail numbers on aircraft. This is no different. And every citizen should be able to download an app that shows the population of drones and autonomous vehicles moving through public spaces around them, both right now and historically. And civic leaders should deploy sensors and civic drones to detect rogue drones, and instead of sending killer drones of their own up to shoot them down, they should notify humans to their presence.
And in certain very high-security areas, perhaps civic drones would snare them and drag them off to a bomb disposal facility. But notice, this is more an immune system than a weapons system. It would allow us to avail ourselves of the use of autonomous vehicles and drones while still preserving our open, civil society. We must ban the deployment and development of killer robots. Let's not succumb to the temptation to automate war. Autocratic governments and criminal organizations undoubtedly will, but let's not join them.
Autonomous robotic weapons would concentrate too much power in too few unseen hands, and that would be corrosive to representative government. Let's make sure, for democracies at least, killer robots remain fiction. Thank you. (Applause) Thank yo