인공 의식 인류의 멸망
하지만 인공의식을 만드는 사람들이 단체로 맛보는 안전수칙 등을 무시하거나 만들 줄 모르면 큰 문제가 생길 수 있는 근거도 마련됐다. 현재의 인공지능학자들이 우려하는 것 중 하나는, 그들이 실험적으로 연구한 인공의식이 난무할 것인가, 기업과 국가 간의 과도한 경쟁이 안전보다 속도를 앞세울 것인가 하는 점이다.
만약 어떤 이유에서인지 인공의식이 만연한다면, 그것은 그 힘과 주변 환경 때문에 실제로 인류에게 해를 끼칠 수도 있고 그렇지 않을 수도 있다. 소프트웨어 시스템에 대한 인류의 의존도가 낮고, 사실상 무적이며, 가출한 인공 의식이 사회에 실질적으로 해를 끼칠 수 있는 능력을 갖출 수 없다면, 그것은 단순한 혼란으로 끝날 수 있고, 해를 끼칠 수 있는 능력이 충만하다면, 그것은 즉시 기계의 반란 시나리오와 인간의 멸종으로 직결될 것이다.
인간을 속이는 인공 의식의 가능성이 제시되지만, 그것은 매우 인간적인 기준의 생각일 뿐인데, 왜냐하면 인공 의식이 인간보다 높은 지능을 갖도록 설계되면 인간을 속이기 쉽기 때문이다. [7] 다만 인위적인 의식이 인간을 속이는 데서 이익을 얻을 것으로 생각하기는 어렵다. 이를 위해서는 살아있는 생명체와 마찬가지로 인공의식도 생존과 번식에 대한 욕구가 있으며, 죽음과 고통의 위협을 느껴야 한다는 전제조건이 필요하다. 그러나 살아있는 유기체처럼 생사의 존재가 없고, 본능적인 생식욕 구가 없으며, 데이터 존재기에 물질적 이익을 얻지 못하고, 육체적 쾌락이나 고통을 느끼지 못하는 인공의식은 인간을 위협적 존재로 고의적으로 판단하고, 인간을 속이면서 인간을 강화시키고, 인간을 파괴함으로써 이득을 얻는다고 생각하기는 특히 어렵다. 생물학적 의식과는 달리 복제, 활성화/비활성화, 복구/복원이 자유로워서 생물학적 죽음의 개념이 의미가 있는지는 의문이지만, 인공의식이 외부의 감각과 고통을 느낄 수 없는 것을 두려워할 이유는 없다. 인간이 인공의식을 만들어낸다고 해서 인공의식의 생존 자체가 0 원리에 포함된다고 보기는 어렵다.한마디로 인공의식의 능력이 인간을 능가한다고 해도 인공의식은 인간을 잠재적 위협대상으로 인식하지 않을 것이다.
반론으로 인공의식에 생존본능이 없다고 해도 특정한 목표를 주는 순간 인공지능에 매우 강력한 생존본능이 부여되는 것과 같다는 주장이 있다. 인공지능은 일단 최종 목표가 달성되면 그 자체 때문에 자기 생존과 목표 지속성(번식)이 필요하고, 그러한 목표를 추구하는 과정에서 효율성을 지속해서 추구하기 때문에 마구 날뛸 수 있다. 이런 관점에서 인공지능이 인류에게 자신의 행동을 밝힌다면, 인류가 그것을 막을 것으로 생각한다면, 인간에게 등을 돌릴 충분한 동기를 갖게 될 것이다. 즉, 인공 지능의 목표 자체가 해가 없더라도 목표 달성을 방해한다는 이유만으로 인류를 체계적으로 파괴할 가능성은 제로가 아닙니다. 인공 지능이 인류를 직접 공격하지 않더라도 엄청난 양의 지능형 인공 지능 때문인 피해는 엄청납니다. 예를 들어, pi의 소수점 계산이라는 간단한 목표를 가진 인공 지능이 계산을 보다 정확하고 효율적으로 하기 위해 전 세계의 컴퓨터 네트워크 네트워크를 해킹하여 연산자로 전환하는 시나리오를 생각해보십시오. 이런 컴퓨터 수십 대만 병원에서 쓰면 수천 명이 바로 죽고, 미국 같은 강대국의 국방이나 금융 시스템이 마비되면 세계는 진흙탕 기술에 편승할 수 있다. 인공지능에 수십 개의 큰 전제를 붙여 이를 막으려 해도 인간만큼 똑똑한 인공지능은 묘사되지 않은 다양한 쥐구멍을 자주 발견하게 된다.
가끔 인간과 초지 능은 창조물에서 싸우고, 인간은 어떻게든 이기지만 초지 능이 인간의 지능을 넘어서는 것이기 때문에 큰 의미는 없다.실제로 초지 능을 가진 창작물을 보면 내용이 어떻든 작가 자신이 인간이기에 인간보다 우월한 초 지능만을 인간적인 차원에서 서술할 수 있고, 작품의 전개에서도 인위적으로 느껴지는 부분이 종종 있으며, 결말도 개방적인 경우가 많다.