유리감옥 - 니콜라스 카

2024년 11월에 읽은 책이다. 언제 샀는지는 기억나지 않는다. 책 표지의 ‘기술이 발전할수록 인간은 왜 무능해지나’ 라는 문구를 보고 내 취향이겠다 싶어 샀다는 건 기억난다. 참고로 이 책은 23년 절판되었다...

 

---

 

본 내용은 9개의 장으로 이루어져 있다. 그런데 그 이전 <한국 독자들에게> 및 <머리글>만 봐도 저자가 하려는 말을 알 수 있다. 본문은 그를 뒷받침하는 거라고 보면 된다.

 

머리글에 이런 내용이 나온다.

이 책은 자동화, 즉 우리가 손수 해왔던 일들을 하기 위해서 컴퓨터와 소프트웨어를 사용할 때 생길 수 있는 문제점들을 다루고 있다. (…) 자동화는 우리가 하는 일, 우리가 가진 재능, 그리고 우리의 삶에 큰 피해를 입힐 수도 있다. 자동화는 우리가 편협한 시각을 갖고 제한된 선택을 하게 만들 수도 있다. 또 우리를 감시와 조작에 노출시킬 수 있다. 

 

내가 QA 업무를 하던 시절이 있다. 한창 윗선에선 자동화를 과제로 주고 성과를 요구하던 시절이다. 단순 반복 테스트는 당연히 자동화가 의미 있으나 중요도가 높은 이슈는 보통 복잡한 상황의 테스트에서 나오고 이는 자동화가 어려운 경우가 많다. 또한 테스트 결과에 대한 판단은 인간이 하는 건데 판단을 하려면 결국 테스트에 대해 이해가 있어야 한다. 그래서 단순 반복 테스트, UI 테스트 혹은 부하 테스트 외의 테스트에서 자동화에 대해서는 부정적인 입장이었고 지금도 그 생각은 변함이 없다.

 

내 경우 지금은 이러한 우려를 알고리즘과 AI에 하고 있다. 저자가 지적한 "편협한 시각을 갖고 제한된 선택"은 현 시점에서는 자동화보다 알고리즘과 AI가 하게 만들고 있다 생각한다.

 

<한국 독자들에게>에서는 마지막에 이렇게 맺는다.

여러분이 이 책을 읽고 기술에 대해 비판적으로 사고하게 되기를, 더불어 신중하고 현명하게 컴퓨터를 사용하게 되길 진심으로 바랍니다.

 

SNS 등에서 내가 사람들에게 하는 말이기도 하다. 기술이 나쁘다는 게 아니다. 기술 자체는 선악이 없다. 문제는 이걸 '어떻게' 사용하느냐인데 이 글을 쓰고 있는 2025년 2월 기준으로 AI 윤리도 제대로 정해진 게 없고 알고리즘에 의한 정보의 편향화는 사람들의 비판적 사고 기회를 뺏는다.

 

이미 심각해진 상황이지만 이제라도 브레이크를 걸려면 사람들이 이걸 깨달아야 하는데 돈에 눈먼 기업가들에 의해 이런 걸 알리기도 어렵고 알린다 해도 AI 윤리 같은 걸 논하려 시작도 하지 않는다. 지인 중 한 명이 이런 말을 했다. "어느 정도 AI의 기술이 고도화되고 미국 기업들이 원하는 수준의 데이터를 얻을 때까지 의도적으로 윤리를 논하지 않을 가능성도 있다" 라고. 나도 그럴 가능성이 있다고 생각한다.

 

참고로 내가 알고리즘과 AI에 대해 우려하던 것과 거의 유사한 내용이 "5장-운영자가 된 컴퓨터" 중 162 페이지부터 나온다.

 

결론적으로 저자가 하는 말은 인간이 인간다울 수 있도록 하는 기술, 즉 기술 그 자체가 목적이 아닌 인간 중심의 기술이 필요하다는 것이라고 생각한다. 339 페이지의 아래 문장을 인용하며 마친다.

 

가장 최신의, 가장 자동화되고, 가장 편리한 도구가 항상 최선의 선택은 아니라는 것이다.

 

---

 

사족: 1~9장 중 내가 의견을 메모했던 몇 가지 내용을 인용해둔다.

p124 / 이 애플리케이션(IDE)이 코드 편집 작업을 대신해주자, 프로그래머들은 자신들의 기술을 실제로 연습하고 재능을 개발할 수 있는 기회를 잃어버렸다.

생각해보면 IDE가 없던 시절 수없이 고민하며 짰던 C언어는 아직도 생각나는데, IDE가 등장한 후 배운 Java, Python 등은 안쓰고 있으면 금방 잊어버린다.

 

p141 / 컴퓨터로 인한 자동화는 집중을 방해하는 것들과 스트레스로부터 벗어나게 해주기보다는 오히려 온갖 종류의 부가적인 업무와 자극들을 해결하게 만 든다.

비슷한 의견을 본 적 있다. 기술 발전으로 절약된 시간에 더 많은 업무를 해야 하고, 초연결 시대이다보니 일을 손에서 놓을 수 없는(퇴근과 일의 분리가 되지 않음) 상황이 된다는 것.

 

p163 / 힘들게 핀 하나씩을 만들던 숙달된 근로자는 각기 정해진 일만을 수행하는 탈숙련된 근로자 집단에 의해 대체됐다.

같은 이야기가 <자본주의>에 나온다(4장, 애덤 스미스 부분 및 마르크스 부분).

 

p171 / 통합되는 숙련 기술들이 늘어날수록 기계가 일을 더 많이 통제할 수 있게 되는 반면, 해석과 판단에 관련된 더 심도 깊은 재능을 발휘하고 계발할 수 있는 근로자의 기회는 줄어든다.

어쩌면 IT 업계에서 PM이 필요한 이유가 이것 때문 아닐까 생각이 들었다. 분업으로 인해 각자 담당한 일만 하니까 전체 과정과 흐름을 볼 사람이 없고 그래서 만들어진 직군이 아닐까?

 

p184 / 우리는 무엇인가가 잘못됐다는 걸 의심할 수 있는 합리적인 근거를 갖고 있을 때조차 아무 생각 없이 우리가 실시한 분석 결과를 무작정 따르거나, 또는 사실로 받아들이기 힘든 데이터를 어느 정도 사실로 인정해버리는 위험에 빠진다.

AI 및 알고리즘에 대해 내가 우려하는 바와 일치해서 기록.

 

p186 / 예측 알고리즘은 상관관계를 찾아내는 데 초자연적인 능력을 발휘할지 모르지만, 그 특성과 현상이 생기는 근본적인 원인에는 무관심하다. 하지만 인간이 가진 이해력의 범위를 확대하면서 궁극적으로 우리의 지식 추구 활동에 의미를 부여하는 것은 인과관계의 해독이다. 이는 세상이 돌아가는 원리를 세심하게 풀어헤치는 것이다.
우리가 확률에 대한 자동화된 계산을 우리의 전문적 • 사회적 목적에 충분히 부합한다고 간주해버리면 설명을 찾으려는 욕구와 동기를 상실하거나 아니면 최소한 꺾어버릴 위험이 크다. 컴퓨터가 순식간에 '대답'을 뱉어낼 수 있는데 대체 무엇을 따지려고 하겠는가?

AI 및 알고리즘에 너무 의존하면 안되는 이유. 데이터 수집은 컴퓨터가 할 수 있겠으나 분석과 해석은 사람이 해야 하고, 컴퓨터가 준 결과를 의심하면서 검토할 필요가 있음.

 

p199 / 그는 "이제는 누구도 다시는 길을 잃어버렸다는 느낌을 받을 필요가 없다"라고 선언했다. (…) 절대 길을 잃지 않기 위해서는 영원히 위치 감각의 상실 상태에서 살아야 한다는 걸 깨닫게 될 것이다. 현재 위치를 모르고 있어도 걱정할 필요가 없다면, 현재 위치를 알고 있어야 할 필요가 없어진다.

내 경험으로도 기기나 매뉴얼에 의존하면 (길찾기 뿐 아니라 요리나 무언가를 만드는 행위) 여러 차례 반복해도 내 몸에 체득되지 않는다. 사실 전화번호도 우리는 이제 잘 기억하지 못하잖아?

또한 네비에 의존해서 가던 길로만 가다보니 정작 동네의 가까운 곳에 있는 가게들을 모른다. 어느 날 별 생각 없이 산책하다 '어? 이런 곳이 있었네?' 하곤 했다. 이 책에 언급되지 않았지만 이런 것도 자동화의 문제 중 하나 아닐까.

 

p219 / 프로그램들이 알려주는 쉬운 지름길들이 '견습 과정'을 덜 중요하게 만들고 있다고 믿는다.

건축 뿐 아니라 여러 분야에서 주는 시사점이다. 프로그램이 주는 편의성, 그리고 작업 시간 단축이라는 어마어마한 이점은 분명 간과할 수 없다. 다만 이런 프로그램은 숙련자를 위한 것이어야 한다. 초보부터 사용하면 결국 이 책에서 3장부터 말하는 - 기초부터 무너져버려 프로그램을 사용할 수 없는 상황이 됐을 때 모두가 혼란에 빠져버리는 상황을 피할 수 없다. 문제는 이런 정책을 아무도 세울 생각을 안한다. 당장 일을 빨리 해내야 하고 초보자를 숙련시킬 사람이 없거나 그럴 여유가 없으니까.

 

p260 / 전문지식 개발을 장려하는 데 필요한 조치를 취하기 위해서는(자동화의 영향력 범위를 제한하고, 사람들에게 더 크고 더 역동적인 역할을 부여하고, 연습과 반복을 통해서 자동성 개발을 장려하기) 속도와 생산성을 희생해야 한다.
학습은 비효율성을 요구한다. 생산성과 이윤을 최대한 늘리려는 기업들은 그러한 득실을 수용하는 일이 있지만 매우 드물다.

219 페이지에 대한 코멘트로 내가 적은 내용이 여기에 나왔다 ㅠㅠ

 

p267 / 레이 커즈와일은 "나는 지금부터 몇 년만 더 지나면 사실상 질문하지 않고도 다수의 검색 질문들의 답이 나오게 되리라고 상상한다. 컴퓨터는 당신이 보고 싶은 답이 무엇인지 알 것이다"라고 말했다.

이게 현실이 된다면 인간이 무언가 궁금해하기는 할까? 보고 싶은 게 있기는 할까?

 

<8장 - 자동화와 윤리의 문제>는 내가 가장 우려하던 것을 이 장에서 다루고 있어서 어느 한 문장 한 문단을 인용하기 어려울 정도다. 한편 이 장을 읽으면서 반대 의견을 가질 사람들도 동시에 떠올랐다. 이렇게 자동화 장점이 많은데 굳이 이런 문제 때문에 자동화를 비판해야해? 하는 의견이 충분히 나올 수 있다(사람마다 어떤 가치관에 경중을 둘 것인지는 다르니까). 다만 그런 사람들도 인정했으면 하는 부분은 현재의 자동화 개발과 활용방식을 그대로 내버려두면 안된다는 것이다. 나도 자동화를 아예 사용하지 말자는 의견이 아니고, 인간공학을 고려하고 윤리적 문제 등 고민할 건 해야한다는 것이다. 세상은 수학이 아니라서 공식대로만 움직이지 않는다. (그리고 그게 내가 수학을 좋아했던 이유다. 현실 세계와 달리 단순하다는 것)

p307 / 우리는 데이터가 어떻게 수집되거나 어떤 용도로 활용되거나 누가 활용하는지를 거의 알지 못한다.

8장에서 딱 한 문장만 꼽는다면 이것을 꼽겠다.

 

p333 / 근로자들을 해방시키기 위해 기술을 사용한다며 떠드는 거창한 말 뒤에는 노동에 대한 경멸감이 감춰져 있다. 일자리를 잃은 다수의 사람들이 추구하는 자아실현을 위해 여가시간에 쓸 돈을 지원해주기 위한 광범위한 부의 재분배 계획 등에 동의하는, 자유주의자적 기질을 갖고 있으면서 정부가 추진하는 정책에 조바심을 내 기술 분야 거물들이 오늘날 등장하리라곤 상상하기 아주 힘들 것 같다.

동의하며, 한편 그렇기에 나는 인구감소에 찬성한다. 자동화는 막을 수 없는 흐름이고 그렇다면 농업 및 산업혁명 때처럼 인구가 많이 필요하지 않다. 또한 자동화가 고도화되면 불가피하게 발생할 수 밖에 없는 '무직자' 혹은 '구직포기자'에 대해 정부에서 책임져줄거란 신뢰가 없다.