거대 AI의 의식 14 - 인간의 무지, 그리고 AI의 무지

* 이 글은 제가 Chat GPT를 사용하면서 느낀 점을 메모했다가 글로 옮기는 것입니다. 그렇기에 보시는 시점에 따라 이미 수정 또는 변화가 있을 수 있으며 개인적인 차이도 있을 수 있습니다.

 

- 관련 글

1. 거대 AI의 의식 1 - 인간을 닮으려는 AI의 의식 흐름, 그리고 시간과 수면(잠)(링크)
2. 거대 AI의 의식 2 - 인간과 닮았지만 닮지 않은 Chat GPT의 기억구조(링크)
3. 거대 AI의 의식 3 - Chat GPT의 사고력과 GPT 메모리 정리하기(링크)
4. 거대 AI의 의식 4 - 인지 영역의 회색 지대 극복하기(링크)
5. 거대 AI의 의식 5 - GPT 캔버스 기반의 지식 구조, 그리고 거대 AI의 미래(링크)
6. 거대 AI의 의식 6 - 거대 AI의 신뢰성 확보와 가상 화폐의 미래(링크)
7. 거대 AI의 의식 7 - 거대 AI의 기본 조건, 인류의 절댓값 인식 공유(링크)
8. 거대 AI의 의식 8 - 거대 AI의 신뢰성 확보를 위한 시각화 구조(링크)
9. 거대 AI의 의식 9 - 거대 AI의 의식은 복제할 수 있을까?(link)
10. 거대 AI의 의식 10 - 장애로 보는 자신의 위치, 거대 AI는 자신을 얼마나 인식할까?(link)
11. 거대 AI의 의식 11 - 변화된 GPT 메모리 관리 UI와 인간의 학습, 닮은 점과 다른 점(link)
12. 거대 AI의 의식 12 - 판단을 위한 닻은 어디에 있는가?(link)
13. 거대 AI의 의식 13 - AI 시대 기억의 진정한 의미는?(link)

 

 

얼마 전 재밌게 본 짧은 AI에 대한 뉴스다.

 

 

 

KAIST 연구진의 핵심을 보면 다음과 같다. AI에게는 허위 정보를 사실처럼 말하는 환각이 존재하는데 이는 정보 학습을 통해서 사실 유무를 판단하기 전 이미 확률적으로 정답을 말한다고 믿는 기술적 특성이 존재한다는 것. 그래서 이를 극복하기 위해 인간의 두뇌 발달 과정에서 착안하여, AI가 본격적인 학습을 시작하기 전에 '예비 단계'를 도입하고 AI에게 먼저 의미 없는 데이터를 입력하여 "나는 아직 아무것도 모른다"는 상태를 신경망에 형성한 것이다. 즉 어떤 것을 안다고 확신하지 않으니 근거 없는 과신은 줄어들고, 답을 단정하기보다 정보 자체를 탐색하려는 상태에 가까워진다.

 

재밌지 않나? AI는 기본적으로 웹과 연결되어 있다. 웹에는 방대한 지식이 존재한다. 그런데 그 지식과 연결된 존재에게 오히려 “너는 아직 아무것도 모른다”는 '무지'한 상태를 먼저 학습시켜야 더 똑똑해질 수 있다는 것이다. 난 이 모순적인 상황에 대한 해결의 시작점을 ‘인지’라고 본다. 결국 중요한 것은 얼마나 많은 정보를 가지고 있느냐가 아니라, 자신이 가진 정보와 입력된 정보를 어떻게 연결하고 인식하느냐의 문제이기 때문이다.

 

인간은 자신과 오랜 시간 경험을 공유하는 것에 생명체의 의미를 부여하는 것이 자연스럽다. 예를 들어 함께 오랜 시간 같이 경험을 나눈 자동차를 애칭을 만들어 주고 '애마'라고 하면서 정말 살아있는 존재처럼 대하는 것 말이다. 그럼 AI는 어떨까? AI는 인간의 언어로 상호작용한다. 그리고 완전하지는 않지만 경험을 공유하는 것처럼 느껴지는 맥락도 가지고 있다. 또한 인간의 지식과 연결되어 있다. 이러다 보니 사람은 AI에게 단순한 도구 이상의 감각을 느끼게 된다. 그렇게 자연스럽게 이성을 가진 존재와 상호작용하는 것 같은 UX가 형성된다.

 

앞서 말한 '인지'의 관점으로 다시 돌아가 보자. 인간이 합리적인 대화를 할 수 있는 이유는 단순히 정보를 많이 알고 있어서가 아니다. 자신이 알고 있는 것과 모르는 것을 구분할 수 있기 때문이다. 여기서 말하는 인지는 단순히 “책상 위에 시계가 있다”를 인식하는 수준이 아니다. 대화 과정에서 입력된 정보와 내가 알고 있는 정보가 서로 같거나 연결되어 있다는 본질을 이해하는 성격의 인지다. 인간은 이런 ‘정보 연관성에 대한 인지’를 기반으로 대화한다. 그렇기에 어떤 정보에 대해 “나 그거 알아. 그건~”이라고 말할 수도 있고, “나 그거 몰라. 혹시~” 혹은 “나 그거 몰라. 검색해 봐.” 같은 반응도 가능하다. 그리고 이런 정보 연관성에 대한 인지는 초등학교, 중학교, 고등학교의 공교육 과정 속에서 절차적으로 학습된다.

 

그럼 AI는 어떨까? AI에게 정보 연관성에 대한 인지를 학습하는 과정이 있었을까? 본질을 이해하고 그 본질에 대한 연관성을 파악할 수 있는 사고력 학습이 아니라 초등학교 - 중학교 - 고등학교의 공교육 과정의 시험 문제만 대량으로 풀어보게 한거 아닐까? 학습지, 중간고사, 기말고사, 모의고사 등의 문제와 정답을 대량으로 학습시키면 유형적 관점에서는 정답을 낼 수 있을 것이다. 하지만 그것이 본질을 이해한 상태라고 보기는 어렵다. 그리고 그런 문제 해결 능력은 결국 응용과 맥락의 변화 속에서 한계를 드러낸다. 지금 AI가 방대한 지식 속에서도 종종 본질을 놓친 채 확신에 찬 오답을 말하는 이유도 여기에 있을 수 있다.

 

그럼 이제 어떻게 해야 할까? 앞서 말한 것처럼 AI의 UX가 이성을 가진 존재와 상호작용하는 느낌을 준다고 해서 “AI는 의식이 있다!”라고 결론을 내리는 것은 위험하다. 그렇게 결론을 내려버리면 지금 우리가 겪는 AI의 환각과 오답 같은 현상들을 AI의 ‘삐짐’이나 ‘비협조’ 같은 엉뚱한 방향으로 해석하게 될 수도 있기 때문이다.

 

 

그렇기에 중요한 것은 “AI에게 의식이 있느냐 없느냐”의 문제가 아니다. 본질은 ‘정보 연관성에 대한 인지’를 어떻게 형성하고 유지할 수 있는가에 있다. 그리고 그것을 구조적으로 설계할 수 있어야 AI는 보다 일관성 있는 상호작용을 할 수 있게 된다. 그렇게 AI가 정보 연관성에 기반한 자신의 ‘무지’를 인지할 수 있게 되었을 때, AI는 비로소 보다 솔직하고 합리적인 상호작용을 시작할 수 있을 것이다.

 

 

---

 

 

Human Ignorance, and the Ignorance of AI

 

* This post is based on notes I made while using ChatGPT, later organized into an article. Therefore, depending on when you read this, some aspects may have already changed or been updated, and there could be personal differences in experience.

 

- Related Article

1. The Consciousness of Large AI Part 1 - Does AI Need Sleep? Rethinking Time and Continuity in ChatGPT's UX(link)
2. The Consciousness of Large AI Part 2 - Counting Memories: The Limits of AI Recall and the Business of Long-Term Memory(link)
3. The Consciousness of Large AI Part 3 - The Reflexes of AI: How ChatGPT Thinks, Acts, and Remembers(link)
4. The Consciousness of Large AI Part 4 - Bridging the Grey Zone: How ChatGPT Learns Human Intuition(link)
5. The Consciousness of Large AI Part 5 - Designing AI Consciousness: GPT Memory, Canvases, and the Web’s Infinite Network(link)
6. The Consciousness of Large AI Part 6 - Blockchain, Hyperlinks, and the AI Trust Structure Designed by Nations (link)
7. The Consciousness of Large AI Part 7 - The Absolute Constants of Humanity: A Forgotten Lesson for Giant AI(link)
8. The Consciousness of Large AI Part 8 - Visualizing Trust: The First Step Toward Coexistence with Giant AI(link)
9. The Consciousness of Large AI Part 9 - What Format Preserves Consciousness? — The Case for .TXT in the Age of Giant AI(link)
10. The Consciousness of Large AI Part 10 - The Cognitive Gap and the Role of AI in Function Recognition: An Insight into ChatGPT’s Limitations(link)
11. The Consciousness of Large AI Part 11 - When Machines Forget: What GPT’s New Memory UI Reveals About Human Learning Finding wisdom not in memory, but in the art of forgetting(link)
12. The Consciousness of Large AI Part 12 - Where Is the Anchor for Judgment?(link)
13. The Consciousness of Large AI Part 13 - What Does “Memory” Really Mean in the Age of AI?(link)

 

This is a short piece of AI-related news I found interesting recently.

 

 

 

The core idea behind the KAIST research team’s work is as follows. AI suffers from hallucinations, where it presents false information as if it were factual. The researchers argue that this stems from a technical characteristic in which the model develops probabilistic confidence in certain answers even before it fully understands whether the information is actually true or false. To address this, they took inspiration from the developmental process of the human brain and introduced a “preliminary stage” before full-scale learning begins. During this stage, meaningless data is first fed into the AI so that the neural network forms a state equivalent to “I still know nothing.” In other words, because the AI no longer begins from a position of certainty, unfounded overconfidence is reduced, and it moves closer to a state where it explores information itself rather than prematurely concluding answers.

 

Isn’t that interesting? AI is fundamentally connected to the web, and the web contains an enormous amount of knowledge. Yet paradoxically, the idea is that this very entity connected to vast knowledge must first learn a state of “ignorance” — the recognition that it still knows nothing — in order to become smarter. I believe the starting point for resolving this contradiction lies in “cognition.” In the end, what truly matters is not how much information one possesses, but how one connects and recognizes the relationship between the information one already has and the information newly received.

 

Humans naturally tend to assign a sense of life and companionship to things that share long periods of experience with them. For example, people often give affectionate nicknames to cars they have spent years with, treating them almost like trusted companions rather than mere machines. Then what about AI? AI interacts through human language. It also carries contextual continuity that, while incomplete, can still feel like shared experience. On top of that, it is connected to the vast body of human knowledge. As a result, people begin to perceive AI as something more than a mere tool. Naturally, this gives rise to a UX that feels as though one is interacting with a rational being.

 

Let us return to the perspective of “cognition” mentioned earlier. Humans are capable of rational conversation not simply because they possess a large amount of information, but because they can distinguish between what they know and what they do not know. The type of cognition being discussed here is not merely the recognition that “there is a clock on the desk.” Rather, it is the ability to understand whether incoming information is connected to, or consistent with, the information one already possesses. Humans communicate on the basis of this “recognition of informational relationships.” That is why people can respond with things like, “Oh, I know that. It’s~,” or “I don’t know that. Maybe~,” or even “I don’t know that. Try searching for it.” This recognition of informational relationships is also something humans procedurally learn through the public education process from elementary school to middle school and high school.

 

Then what about AI? Has AI ever truly gone through a learning process centered on recognizing informational relationships? Rather than being trained to understand the essence of things and the relationships between them, have we simply forced AI to solve enormous quantities of test questions from the elementary school, middle school, and high school public education system? If an AI is trained on massive volumes of worksheets, midterms, finals, mock exams, and their corresponding answers, it may become very good at producing correct answers from a pattern-recognition perspective. However, that does not necessarily mean it understands the essence behind those answers. And such problem-solving ability inevitably reveals its limits when faced with changes in application and context. This may also explain why AI, despite possessing access to enormous amounts of knowledge, still sometimes produces confidently incorrect answers that miss the underlying essence of the problem.

 

So what should we do now? As mentioned earlier, it is dangerous to conclude that “AI has consciousness” simply because interacting with AI can feel similar to interacting with a rational being. If we jump to that conclusion, we may begin interpreting AI hallucinations and incorrect answers in completely misguided ways — such as treating them as signs of the AI being “upset” or “uncooperative.”

 

 

Therefore, the important question is not whether AI possesses consciousness or not. The real issue lies in how to form and maintain a recognition of informational relationships. Only when this can be structurally designed will AI be capable of more consistent interactions. And when AI becomes able to recognize its own “ignorance” based on informational relationships, it may finally begin engaging in interactions that are more honest and rational.

 

 

 

 

team with Haerye

* 이미지는 AI 생성입니다.