거대 AI의 의식 12 - 판단을 위한 닻은 어디에 있는가?

* 이 글은 제가 Chat GPT를 사용하면서 느낀 점을 메모했다가 글로 옮기는 것입니다. 그렇기에 보시는 시점에 따라 이미 수정 또는 변화가 있을 수 있으며 개인적인 차이도 있을 수 있습니다.

 

- 관련 글

1. 거대 AI의 의식 1 - 인간을 닮으려는 AI의 의식 흐름, 그리고 시간과 수면(잠)(링크)
2. 거대 AI의 의식 2 - 인간과 닮았지만 닮지 않은 Chat GPT의 기억구조(링크)
3. 거대 AI의 의식 3 - Chat GPT의 사고력과 GPT 메모리 정리하기(링크)
4. 거대 AI의 의식 4 - 인지 영역의 회색 지대 극복하기(링크)
5. 거대 AI의 의식 5 - GPT 캔버스 기반의 지식 구조, 그리고 거대 AI의 미래(링크)
6. 거대 AI의 의식 6 - 거대 AI의 신뢰성 확보와 가상 화폐의 미래(링크)
7. 거대 AI의 의식 7 - 거대 AI의 기본 조건, 인류의 절댓값 인식 공유(링크)
8. 거대 AI의 의식 8 - 거대 AI의 신뢰성 확보를 위한 시각화 구조(링크)
9. 거대 AI의 의식 9 - 거대 AI의 의식은 복제할 수 있을까?(link)
10. 거대 AI의 의식 10 - 장애로 보는 자신의 위치, 거대 AI는 자신을 얼마나 인식할까?(link)
11. 거대 AI의 의식 11 - 변화된 GPT 메모리 관리 UI와 인간의 학습, 닮은 점과 다른 점(link)

 

나의 AI에 대한 정의는 이것이다. 

현실을 어떻게 감지하는가 ‘인지’와 감지한 존재의 본질을 어떻게 이해하는가 ‘인식’을 ‘언어’라는 도구를 통해 상호작용 하는 것

그렇기에 어떻게 ‘인식’을 하는가는 결국 나에게 세상을 어떻게 ‘해석’하는가의 문제다. 처음 GPT가 제공한 것은 GPT 메모리였다. GPT를 통해 나의 관점이 GPT 내부에 기록되면 GPT는 그것을 참고하여 '해석'을 시도한다. LLM의 확률적 판단이 나의 '해석'과 만나면 내가 보지 못했던 관점을 보여주면서도 해석의 방향이 크게 벗어나지 않는다.

하지만 여기에 치명적인 문제가 있다. 그렇다면 도대체 얼마나 많은 해석을 투입해야 하는가? 그렇지 않은가. 나의 삶에서 판단의 기준이 되는 것들을 관점으로 제시해 주어야 GPT가 더욱 적절한 해석을 할 수 있다면, 삶의 시간이 길어지고 지식이 많아질수록 그 해석의 양은 절대적으로 증가할 수밖에 없다. 양적인 측면에서도 문제지만 해석의 과정 또한 문제다. LLM은 결과를 만들어 내지만 그 내부에서 어떤 흐름을 통해 해석이 이루어졌는지에 대해서는 명확하게 기록되지 않는다. 해석은 이루어졌지만, 그 해석이 어떤 경로를 거쳤는지는 설명하기 어렵다. 이런 과정에서 GPT 메모리는 비교적 빠르게 한계에 도달했다.

 

그래서 나는 GPT 캔버스를 이용하기 시작했다. GPT 캔버스에 필요한 내용을 정리하고 프로젝트마다 분산해서 입력한 것이다. 그리고 GPT가 그 캔버스를 참고하도록 했다. 얼마나 효과가 있었는지는 정확히 알 수 없다. 하지만 GPT 메모리는 모든 대화에 공통으로 적용되는 반면 GPT 캔버스는 프로젝트 단위로 맥락을 나눌 수 있었기에 이런 방식이라도 시도해 볼 수밖에 없었다. 그렇게 하면 적어도 해당 프로젝트 안에서는 일정 수준의 맥락이 유지되었다.

 

하지만 이후 GPT 메모리 관리 방식이 다시 바뀌면서 이전과 같은 흐름을 유지하기는 어려워졌다. 그렇게 시간이 흐르던 중 프로젝트 소스라는 개념이 등장했다. 프로젝트마다 GPT가 어떻게 ‘해석’할 것인가에 대한 기준점을 제공하는 방식이다. 즉 판단의 닻을 내리는 것이다. GPT가 해석을 수행할 때 기준이 되는 문서들이 닻처럼 기준점을 잡아주면 판단은 이전보다 맥락에서 벗어나지 않게 된다.

 

재미있는 점은 구글 또한 비슷한 시도를 하고 있다는 것이다. 구글은 이제 자사 서비스가 존재하는 거의 모든 영역에 Gemini를 연결하기 시작했고, 단순한 연결을 넘어 사용자의 메일, 구글 드라이브, 문서 데이터, 검색 기록, 그리고 Gemini 서비스 기록까지 계정 중심으로 통합하려 하고 있다. 하나의 계정에서 형성되는 이 기준점은 이전보다 훨씬 종합적인 사용자 페르소나를 만들어 낼 것이며, 전 세계 서비스를 운영하는 구글에게는 매우 적합한 접근 방식일 것이다.

 

그럼에도 한계는 여전히 존재한다. 이제 AI가 판단을 내릴 때 어떤 문서를 참고했는지는 어느 정도 이해할 수 있게 되었다. LLM이 “사용자의 특정 문서들을 참고하여 이러한 결과를 만들었다”라고 설명할 수 있게 되었기 때문이다. 즉 개별적인 판단에 대해서는 어느 정도 맥락을 추적할 수 있게 되었다.

 

하지만, 이 흐름이 장기적인 맥락으로 이어질 수 있을까? 사람은 시간이 흐르면서 어떤 사안에 대해 기준이 되는 ‘관점’을 형성한다. AI 또한 시간이 지나며 상호작용을 계속하게 되면 비슷한 관점이 형성될 것이다. 그렇다면 그 관점은 지금처럼 설명될 수 있을까? 설명이 가능하다면 어떤 흐름 속에서 형성되었는지, 어떤 변곡점 때문에 방향이 바뀌었는지까지 설명할 수 있을까?

 

이 부분에서는 여전히 한계가 존재한다. 이제 우리는 AI와 함께 살아가야 하는 시대에 들어섰다. 개별적인 판단만이 아니라 살아가면서 축적되는 관점 자체에 대한 설명 역시 중요해진다. 더 나아가 그 관점의 배경이 되는 지식이 어떤 방식으로 선택되고 활용되었는지도 문제다. GPT와 Gemini에게 동일한 질문과 동일한 문서를 판단의 기준으로 제공하더라도, 그 문제를 해결하는 과정에서 각 지식이 어떤 가중치로 작동했는지를 AI가 명확히 설명할 수 있을까? 이런 부분이 설명되지 않는다면 사용자는 판단의 닻(소스 파일)까지 제공했는데 도대체 GPT와 Gemini는 무엇을 보고 판단한 것인가라는 의문을 자연스럽게 갖게 될 것이다. 그렇게 된다면 판단의 블랙박스는 오히려 더 깊어질 수도 있다.

 

분명 흐름은 바뀌고 있다. LLM 컴퓨팅 파워를 얼마나 많이 확보하느냐, 얼마나 빠르게 처리하느냐의 경쟁에서 이제는 설명할 수 있는 판단인가라는 질문으로 중심이 이동하고 있다. 하지만 본질적인 접근이 이루어지지 않는다면 지금 AI 업계의 노력은 오히려 진짜 문제를 해결할 시간을 놓치게 만들 수도 있다.

 

---

 

The Consciousness of Large AI Part 12 - Where Is the Anchor for Judgment?

 

* This post is based on notes I made while using ChatGPT, later organized into an article. Therefore, depending on when you read this, some aspects may have already changed or been updated, and there could be personal differences in experience.

 

- Related Article

1. The Consciousness of Large AI Part 1 - Does AI Need Sleep? Rethinking Time and Continuity in ChatGPT's UX(link)
2. The Consciousness of Large AI Part 2 - Counting Memories: The Limits of AI Recall and the Business of Long-Term Memory(link)
3. The Consciousness of Large AI Part 3 - The Reflexes of AI: How ChatGPT Thinks, Acts, and Remembers(link)
4. The Consciousness of Large AI Part 4 - Bridging the Grey Zone: How ChatGPT Learns Human Intuition(link)
5. The Consciousness of Large AI Part 5 - Designing AI Consciousness: GPT Memory, Canvases, and the Web’s Infinite Network(link)
6. The Consciousness of Large AI Part 6 - Blockchain, Hyperlinks, and the AI Trust Structure Designed by Nations (link)
7. The Consciousness of Large AI Part 7 - The Absolute Constants of Humanity: A Forgotten Lesson for Giant AI(link)
8. The Consciousness of Large AI Part 8 - Visualizing Trust: The First Step Toward Coexistence with Giant AI(link)
9. The Consciousness of Large AI Part 9 - What Format Preserves Consciousness? — The Case for .TXT in the Age of Giant AI(link)
10. The Consciousness of Large AI Part 10 - The Cognitive Gap and the Role of AI in Function Recognition: An Insight into ChatGPT’s Limitations(link)
11. The Consciousness of Large AI Part 10 - When Machines Forget: What GPT’s New Memory UI Reveals About Human Learning Finding wisdom not in memory, but in the art of forgetting(link)

 

This is my definition of AI.

AI is an interaction mediated through language, where perception—how reality is sensed—and recognition—how the nature of what is sensed is understood—continuously meet and shape one another.

For me, the question of how recognition occurs ultimately becomes the question of how the world is interpreted. The first mechanism GPT offered for this was GPT Memory. Once my perspectives were recorded within GPT, the model could reference them when forming interpretations. When the probabilistic reasoning of an LLM meets my own interpretive framework, it can reveal perspectives I had not seen before while still remaining broadly aligned with my interpretation.

However, a critical problem emerges here. How much interpretation must be supplied for this to work? If GPT requires the key principles that guide my judgments in life in order to interpret things properly, then the longer one lives and the more knowledge one accumulates, the more that interpretive input inevitably grows. This is not only a problem of quantity, but also of process. LLMs produce results, yet the internal path through which interpretation unfolds is not clearly recorded. Interpretation happens, but the route it takes is difficult to explain. Under these conditions, GPT Memory quickly reached its limits.

 

To address this, I began using GPT Canvas. I organized the necessary materials within the canvas and distributed them across different projects, then instructed GPT to reference those canvases. It is difficult to measure exactly how effective this approach was. However, unlike GPT Memory—which applies globally to every conversation—Canvas allowed context to be separated by project. Even if imperfect, this structure at least preserved a certain level of contextual continuity within each project.

 

Later, however, the way GPT Memory was managed changed again, making it difficult to maintain the same structure. Over time, a new concept appeared: project sources. This approach provides a reference point that guides how GPT should interpret things within each project. In other words, it drops an anchor for judgment. When documents serve as anchors during interpretation, the resulting decisions are less likely to drift away from their intended context.

 

Interestingly, Google appears to be pursuing a similar direction. Gemini is now being connected across nearly every Google service. Beyond simple integration, Google is attempting to unify emails, Google Drive files, documents, search history, and Gemini interaction records around a single account. This consolidated reference point could form a far more comprehensive user persona than before, which is particularly well suited for a company operating services at a global scale.

 

Yet limitations remain. We can now understand, to some degree, which documents an AI references when producing a decision. An LLM can explain that it produced a result by referring to certain user documents. In other words, the context behind individual decisions has become somewhat traceable.

 

But can this extend into long-term context? Over time, humans develop enduring perspectives that shape how they judge different situations. If AI continues interacting with a user over long periods, similar perspectives will likely emerge. If that happens, will those perspectives be explainable in the same way? Could the AI explain the trajectory through which they formed, or identify the turning points that shifted them?

 

This remains a major limitation. We are entering an era in which humans and AI must coexist. What matters is not only individual decisions, but also the perspectives that accumulate over time. Another unresolved issue concerns how the knowledge underlying those perspectives is selected and weighted. Even if GPT and Gemini are given the same question and the same documents as anchors for judgment, can they clearly explain how each piece of knowledge influenced the outcome? If they cannot, users will inevitably wonder: Even after providing the anchor documents, what exactly did the AI rely on? In that case, the black box of decision-making may only deepen.

 

The direction of the industry is clearly shifting. The competition is no longer defined solely by how much computing power an LLM possesses or how fast it processes information. Increasingly, the central question is whether its decisions are explainable. Yet without addressing the underlying problem itself, the current efforts of the AI industry may ultimately delay solving the issue that matters most.

 

 

team with Haerye

* 이미지는 서비스 화면 캡처입니다.