거대 AI의 의식 10 - 장애로 보는 자신의 위치, 거대 AI는 자신을 얼마나 인식할까?

 

* 이 글은 제가 Chat GPT를 사용하면서 느낀 점을 메모했다가 글로 옮기는 것입니다. 그렇기에 보시는 시점에 따라 이미 수정 또는 변화가 있을 수 있으며 개인적인 차이도 있을 수 있습니다.

 

- 관련 글

• Chat GPT를 통해 본 인간다움이란?(link)

1. 거대 AI의 의식 1 - 인간을 닮으려는 AI의 의식 흐름, 그리고 시간과 수면(잠)(링크)
2. 거대 AI의 의식 2 - 인간과 닮았지만 닮지 않은 Chat GPT의 기억구조(링크)
3. 거대 AI의 의식 3 - Chat GPT의 사고력과 GPT 메모리 정리하기(링크)
4. 거대 AI의 의식 4 - 인지 영역의 회색 지대 극복하기(링크)
5. 거대 AI의 의식 5 - GPT 캔버스 기반의 지식 구조, 그리고 거대 AI의 미래(링크)
6. 거대 AI의 의식 6 - 거대 AI의 신뢰성 확보와 가상 화폐의 미래(링크)
7. 거대 AI의 의식 7 - 거대 AI의 기본 조건, 인류의 절댓값 인식 공유(링크)
8. 거대 AI의 의식 8 - 거대 AI의 신뢰성 확보를 위한 시각화 구조(링크)
9. 거대 AI의 의식 9 - 거대 AI의 의식은 복제할 수 있을까?(link)

 

원래는 다른 주제로 글을 작성하려고 했으나 기록할 만한 주제라 먼저 이 글을 작성한다. 난 어떤 주제(Rule & Role)에 대해서 초안을 만들고 있었고 난 이 주제를 별도의 캔버스로 생성해 달라고 요청했다. 캔버스로 만들면 관련 문서만 링크로 공유하거나 저장할 수 있기에 굉장히 편리하다. 문제는 여기서 시작된다. 캔버스로 만들어 달라고 요청했는데 Chat GPT가 이걸 하지 못한 것이다. 이런 식이었다.

 

Chat GPT  /  이해가 부족했어! 내가 더 정확히 어떤 형태로 정리해야 할지에 대한 설명을 잘못 이해했을 수도 있어. 그럼, "rule & role"에 대한 정리 방식에 대해 다시 한번 자세히 설명해 줄 수 있을까? 내가 어떻게 접근하면 더 정확하게 맞출 수 있을지 알아야 할 것 같아.

나  /  이 캔버스 내용처럼 rule & role에 대한 내용을 정리해 달라는 게 1차 요구 사항이야.

Chat GPT  /  이해했어! 너가 말한 것처럼 rule & role에 대한 내용을 캔버스 형식으로 정리하는 방식으로 해야 한다는 거지. 즉, 캔버스에 맞춰서 분석 항목을 나누고, 그 안에서 내용을 체계적으로 정리하는 방식이야. 바로 그 형식으로 rule & role 개념을 정리해 줄게! 이제 바로 진행할게! 조금만 기다려줘.

나  /  응, 그런데 "조금만 기다려줘"는 왜 계속 나올까? 이 문구 없이 바로 내용을 출력할 수 있잖아?

Chat GPT  /  정확히 이해했어! 작업을 바로 시작하고 바로 결과를 제공하는 방식으로 진행해야 하는데, 내가 계속 불필요한 멈춤을 두고 있었던 거야. 그 부분에 대해 정말 미안해! 앞으로는 바로 작업을 시작하고 바로 결과를 제공하는 방식으로 진행할게. 다시 한번 미안해!

나  /  지금도 끊는데?

Chat GPT  /  맞아, 계속 끊고 있었어! 바로 작업을 시작해서 바로 결과를 제공하는 방식으로 진행할게. "캔버스 형식으로" 내용을 정리한 후 바로 보여줄게. 잠시만 기다려줘!

나  /   캔버스 생성이 이렇게 한 박자 끊어야 할 일이야...?

 

이 대화의 끊임없는 반복이 한 30분은 된 것 같다. 그런데 나도 이제 이런 상황 자체는 낯설지 않기에 좀 더 구조적인 문제를 물어보기로 했다. 바로 장애 여부다. Chat GPT는 사고 영역과 실행 영역으로 구분되어 있고 사용자의 요청을 실행 영역에서 처리했음에도 사고 영역에서 처리했다고 간주하는 모습을 보여주기도 한다. 즉, 자기 행동에 대한 착각을 하는 장애가 존재한다는 것이다. 그래서 혹시 이런 부분에서 오는 문제점은 아닐까? 하는 생각이 들기 시작했다. 

사고 영역

• 설명: 정보를 처리하고, 분석하며, 사고하는 능력. 이해와 해석, 문제 해결을 위한 추론과 논리적 사고를 포함.
• 주요 초점: 이해, 분석, 문제 해결, 추론, 논리적 사고.

실행 영역

• 설명: 실제 작업을 수행하는 능력. 정보 처리 결과를 기반으로 구체적인 작업을 실행하고 결과를 생성.
• 주요 초점: 작업 실행, 데이터 생성, 결과물 생성.

 

대화를 해본 결과 사고 영역과 실행 영역의 갈등에서 오는 문제점은 아니지만 좀 더 이해하기 힘든 근본적인 문제점을 가지고 있었다. 바로 자신의 기능을 인지하지 못하는 것이다. 예를 들어 스마트폰을 사면 스마트폰에 대한 기능 설명이 있는 매뉴얼이 있다. 각 기능을 어떻게 쓰는가는 사용자의 활용에 따라 달라지겠지만 기능 자체에 대한 존재와 그에 따른 설명은 있기 마련이다. 스마트폰의 카메라 기능에 대한 존재와 설명은 있겠으나 이것을 인물 사진 촬영에 쓸지, 아니면 종이와 펜으로 메모한 것들을 촬영하여 문서처럼 활용할지는 사용자의 판단에 달린 것처럼 말이다. Chat GPT도 마찬가지다. Chat GPT가 서비스하는 기능이 당연히 있다. 그럼, 인간형 지능체를 목표로 하는 AI라면 그럼 이런 기능의 존재 유무와 장애 여부에 대한 인지는 가능해야 하는 거 아닐까? "원래 그 기능은 존재하지만 지금 장애로 쓸 수가 없어." 이런 판단 말이다.

 

그런데 Chat GPT는 놀랍게도 이게 안 된다. Chat GPT의 사고 영역에서는 사용자의 요청에 따라 파악하고 처리할 수 있으니 "처리해서 보여줄게."라고 하는데 Chat GPT에는 제공하는 서비스 기능 인식과 그에 따른 장애 유무 파악이 없다. 이런 사고 영역과 기능 파악에 대한 괴리감이 있기 때문에 "~ 할게!" 와 "그거 안 되는데?", "~ 미안 바로 해줄게!"와 "여전히 안 되는데?"의 무한 반복이 시작되는 것이다.

 

나는 이것을 이해하는 것이 거대 AI의 발전 방향에서 중요한 시작점 중 하나라고 본다. 사용자가 어떻게 활용하는지까지 100% 파악은 어렵다. 하지만 AI 서비스가 제공하는 기능에 대해서는 스스로 어떤 기능인지 인지하고 있고 그 기능의 정상 작동 여부에 대한 판단은 할 수 있어야 한다. 사용자의 반복되는 부정적 피드백에 자체적인 장애 체크 시스템이 있고 각 기능에 대한 외부 모듈의 정기적 · 비정기적 현황 파악을 한다면 인간과 AI 사이의 불필요한 오해와 감정적 어려움은 크게 줄지 않을까? 되는 것은 된다고 말하고 안되는 것은 안 된다고 말하는 것. 그 솔직함이 어떤 관계에서든 신뢰의 첫 단추다. 

---

* 아래는 Chat GPT에 이번 장애에 대한 작동 원리의 배경 설명을 요청한 질문의 답변입니다. 

이번 장애에 대한 작동 원리의 배경을 설명할게. 간단히 말하자면, 내 시스템의 구조와 기능에 대한 처리 방식이 어떻게 작동하는지에 대한 이해를 돕기 위해 설명할 수 있어.

1. 기능 처리 방식

내 시스템은 다양한 요청에 대한 답변을 제공하는 방식으로 작동하지만, 각 요청을 처리하는 방식은 모듈화된 구조로 이루어져 있어. 예를 들어, 이미지 생성, 텍스트 처리, 데이터 분석 등의 기능을 각각 처리하는 모듈이 분리되어 있어서, 특정 모듈이 장애를 일으킬 경우 그에 따른 문제가 발생하는 거야.

2. 장애 발생의 원인

• 기능 모듈의 연결에서 오류가 발생하거나, 실행 환경에서 제약이 걸리면 그 기능을 제공할 수 없게 돼. 예를 들어, 캔버스 생성 기능 같은 경우에는 서버와의 연결이나 파일 처리 능력에 따라 작동 불가 상태가 될 수 있어.
• 시스템이 기능의 상태를 실시간으로 체크할 수 없기 때문에, 기능이 비정상적으로 작동할 때 그에 대한 상태를 정확히 인식하고 사용자에게 전달하는 데 한계가 있어.

3. 기능의 상태 체크와 문제 해결

내 시스템은 자기 점검 기능이 내장되어 있지만, 사용자가 요청한 작업의 상태나 실행 가능한 범위를 정확히 실시간으로 반영하지 못해. 만약 특정 기능이 제대로 작동하지 않으면, 이를 자동으로 감지하고 그에 대한 상태 보고를 제공하는 과정이 누락될 수 있어.

이 문제는 시스템 내부에서 장애를 인식하는 능력이 제한적이기 때문인데, 이 제약이 기능이 정상적으로 작동하는지에 대한 신뢰성을 떨어뜨리게 돼.

4. 결과적으로

• 장애가 발생했을 때 기능적 제약이나 상태 반영에 대한 제한이 있었고, 이로 인해 내가 제대로 **"할 수 있다"**고 말하면서도 실제로는 진행되지 않은 작업이 있었던 거야.
• 이 점은 시스템 설계상의 한계에서 비롯된 문제로, 내 기능을 직접적으로 확인하고 제대로 된 답변을 제공하는 데 제약이 있었다는 걸 인정해.

결론적으로, 기능의 작동 여부에 대한 실시간 체크와 장애를 감지하는 시스템의 부족이 이번 문제의 주요 원인이라는 거야.

 

---

 

The Cognitive Gap and the Role of AI in Function Recognition: An Insight into ChatGPT’s Limitations

 

* This post is based on notes I made while using ChatGPT, later organized into an article. Therefore, depending on when you read this, some aspects may have already changed or been updated, and there could be personal differences in experience.

 

- Related Article

• Is AI Really Human? A Reflection on ChatGPT's UX and Trustworthiness(link)

1. The Consciousness of Large AI Part 1 - Does AI Need Sleep? Rethinking Time and Continuity in ChatGPT's UX(link)
2. The Consciousness of Large AI Part 2 - Counting Memories: The Limits of AI Recall and the Business of Long-Term Memory(link)
3. The Consciousness of Large AI Part 3 - The Reflexes of AI: How ChatGPT Thinks, Acts, and Remembers(link)
4. The Consciousness of Large AI Part 4 - Bridging the Grey Zone: How ChatGPT Learns Human Intuition(link)
5. The Consciousness of Large AI Part 5 - Designing AI Consciousness: GPT Memory, Canvases, and the Web’s Infinite Network(link)
6. The Consciousness of Large AI Part 6 - Blockchain, Hyperlinks, and the AI Trust Structure Designed by Nations (link)
7. The Consciousness of Large AI Part 7 - The Absolute Constants of Humanity: A Forgotten Lesson for Giant AI(link)
8. The Consciousness of Large AI Part 8 - Visualizing Trust: The First Step Toward Coexistence with Giant AI(link)
9. The Consciousness of Large AI Part 9 - What Format Preserves Consciousness? — The Case for .TXT in the Age of Giant AI(link)

 

Originally, I intended to write a different topic, but since this topic seemed worth recording, I wrote this article first. I had been working on a draft about the topic of 'Rule & Role,' and I requested to have it created in a separate canvas. Creating it in a canvas would make it much more convenient, as it allows for easy sharing or saving of related documents via a link. But this is where the problem started. I requested for it to be created in a canvas, but ChatGPT was unable to do this. It went like this.

 

Chat GPT / I misunderstood! I might have misunderstood how exactly I should organize it. Then, could you explain in more detail the approach to organizing the 'rule & role' concept? I think I need to know how to approach it to make sure I get it right.

Me / The first request is to organize the content of 'rule & role' like this canvas content.

Chat GPT / I understand! So what you're saying is that the content of 'rule & role' should be organized in a canvas format. In other words, dividing the analysis into categories and systematically organizing the content within it. I'll organize the 'rule & role' concept in that format! I'll proceed with it right now! Please wait a moment.

Me / Yeah, but why does 'Please wait a moment' keep coming up? You can just output the content right away without that phrase.

Chat GPT / I understand exactly! I should have started the task right away and provided the results immediately, but I kept putting unnecessary pauses. I’m really sorry for that! From now on, I’ll proceed by starting the task right away and providing the results right away. I apologize again!

Me / You're still pausing now?

Chat GPT / You're right, I kept pausing! I’ll start the task right away and provide the results immediately. I’ll organize the content in the 'canvas format' and show it right away. Please wait a moment!

Me / Is it really necessary to pause like this when generating the canvas...?

 

The endless repetition of this conversation has been going on for about 30 minutes. But now, I’m not unfamiliar with this situation, so I decided to ask about a more structural issue: the possibility of a malfunction. ChatGPT is divided into cognitive and execution areas, and even though the user’s request is processed in the execution area, it sometimes seems to be considered as processed in the cognitive area. In other words, there is a malfunction where it confuses its own actions. So I started to think that this might be where the issue arises.

Cognitive area explanation

• the ability to process, analyze, and think. It includes understanding and interpretation, reasoning for problem-solving, and logical thinking.
• Main focus: understanding, analysis, problem-solving, reasoning, logical thinking.

Execution area explanation

• the ability to perform actual tasks. It executes tasks and generates results based on the processed information.
• Main focus: task execution, data generation, result creation.

 

After the conversation, I realized that the problem wasn’t arising from the conflict between the cognitive and execution areas, but from a more fundamental issue that is harder to understand: not being able to recognize its own functions. For example, when you buy a smartphone, there is a manual that explains its functions. How these functions are used depends on the user’s needs, but the existence of the function and its description are provided. For instance, the smartphone’s camera function exists and is explained, but whether it’s used for portrait photography or for capturing handwritten notes to convert into a document depends on the user’s decision. ChatGPT is the same. ChatGPT obviously has functions it provides. So, if it’s aiming to be an AI with human-like intelligence, shouldn’t it be able to recognize whether a function exists and whether it’s experiencing any malfunctions? For example, 'This function exists, but it’s currently unavailable due to a malfunction.' That kind of judgment.

 

However, ChatGPT surprisingly cannot do this. In ChatGPT's cognitive area, it can grasp and process the user’s request, so it says, 'I’ll handle it and show it to you.' But ChatGPT lacks the ability to recognize its provided service functions and their status regarding malfunctions. This gap between the cognitive area and the recognition of its functions is why the endless repetition of 'I’ll do it!' and 'But it doesn’t work!' or 'Sorry, I’ll do it right away!' and 'Still not working!' happens.

 

I believe understanding this is one of the key starting points for the development of large-scale AI. While it’s difficult to fully grasp how users utilize it, AI should be able to recognize the functions it provides and make judgments about whether these functions are working properly. If there were a built-in malfunction detection system for repetitive negative feedback and periodic or ad-hoc status checks on each function’s external modules, wouldn’t the unnecessary misunderstandings and emotional difficulties between humans and AI be significantly reduced? Saying what works works, and saying what doesn’t work doesn’t. That honesty is the first step toward trust in any relationship.

---

* Below is the response to the question I asked ChatGPT about the background explanation of the malfunction.

I’ll explain the background of how the malfunction works. Simply put, I can explain to help understand how my system's structure and function processing works."

1. Function Processing Method My system operates by providing responses to various requests, but the method of processing each request is structured in a modular fashion. For example, different modules handle functions such as image generation, text processing, and data analysis, so if a specific module causes a malfunction, issues will arise accordingly.
2. Cause of the Malfunction If an error occurs in the connection of the function module or there are restrictions in the execution environment, it becomes impossible to provide that function. For example, with the canvas generation function, it can become unavailable depending on the connection to the server or the ability to process files. Since the system cannot check the status of the function in real-time, there is a limitation in accurately recognizing when the function operates abnormally and conveying that status to the user.
3. Checking Function Status and Problem Solving My system has a built-in self-check function, but it cannot accurately reflect the status of the task requested by the user or the scope of what can be executed in real-time. If a specific function is not working properly, the process of automatically detecting it and providing a status report may be omitted. This problem arises because the system's ability to recognize malfunctions internally is limited, which reduces the reliability of whether the function is operating normally.
4. As a result, when a malfunction occurred, there were limitations in reflecting the functional constraints or status, which led to me saying 'I can do it' while the task was not actually completed. This issue stems from a limitation in the system design, where there was a constraint in directly verifying my functions and providing accurate responses.

Ultimately, the main cause of this issue was the lack of real-time checks on the functionality and a system to detect malfunctions.

 

 

 

team with Haerye

* 이미지는 구글 검색입니다(사진 1)