반응형

전체 글 92

AI는 어떻게 언어를 이해할까? 자연어 처리의 핵심, 토크나이저 (Tokenizer)

오늘날 챗GPT와 같은 인공지능(AI)은 인간의 언어를 효과적으로 이해하고 답변합니다. 하지만 AI는 사람처럼 언어를 직접 이해하는 것이 아닙니다. 컴퓨터는 숫자 형태의 정보만을 처리할 수 있기 때문에, 언어를 배우려면 먼저 텍스트를 컴퓨터가 이해할 수 있는 숫자 형태로 바꿔야 합니다. 이 변환 과정에서 중요한 역할을 하는 도구가 바로 토크나이저(Tokenizer)입니다. AI는 어떻게 언어를 이해할까? 토크나이저 (Tokenizer)토크나이저(Tokenizer)는 긴 텍스트를 AI가 처리하기 쉬운 의미 있는 작은 단위인 토큰(Token)으로 나누는 도구입니다. 이 토큰은 단어, 구두점, 심지어 단어의 일부(서브워드)가 될 수도 있습니다. 예를 들어, "안녕하세요!"라는 문장은 토크나이저를 거쳐 '안녕'..

기술 트랜드 2025.07.14

운영 체제(OS)로 보는 한국어 LLM 개발 방향 - 핵심은 데이터 최적화 #1

우리가 사용하는 컴퓨터와 스마트폰의 핵심에는 운영 체제(OS)가 있습니다. OS는 하드웨어와 소프트웨어 리소스를 관리하고, 사용자가 기기와 상호작용할 수 있도록 돕는 필수 시스템 소프트웨어입니다. 과거의 OS 발전사를 들여다보며 최근 가장 핫한 이슈인 인공지능, 특히 초대형 언어 모델(LLM) 분야에서 대해 생각해봅니다. 컴퓨터 운영 체제(OS) , 그들은 어떻게 발전했는가?인공지능을 말하기 전에 컴퓨터 운영 체제(OS)를 생각해 보죠. 여러분은 어떤 운영 체제가 생각나나요? 당연히 윈도우? MS의 윈도우가 아마 우리나라에서는 대세 중의 대세죠. 그 외 맥북 사용자들에게는 맥OS가 있을 것 같네요. 그다음은 또 뭐가 있을까요? 아마도 무료 OS의 대표급으로 리북스가 있을 것 같습니다. 마이크로소프트..

기술 트랜드 2025.07.03

원화 스테이블코인, 국부유출의 원흉일까? 제도화와 금융안정 사이 #1

요즘 경제 뉴스를 찾아보면 원화 기반 스테이블 코인에 대해 이러쿵저럭쿵하는 얘기를 볼 수 있네요. 새 정부 출범 후 10년 이상은 기다려야 올라갈 수 있을 것 같았던 코스피 3천이 단 2주 만에 돌파하는 와중에 원화 스테이블 코인을 발행하면 심각한 문제가 초례할 것 같은 이야기들이 들려서 한번 정말 그런가 개인적인 생각을 정리해 봅니다. 원화 스테이블코인, 국부유출의 원흉일까?'언론이나 자칭 전문가라는 것들이 떠들면 반대로 하면 성공한다!' 이 말이 맞을까? 어림없는 소리일 수 있다. 그러나 개인적 삶의 경험으론 고려할만한 소리다. 특히, 조작되지 않은 정량적 근거 없이 여기저기 시끄럽게 떠들어대는 소리는 더욱 의심스럽게 봐야 한다는 게 나의 삶의 경험이다. 원화 스테이블코인사전적 의미로는 스테이블..

라이프 2025.06.26

CPU, GPU, NPU의 역할, 인공지능과 고성능 그래픽 시대의 컴퓨터 성능 기준 변화

예전에는 컴퓨터 성능은 CPU 속도와 메모리 크기였어요. 지금은 여기에 그래픽카드가 중요해졌죠. 어쩌면 CPU 보다도 그래픽카드 성능으로 대변되는 GPU가 더 중요하게 다뤄질 때도 있어요. 이러한 변화는 어떤 기술적 배경이 있는지를 생각해 보고 이들 각각은 어떤 역할을 하는지 정리해 보죠. CPU, GPU, 그리고 NPU 컴퓨터의 CPU(Central Processing Unit)는 중앙 처리 장치로서, 컴퓨터 시스템의 전반적인 작동을 제어하고 다양한 종류의 연산을 수행합니다. 우리 몸으로 치면 뇌와 같아요. 복잡한 계산이나 순서가 중요한 일은 아주 잘 처리하죠.CPU는 복잡한 논리 연산, 순차적인 데이터 처리, 그리고 시스템 내의 여러 장치들을 조율하는 데 특화되어 있습니다. 하나의 문제를 깊이 분..

기술 트랜드 2025.06.20

가디언 에이전트 AI 안전과 신뢰성을 책임지는 자율 AI 통제 시스템 #1 - AI Agent

최근 AI 기술의 발전과 함께 '에이전트(Agent)'라는 개념이 화두로 떠오르면서, 특히 '가디언 에이전트(Guardian Agent)'에 대한 관심이 높아지고 있습니다. 이는 AI의 자율성이 높아질수록 그에 따른 통제와 안전장치의 필요성 또한 중요해지기 때문입니다.오늘은 가디언 에이전트의 정확한 정의와 OpenAI 에이전트와의 차이점, 그리고 현실적인 부분까지 살펴보도록 하겠습니다.가디언 에이전트(Guardian Agent)가디언 에이전트는 단순히 다른 AI 에이전트를 감독하는 것을 넘어, AI가 생성하고 수행하는 모든 결과물과 행동을 실시간으로 감시하고 조정하는 포괄적인 '안전 및 신뢰성 담당 AI'입니다.기존 설명이 '다른 AI 에이전트 감독'에 한정되었다면, 더 정확한 역할은 다음과 같습니다.A..

기술 트랜드 2025.06.13

스타벅스 플랫 화이트? 라떼와 다른 진정한 플랫 화이트 차이점 - 카페 #1

커피 좋아하시나요? 요즘은 커피를 안 드시는 분들도 꽤 계시더라고요, 그럼에도 우리나라의 연간 커피 소모량은 상당히 높다고 합니다. 사실, 서울 어느 동네를 가든 커피숍은 교회보다 더 쉽게 찾을 수 있을 거예요. 커피 좋아하시는 분들 중에서는 아이스 아메리카노를 좋아하시는 분들이 많아 보여요. 저는 주로 집에서 드롭해서 먹거나 카페에서 마실 때는 라테 같은 예전 다방 커피 스타일을 좋아하는데요, 물론 설탕은 없어야죠. 그런데, 최근 잘 안가던 스타벅스를 가게 되었어요. 이사 온 지 꽤 되었는데, 그간 동네 마실을 안 다니다가 세상 분위기도 좀 바뀌는 듯하여 맘 편하게 동네 구경을 해 봤어요.스타벅스에서 메뉴를 구경하던 중 플랫 화이트 메뉴가 있어서 반가운 마음에 주문했죠. 뉴질랜드 여행 중 플랫 화이트..

라이프 2025.06.09

얼음이 가장 빨리 녹는 음료는? 열전도율, 비열, 어는점 원리

얼음이 다양한 음료에서 녹는 속도가 왜 다르게 나타나는지에 대한 물리적·화학적 원리 살펴보고, 일상에서 흔히 접하는 현상(음료 속 얼음이 녹는 과정)을 조금은 쉽게 이해할 수 있도록 정리해 보겠습니다. 얼음이 가장 빨리 녹는 음료는? 얼음이 녹는다는 것한여름 시원한 음료에 띄운 얼음이 어느새 감쪽같이 사라지는 경험, 다들 한 번쯤 해보셨을 겁니다. 얼음이 녹는 현상은 단순히 ‘주변이 뜨거워서’만은 아닙니다. 여기엔 아주 기본적인 물리 법칙이 숨어 있죠. 고체 상태의 물인 얼음은 주변이 자신보다 따뜻할 때, 그 열이 얼음으로 옮겨오면서 분자 구조가 점차 느슨해지고 결국 액체 상태의 물로 변하게 됩니다.이러한 과정을 융해라고 부릅니다. 이 융해 과정에서 핵심적인 역할을 하는 것이 바로 열전달 능력입니다. ..

라이프 2025.06.02
반응형