AgileBus - IT기술자를 위한 기술 Trends와 지식

[인공지능 RAG 주식 예측] 간단하게 GPT LLM을  이용한 주식 예측 프로그램 만들기 제목이 어려워 보여서 간단히 설명 드리고 프로그램으로 정리해 보겠습니다. ㅁ GPT는 "생성형 AI 모델" 세상의 모든 디지털 데이터들을 학습하여 만든 인공지능모델로 답변을 생성하는 기술! GPT, 또는 "Generative Pre-trained Transformer"는 OpenAI에서 개발한 인공지능 모델입니다. 이 모델은 자연어 처리 작업을 수행하는 데 매우 유용하며, 텍스트 생성, 번역, 대화 및 질문 응답 등의 다양한 응용 프로그램에 사용될 수 있습니다. 간단히 정리하면 GPT는 우리가 알고있는  인터넷 검색에서 사용하는 모든 데이터 뿐아니라,   일반적인 출판서적, 위키백과, 브리테니커 같은 백과사전들, 인터넷에 유통되는 모든 사진들, 그리고 공공기관의 자료, 일반 기업의 재무재표 등세상의 모든 데이터들을 학습하여 만든 인공지능이라 하겠습니다.  GPT 모델은 많은 양의 텍스트 데이터를 학습하여 사람들의 언어 구조의 패턴을 이해하고  이를 바탕으로 정보를 검색하고, 요약하여  원하는 주어진 질문에   대해 관련성 높은 응답을 생성하여 제공하는 기술입니다.   GPT-4와 같은 최신 모델은 이전 버전보다 더 강력한 성능을 자랑하며, 다양한 작업에서 뛰어난 결과를 보여줍니다.  GPT-1 2018년 출시한 이후  2023년  GPT-4  출시에 이어 상용화 모델까지 등장 하였습니다. * 아래 소스의 GPT  "YOUR_OPENAI_API_KEY"  는 open-api의  유료로 가입을 해서 발급 받는 API의 키 입니다.  ㅁ RAG(Retrieval-Augmented Generation): RAG(Retrieval-Augmented Generat...

Llama 2는 누구나 무료로 다운로드하여 사용할 수 있는 대규모 오픈 소스 언어 모델 입니다. 자율주행차부터 챗봇까지,   AI혁명으로 사회 전반의 삶의 변화가 일어나고 있습니다.  AI의 가장 흥미로운 발전 중 하나는 대규모 언어 모델의 생성입니다. 이러한 모델은 일관되고 이해하기 쉬운 새로운 텍스트를 생성하기 위해 기사 및 소셜 미디어 게시물과 같은 대량의 데이터에 대해 훈련되었습니다. 대규모 언어 모델의 잘 알려진 예로는 OpenAI의 ChatGPT, Google의 Google Bard, Meta의 Llama 2가 있습니다. Meta는 Microsoft와 협력하여 Lama 2 모델을 출시했습니다. Lama2 AI모델에 대한 소개 Llama 2는 페이스북 모회사 메타의 AI 그룹에서 개발한 대규모 언어 모델입니다. 이 모델은 사전 학습된 매개변수 규모에 따라 3가지 버전으로 제공됩니다: 1. Llama-2-7B: 70억 개의 매개변수로 사전 학습  2. Llama-2-13B: 130억 개의 매개변수로 사전 학습 3. Llama-2-70B: 700억 개의 매개변수로 사전 학습 이 모델들은 연구와 상업적인 용도로 완전 무료로 사용할 수 있으며, 매개변수 규모를 선택하여 다양한 작업에 활용할 수 있습니다. Llama 2는 기존 버전보다 더 많은 토큰으로 학습되었으며, 컨텍스트 길이도 증가하여 다양한 언어 처리 작업에서 효과적으로 활용할 수 있습니다. Llama 2는 Amazon Web Services(AWS), Hugging Face 및 기타 제공업체를 통해서도 제공됩니다  Llama 2의 우선 파트너로서 Microsoft와의 파트너십을 한 단계 더 발전시키고 생성 AI에 대한 노력을 확대하였습니다. 이제 Llama 2가 Azure AI 모델 카탈로그에서도 제공됩니다. Microsoft Azure를 사용하는 개발자는 Llama 2를 사용하여 구축하고 콘텐츠 필터링 및 안전 기능을 위한 클라우드 기반 도구를 활용할 수 ...

데이터 과학과 프롬프트 엔지니어링 - SingleStore를 이용한 벡터DB 데이터 과학과  프롬프트 엔지니어링   chatGPT로 인해 앞으로 인공 지능의 영역은 다음 두가지 영역으로 나누어 접근 할 수 있습니다.   -  데이터 과학(학문적/전문성)  :    학문적이고 전문성을 요구로 하는 인공지능 전문 분야 (머신러닝, 딥러닝의 데이터 분석)   - 프롬프트 엔지니어링 (생성형 AI 서비스대중화) :   AI 민주화에 따른  대중화된 서비스 AI 응용 개발 분야 ( LLM을 기반으로 서비스에 활용)   최근 몆년 동안  AI 분야는 데이터 과학(Data Science)라고 하면서  대규모 머신 장비와 고급 기술자(데이터사이언티스트)를 투입하여 방대한 데이터를 분석하는데 활용 했습니다. 이는 학문적이고 전문가에 의한 인공지능 분야으로 데이터 분석 분야가 대부분을 차지해 왔습니다.   chatGPT와 같은 프롬프트 엔지니어링 분야는 이제는 이러한  데이터사이언스 (Data Science)를 기반으로한 인공지능 영역과 별개로  인공지능을 이용한 생활의 편의기능 또는 문서, 언어의 특성을 이해하고 만들어진 LLM을 기반으로  대중화된 생성형 AI 서비스 영역이 부각 되고 있습니다.   chatGPT의 등장으로 AI민주화라는 용어가 현실화 되었습니다. 지금 인터넷 서비스 전반에서 AI를 활용하는 움직임을 엄청난 변화로 보입니다.  지금이야 말로 인공지능의 부흥기라고 여겨 질 만큼 많은 기업들이 AI는 서비스의 필수조건으로 인식 하고 있습니다.      오늘은 이러한 변화에서 지속적인 기술을 접목할 수 있는 SingleStore DBMS를 소개 하고자 합니다.       AI민주화를 위한 차세대 DBMS SingleStoreDB   Si...