AgileBus - IT기술자를 위한 기술 Trends와 지식

  chatGPT 환각(Hallucination) 개선을 위한 응답 품질 점검 - Check outputs 인공지능의 환각 환각은 AI가 잘못된 데이터를 학습하거나 오류로 인해 도출한 결과를 믿을 수 없게 만든다는 것입니다. GPT의 창의적인 답변으로 원하는 결과를 전달하지 못하는 것으로  모델의 환각은 사실이 아닌것을 사실처럼 꾸며내는 것입니다. OpenAI의 응답 품질과 환각을 방지하기 위해서 형성된 모델의 결과를 검증해 보는 것이 중요합니다. 따라서 오픈AI는 주어진 쿼리에 대한 최종 답변에 보상하는 ‘결과 감독(outcome supervision)’ 대신 각각의 추론 단계별 답변에 보상하는 ‘과정 감독(process supervision)’ 방식으로 LLM을 훈련하는 것에 대하여 알아 보고자 합니다.   1. OpenAI 기본 소스를 작성 합니다.   1. 응답을 위한 기본 환경을 설정합니다. import openai openai.api_key = "{YOUR_API_KEY}" #* temperature=0 -> 1 클수록 응답의 창의성이 커집니다. def get_completion_from_messages ( messages, model= "gpt-3.5-turbo" , temperature= 0 , max_tokens= 500 ): response = openai.ChatCompletion.create( model=model, messages=messages, temperature=temperature, max_tokens=max_tokens, ) return response.choices[ 0 ].message[ "conte...

PromptChainer: Chaining Large Language Model Prompts through Visual Programming  Authors: Tongshuang Wu, Ellen Jiang, Aaron Donsbach, Jeff Gray [초록] LM을 사용하면 새로운 ML 기능의 프로토타입을 빠르게 제작할 수 있지만, 많은 실제 애플리케이션에는 단일 LLM 실행을 통해 쉽게 처리할 수 없는 복잡한 작업이 포함됩니다. 최근 연구에 따르면 여러 LLM 실행을 함께 연결하면(한 단계의 출력이 다음 단계의 입력이 됨) 사용자가 이러한 보다 복잡한 작업을 수행하는 데 도움이 될 수 있으며 보다 투명하고 제어 가능한 방식으로 인식되는 것으로 나타났습니다. 그러나 자체 LLM 체인을 작성할 때 사용자에게 무엇이 필요한지는 아직 알려지지 않았습니다. 이는 AI 전문가가 아닌 사람이 AI 주입 애플리케이션 프로토타입을 작성하는 데 대한 장벽을 낮추는 핵심 단계입니다. 이 작업에서는 LLM 체인 작성 프로세스를 살펴봅니다. 우리는 파일럿 연구를 통해 사용자가 체인 단계 간 데이터 변환과 여러 세부 수준에서 체인 디버깅을 지원해야 한다는 사실을 발견했습니다. 이러한 요구를 해결하기 위해, 우리는 시각적 프로그래밍 체인을 위한 대화형 인터페이스인 PromptChainer를 설계했습니다. 4명의 디자이너 및 개발자와의 사례 연구를 통해 우리는 PromptChainer가 다양한 애플리케이션에 대한 프로토타입 제작을 지원하고 체인을 더욱 복잡한 작업으로 확장하고 low-fi 체인 프로토타입 지원에 대한 공개 질문으로 결론을 내렸습니다. PromptChainer: 시각적 프로그래밍을 통해 대규모 언어 모델 프롬프트 연결 1 INTRODUCTION 대규모 언어 모델(LLMs)은 인공 지능(AI)으로 프로토타입을 작성하는 새로운 가능성을 소개했습니다 [18]. 대량의 텍스트 데이터로 사전 훈련된 GPT-3 [3] 및 Jurassic-1 [10]과 같은 모델은 인문...