LLMOps는 대규모 언어 모델(LLM)을 위한 MLOps의 특별한 형태입니다. LLMOps는 엄청난 수의 매개변수와 방대한 훈련 데이터를 가진 LLM을 효과적으로 관리하기 위해 도입되었습니다. 주요 구성요소로는 CI/CD 자동화, 워크플로 관리, 모니터링, 피드백 등이 있으며, LLM의 운영에서는 고성능 하드웨어 및 클라우드 스토리지 연동, 벡터 스토어 같은 추가 요소가 중요합니다. MLOps와 LLMOps는 핵심 목적은 같으나 LLM의 특수성 때문에 구체적인 작업 내용에서 차이가 있습니다.
프롬프트 엔지니어링은 AI가 사용자의 입력을 보다 정확하게 이해하고 적절한 응답을 생성하도록 프롬프트를 최적화하는 과정입니다. 여기에는 퓨 샷 프롬프팅과 CoT(Chain-of-Thought), ToT(Tree-of-Thought), GoT(Graph-of-Thought)와 같이 단계별 추론, 계층적 사고, 지식 그래프 기반의 프롬프트 설계를 활용하는 기법들이 포함됩니다. 이러한 기법들은 대화형 AI의 성능 향상에 중요하며, 프롬프트 엔지니어링의 중요성은 앞으로 더욱 증가할 것으로 예상됩니다.
RNN은 순차적 데이터 처리를 위해 설계되었지만 장기 의존성 문제와 기울기 소실 또는 폭발 문제를 겪습니다. 이를 해결하기 위해 LSTM(Long Short Term Memory networks)과 GRU(Gated Recurrent Unit)가 개발되었습니다. LSTM은 장기 기억(cell state)과 단기 기억(hidden state)을 통합하여 정보를 더 효과적으로 저장하고 관리합니다. 세 가지 주요 게이트(input, forget, output 게이트)를 통해 정보의 흐름을 조절하여 기울기 소실 문제를 완화합니다.
