ローカルLLMの大本命「Qwen3」の知識を底上げする継続事前学習を実践：株式会社ハイレゾ提供Webキャスト

PR／TechFactory

PR

　Qwen3は、アリババが開発した最新LLMであり、OpenAI o1やDeepSeek R1を上回る性能を備えている。現在、高性能なオープンソースLLMとして、世界中の開発者から注目されている。

　本Webキャストでは、Qwen3に対して新たな知識を与える継続事前学習の仕組みから実装方法まで、デモを用いて解説する。継続事前学習とは、事前学習モデルに新たな知識を学習させることで、ドメイン適応や精度向上を図る手法である。デモでは、Qwen3に対する継続事前学習のプロセスを具体的に示しており、Megatron-LMを基盤とした学習フレームワークを用い、環境構築からデータセットの前処理、マルチGPUによる分散トレーニングまで、必要な手順をステップごとに解説する。

　また、モデルの学習環境にはGPUクラウドを活用しており、オンプレミスで高価なGPUを購入せずとも、必要なときに必要な分だけリソースを利用できるため、コストを抑えつつ柔軟に学習環境を構築できる利点がある。モデルに知識を与える技術を体系的に理解したいエンジニアにとって、本Webキャストは実践的かつ有益な内容となるであろう。