96GBのGPUで320Bを丸ごと動かす―4層逃がすだけで速度は半分
VRAM96GBのGPUなら、320B級のモデルを丸ごと載せて毎秒67トークンで動かせます。しかし、ほんの少しVRAMが足りずにエキスパート4層をCPUへ逃がすと、速度は半分以下に…
DeepSeekの記事一覧
DeepSeekに関する記事3本を、新しい順に掲載しています。
AI
DeepSeek、V4.1-Flash を MIT ライセンスで公開——552Bのうち推論で動くのは8B〜16B、KVキャッシュは4分の1に
DeepSeekが2026年9月10日、DeepSeek-V4.1-Flash を公開しました。552Bの規模を持ちながら、1トークンあたり実際に動くのは入力処理で8B・生成で16Bです。エンコーダとデコーダを分ける構成…
DeepSeekがエージェントハーネス「dsh」をMITライセンスで公開
DeepSeekは2026年8月13日に、モデルを動かす仕組み「dsh」というエージェントハーネスをMITライセンスで公開した。これは開発者向けプレビューで、互換性を壊す変更があり…