Foundation Modelフレームワークにより、Apple Intelligenceの中核をなすオンデバイスの基盤モデルに直接アクセスして、インターネット接続なしでも機能する、プライバシー重視のスマートな体験を構築できるようになりました。Swiftをネイティブにサポートしているため、わずか3行のコードで基盤モデルのパワーを利用できます。このフレームワークでは、テキストの抽出や要約などのモデル機能を利用して、アプリのインテリジェントな機能を強化できます。Foundation Modelフレームワークにはガイド付き生成やツール呼び出しなどの機能も組み込まれているため、かつてないほど簡単に、インテリジェントな体験を既存のアプリやゲームに実装できます。

Core MLなら、アプリやゲームに機械学習／AIモデルを簡単に取り入れて、Appleデバイス上で驚くほど速いパフォーマンスを実現できます。人気のあるトレーニングライブラリのモデルをCore ML Toolsを使って変換したり、すぐに使えるCore MLモデルをダウンロードしたりできます。Xcodeで直接、モデルをプレビューしてそのパフォーマンスを把握することも簡単です。

音声認識や顕著性認識の機能をさまざまな言語で活用しましょう。まったく新しいSpeechAnalyzerを使用して、高度なオンデバイスの文字起こし機能をアプリに取り込むことができます。

最新のコンピュータビジョンを使用して、画像とビデオのパワフルな解析機能を構築しましょう。新しいアップデートにより、ドキュメント全体のテキスト認識とカメラレンズの汚れ検出が追加されたため、アプリの画像解析の利用率が向上します。

自然言語解析、翻訳、音声識別など、機械学習を活用したインテリジェントなオンデバイスの機能をわずか数行のコードでアプリに取り入れることができます。

Create MLアプリでは、コードを記述しなくても、Mac上でCore MLモデルをすばやく構築してトレーニングできます。このアプリは、使いやすいインターフェイスに加えて、組み込みのシステムモデルをカスタマイズする機能を備えているため、プロセスがこれまでになく簡単になり、トレーニングデータを用意するだけで開始できます。

Metalは、Appleが設計したGPUの高度な機能を簡単に利用して、最先端のグラフィックワークロードを強化するための技術です。Metal 4では、MetalFXなどの機械学習機能を活用したり、シェーダで推論ネットワークを直接実行したり、最新のニューラルレンダリング技術を実装できるようになりました。

AccelerateフレームワークとBNNS Graph APIによって、MLワークロードを最適化できます。CPUでリアルタイムの信号処理を実行する際、AccelerateのBNNS Graph APIを使用すれば、MLタスクの遅延とメモリ管理を厳密に制御できます。

MLXは、Appleシリコンでの数値計算と機械学習をサポートする効率的な配列フレームワークです。

Mac上で、Appleシリコンのユニファイドメモリを最大限に活用して、オープンソースモデルをテスト、トレーニング、ファインチューニングできます。

さらに詳しく