2019年は、大規模PC環境向けOS配信管理ソリューションの開発に伴い、BitVisorに含まれていた細かい問題が修正されたほか、機能が追加されています。変更内容には、CPUの新機能対応、仮想virtio-netデバイス対応、10GbE対応などが含まれます。これらの変更内容について紹介します。

1. 榮樂 英樹
株式会社イーゲル
2019-12-12 BitVisor Summit 8
BitVisor 2019年の主な変更点
1

2. BitVisor 2019年の主な変更点
◼ 新規対応
– CPU新機能対応
– 仮想PCIデバイス対応
– 10GbE Aquantia AQC107対応
◼ ネットワーク性能改善
◼ NVMeドライバー改良
– ANS2対応、ファームウェアの問題回避、割り込みの対策
◼ その他細かな修正
– NVMeバグ修正、UEFI用の実装の改良など
◼ 未完了の修正
– panic改良、VT-d対策
2

3. CPU新機能対応
◼ XCR0レジスターで設定する以下の機能に対応した
– AVX512
– Intel MPX (Memory Protection Extension)
(Parallelsの動作に必要)
◼ 実装
– CPUIDで機能を見せる
– XCR0レジスターで各機能の設定を許す
3

4. 仮想PCIデバイス対応:
実デバイスと仮想デバイス
◼ BitVisor上の仮想マシンから見えるデバイス:
– Pass-through: 実デバイスがそのまま見える
– Para pass-through: 実デバイスと関係のあるものが見える
◼ 新たに使えるようになったデバイス:
– 仮想デバイス: 実デバイスとは無関係のものが見える
4
Guest Operating System
BitVisor
virtio-net
GbE devVGA xHCI
xhci
virtio-net
Pass-
through Para pass-through
仮想
デバイス
bnx

5. 仮想virtio-netデバイス: 構成
◼ 既存のpara pass-throughネットワークドライバーと同様
にnetおよびttyパラメーターがある
– 物理インターフェイス側が仮想デバイスのインターフェイスとなり、
仮想インターフェイス側は何も接続されていない扱い
– 外部ホストがなければ使用できなかった、ログ出力やTCP/IPス
タックの機能を、1台のホストで使用可能
5
virt
phys
TCP/IPログ出力
ネットワーク
仮想マシン
既存のnet=ip (net=ippass)
phys
TCP/IPログ出力
仮想マシン
仮想virtio-netデバイスのnet=ip

6. 仮想virtio-netデバイス: 使用方法
◼ vmm.driver.pci_virtualを設定する
◼ bitvisor.conf記述例
– ひとつの仮想virtio-netデバイスが生成され、そのデバイスは
BitVisorのTCP/IPスタックに接続されログ出力にも使用する:
vmm.driver.pci_virtual=driver=virtio-net, net=ip, tty=1
– ふたつの仮想virtio-netデバイスが生成され、ひとつはTCP/IPス
タックに、もうひとつはログ出力に使用する:
vmm.driver.pci_virtual=driver=virtio-net, net=ip, and,
driver=virtio-net, tty=1
6

7. 仮想PCIデバイス: 実装
◼ PCIアドレスの割り当て
– バスアドレス0の中で使われていないデバイス番号を使用する
– 複数デバイスの場合はマルチファンクションとする
◼ 割り込み
– MSI/MSI-Xが使用されるものとする
– 割り込み番号をMSI-Xのテーブルから取得しself-IPIで生成する
◼ Virtio-net
– Para pass-through用の実装を流用
– PCI configuration spaceの未実装部分 (pass-throughの部分)
を実装
7

8. 10GbE Aquantia AQC107対応
◼ bitvisor.conf記述例
– vmm.driver.pci=driver=aq, net=ippass, virtio=1, tty=1
– 現状virtio=1のみ対応
◼ 実装詳細は省略
8

9. ネットワーク性能改善
◼ Virtio-net経由でゲストオペレーティングシステムが送信
したパケットを、複数まとめてpara pass-throughドライ
バーに渡すようにした
– net=ippassやnet=pass使用時、その内容がそのまま実デバイス
への送信につながり、ネットワークデバイスのレジスターアクセス
の回数が減ることでスループットが向上
9

10. NVMeドライバー改良: ANS2対応
(ハードウェア暗号化機能隠ぺい)
◼ bitvisor.conf記述例
– vmm.driver.pci=driver=nvme_apple, ans2_wrapper=1
◼ 実装: 特定のデバイスIDに限り以下の動作とする:
– コマンドサイズを通常の64バイトではなく128バイトにする
(後半の64バイトがハードウェア暗号化関連に使われるらしい)
– PCIe configuration spaceのサブクラスの値を0x80ではなく
0x08 (Non-Volatile memory controller) にする
10
diskutil apfs listでの表示 暗号化方法 機能隠ぺい時
FileVault: no なし アクセスできる
FileVault: no (Encrypted at rest) ハードウェア FileVault: yesとなり復号できない
FileVault: yes ハードウェア キーがあっても復号できない
FileVault: yes ソフトウェア キーがあればアクセスできる

11. NVMeドライバー改良:
ファームウェアの問題回避
◼ DisconnectControllerが失敗する問題の回避策を実装
– 失敗の原因: ファームウェアのデバイスドライバーが呼び出す
UninstallMultipleProtocolInterfaces()の引数のうち、プロトコル
EFI_BLOCK_IO_CRYPTO_PROTOCOL_GUIDに対応するイ
ンターフェイスのポインターが間違っている (ずれている)
– 対策内容: 同プロトコルのインターフェイスの正しいポインターを
OpenProtocol()で取得しなおして差し替える処理を行う
UninstallMultipleProtocolInterfaces()のフックを実装した
11

12. NVMeドライバー改良:
割り込み問題対策
◼ 割り込みマスクセット後に割り込みが発生するとmacOS
が割り込みをマスクしたままにしてしまうことがあった
◼ 対策方法
– MSI有効時に限り、割り込みマスクセット後のNVMe割り込みを
BitVisorで破棄する
12
割り込み受付 マスクセット マスククリア
時間
ここで割り込みがあ
ればEOI後に発生
EOI
BitVisor上では、割り込み受付
からハンドラー呼び出しまでの
間に、NVMeのコピーバックな
どもあって長い時間がかかる
ので、発生しやすい

13. その他細かな修正:
NVMeドライバー
以下の問題を修正した:
◼ Doorbellレジスターにアクセスする際、32ビット幅でなけ
ればならないのに、stride幅でアクセスしていた
– 今のところ試したNVMeはすべてstrideが32ビットだった
◼ Doorbellレジスターの読み取りにたいして不定値を返し
ていた
– 仕様では何を返すべきか決められておらず、今のところ読み取り
アクセスの事例はない
◼ nvme_register_request()関数に渡されるリストにguest
リクエストとhostリクエストが混在していると、不適切にリ
ンクされたリストになっていた
– 今のところそのようなリストによる呼び出し事例はない 13

14. その他細かな修正:
UEFI用の実装の改良
◼ UEFI用ブートローダーから渡されたデータの末尾の
NULLポインターをチェックし忘れていたのを修正した
◼ UEFI用ブートローダーのMakefileにヘッダーファイルが
書き足りなかったのを修正した
◼ Para pass-throughドライバーの初期化処理中にファー
ムウェアを呼び出す部分を改良した
– 今まではDisconnectControllerしか使っていなかったので、ヘッ
ダーファイルのファイル名などにdisconnectという名前が含まれ
ていた
– これをuefiutilという名前に変更し、他のインターフェイスを追加し
やすくした
14

15. その他細かな修正:
UEFI呼び出し処理の修正
◼ UEFI呼び出し処理で一時的に使用するページテーブル
のエントリのU/Sビットをセットしないようにした
– U/S(User/Supervisor) ビットがセットされていると、特権レベル3
でアクセスできる
– CR4.SMEP=1かつEFER.NXE=1の場合、U/Sビットがセットさ
れたページのコードを特権レベル0で実行することができない
• 一部の最新Macのファームウェアでこの設定が使用されている。
U/Sビットがセットされていたため、CPUがシャットダウン状態になり
フリーズしていた。
– ファームウェア呼び出しは特権レベル0でなければならず、U/S
ビットをセットしておく理由はなかったので、セットしないようにして
対応した
15

16. その他細かな修正:
割り込み破棄対応
NVMeドライバーで割り込み破棄を実装するにあたり、core
側で以下の変更を行った:
◼ exint_pass_intr_register_callback()関数で登録する
コールバック関数の返り値を、割り込み番号の変更を想
定してint型としていたにも関わらず、呼び出し側で返り値
を捨てていたのを修正した
– -1を返すことで割り込み破棄できる
◼ MSI/MSI-Xによる割り込みを破棄するにはlocal APICに
EOIを発行する必要があるため、そのためのeoi()関数を
追加した
16

17. その他細かな修正: Intel CPUで
のマイクロコードアップデート関連
◼ Intel CPUでマイクロコードアップデートの前にキャッシュ
フラッシュするようにした
– 修正のきっかけ: Intel Broadwell世代のプロセッサを搭載した
Macで、macOSが起動中に時々フリーズする事象が発生し、デ
バッグの結果、マイクロコードアップデートの処理中あるいは直
後にすべてのコアがいっせいにフリーズしているらしいことが分
かった
– 修正内容: wbinvd命令を入れるだけでかなり改善したが、さらに
改善するため、suspend-to-RAM用に作った、VMM内をすべて
読み取ってからwbinvd命令を実行する関数を2回呼び出すよう
にした
• 時間がかかりすぎて問題が発生したため、キャッシュ無効状態で
アップデートを行うようにした
17

18. 未完了の修正: panic改良
現状
◼ panic処理中にpanicして無限ループになることを防ぐた
め、約5回を超えるpanicはレジスターダンプ等を行わず
に停止する仕掛けがある
◼ ひとつのプロセッサがpanicすると、他のプロセッサはVM
Exit後すぐにpanicするようになっている
課題
◼ 最近は論理プロセッサ数が5を大きく超えるコンピュー
ターが増えており、その場合すべての論理プロセッサの
レジスターダンプは期待できない状態になってしまった
◼ もうちょっと確実に動くpanic処理に改良したい
18

19. 未完了の修正: IOMMU対策
◼ 現状: para pass-throughドライバーが正常に動作するた
めにはIOMMU (Intel VT-d/AMD-Vi) の隠ぺいが必須
◼ これを見せられるようにしたい。対応方法:
– RMRR(Intel)/IVMD(AMD) にアドレス範囲を追加し、VMMの領
域を予約済み (1:1マッピングが必要な領域) として、ゲストオペ
レーティングシステムに通知する
• VMM領域内の (シャドウ) バッファーへのDMAアクセスに必要
– mapmem関数の仕様を変更してアドレス空間を指定できるよう
にし、ゲストオペレーティングシステムが使用しているIOMMUの
マッピングをもとにマップできるようにして、ドライバーも修正する
• 仮想マシン上のバッファーへのアクセスに必要
– ファームウェアがIOMMUを使用している場合、あとから予約済
み領域を追加することはできないので一時的にオフにする
– VMMの領域全体を予約にするのではなく、DMA用の領域を分
離して割り当てられれば理想的 19

20. BitVisor 2019年の主な変更点
まとめ
◼ 新規対応
– CPU新機能対応
– 仮想PCIデバイス対応
– 10GbE Aquantia AQC107対応
◼ ネットワーク性能改善
◼ NVMeドライバー改良
– ANS2対応、ファームウェアの問題回避、割り込みの対策
◼ その他細かな修正
– NVMeバグ修正、UEFI用の実装の改良など
◼ 未完了の修正
– panic改良、VT-d対策
20
最新リポジトリ
http://bitvisor.sf.net