1. 概要
Vision MOD は macOS と Windows で動作するリアルタイム映像シンセサイザーです。モジュラーシンセサイザーの Complex Oscillator——一方のオシレーターでもう一方を整形する仕組み——を映像領域に持ち込みます。Modifier の素材がダイナミクスを与え、Carrier の素材はそのダイナミクスに乗る映像。ある映像素材が別の映像素材を変調し、新しい視聴覚現象が生まれます。
ソース以降の各 station はこの合成された Carrier 映像流に対して動作します。背景除去は素材の起点(Fundamental Vision)でのみ行い、それ以降、内容のない領域は alpha 0 を保持し、下流の各 station はそのピクセルを破棄するため、チェーン全体で被写体の切り抜きが維持されます。
メインコントロールウィンドウ:トップバー、選択中モジュールのパラメータパネル、Contour Scanner と CV Generator ブロック、右側のモジュールパネル。
トップバー
HUE HUE カラーホイールパネルを開閉し、UI のアクセントカラーを調整
SIGNAL SIGNAL フローティングウィンドウを開閉(音声入力メーター + CV Output ルーティング + 7 本の CV メーター)
Language UI 言語を切替(EN/日本語/中文)。ホバー説明も連動し、選択は保存されます
SD status SD サービス状態:起動中は SD Loading、完了後は使用中のアクセラレーションを表示
HUE ホイール
Outer ring 外環:ドラッグでアクセントの色相を変更
Centre 中央:上下ドラッグでアクセントの彩度を変更
Presets プリセット色相:クリックで Coral/Mint/Sky/Violet を適用
Phase colours 位相派生カラープレビュー(補色 +180°/三分割 ±120°/類似 ±30°)、参考表示のみ
2. シグナルフローとモジュールパネル
パイプラインはメインウィンドウ右側のモジュールパネルで定義します。Fundamental Vision はソースアンカーとしてスロット 1 に固定、それ以外のモジュールはユーザーが追加・並べ替え・bypass・削除を行います。grip アイコンをドラッグして並べ替え、X アイコン(2 クリック確認)で削除、チェックボックスで個別 bypass。同種のモジュールを複数 instance 化でき、各 instance は独立したパラメータで上から下へ直列接続されます。
モジュールパネル。行をクリックすると左側のパネルにそのモジュールのパラメータが表示されます。各行に grip アイコン、X アイコン、有効チェックボックスがあります。
Catalog モジュールパネル(Signal Flow):シグナルフローのモジュール一覧、上から順に実行。同種のモジュールを複数 instance 化でき、各 instance のパラメータは独立
Drag to reorder ドラッグ並べ替え:grip アイコンを掴んで上下にドラッグし instance の位置を変更(Fundamental Vision は第一スロット固定)
Remove instance を削除:1 回目クリックで三言語の確認、もう一度で削除。外側クリックまたは Esc で取消
Enable この instance を有効化:チェックを外すと bypass(信号は次の station へ素通し)。パラメータと順序は維持
+ Module
+ Module ボタンでモジュールライブラリを開きます。追加できるモジュール:Stable Diffusion、Minimalize、Chromascope、3D Object、Particle、Flow Warp、Feedback、Triposr 3D、Slow Motion、Plugin。Stable Diffusion は単一 instance で、チェーンに存在する間は項目がグレー表示になります。Fundamental Vision は固定アンカーで、追加も削除もできません。
各 station 共通コントロール
Fundamental Vision 以降の各 station は同じヘッダーコントロールを共有します:有効チェックボックス、Mix、Brightness、Position / Scale パッド。Mix はその station の dry/wet で、唯一のミックスコントロールです。モジュール内に独自の mix フェーダーはありません。新規追加した instance の Mix は 0 から始まるため、追加した時点では画面は変わらず、Mix を上げると効果が現れます。
station パネル(図は Triposr 3D)。ヘッダー行に有効チェックボックスと RESET。Mix、Brightness、Position / Scale パッドは全 station 共通です。
Mix ステーションの dry/wet 混合:0 で前段出力を素通し、1 で全効果
Brightness このステーションの出力輝度ゲイン(0–4、ダブルクリックで 1 に戻る)
Position / Scale 位置/拡大:ドラッグで移動、スクロールで拡大(0.25–4)、ダブルクリックでリセット
Detail panel icon クリックでこのモジュールの詳細設定パネルを開く(ブラシマスク、開発中)
3. Fundamental Vision(基礎ビジョン)
ソース station。左に Modifier、右に Carrier の 2 スロットが並びます。各スロットにはカメラ、動画ファイル、写真を割り当てられます。Modifier は Movement と Color 信号の解析、Image Displace と Flow Warp の流れ場の駆動に使われ、Carrier がチェーンに送られる映像本体です。
Fundamental Vision:Modifier(左)と Carrier(右)、その間に Mix フェーダー。
Card 素材入力カード:Modifier(左)が Carrier(右)を変調、Mix で両者を合成
Modifier Modifier スロット:変調素材。Movement/Color CV、粒子 Displace、Flow Warp フロー場のソース
Carrier Carrier スロット:主視覚映像、下流処理チェーンへ流れます
Mix Carrier と Modifier の合成:右へ動かすと Carrier、左で Modifier
Source type ソース種別:カメラ/動画/写真の三択(動画・写真はドラッグ&ドロップで読み込み)
Remove background カメラ背景除去:MediaPipe で前景をマスクし、被写体のみを後段へ送ります
Flip H ソース映像を水平反転(左右ミラー);producer 段階で適用、チェーン全体に反映
Flip V ソース映像を垂直反転(上下ミラー);producer 段階で適用、チェーン全体に反映
Video speed 読み込んだ動画の再生速度(0 停止、1 等速、5 五倍速)
カメラメニューと設定
カメラ選択ドロップダウンとカメラ設定アイコン。
Camera カメラ入力デバイスを選択
Settings icon クリックでカメラ設定パネルを開く(Brightness/Contrast/Saturation の 3 項目をハードウェア制御)。Carrier と Modifier は独立設定を保持
Brightness カメラ輝度(カメラドライバ層、UVC / V4L2 対応 axis、0–1)
Contrast カメラコントラスト(カメラドライバ層、UVC / V4L2 対応 axis、0–1)
Saturation カメラ彩度(カメラドライバ層、UVC / V4L2 対応 axis、0–1)
動画・写真の読み込み
ファイルをウィンドウにドロップ:左半分で Modifier、右半分で Carrier に読み込まれます。
File path 読み込み中のファイルパス。ウィンドウへドロップで読み込み(左半分=Modifier、右半分=Carrier)
4. Contour Scanner と CV Generator
メインウィンドウのモジュールパネルの下には常に Contour Scanner と CV Generator が表示されます。スキャナーは映像から輪郭を検出し、CV Generator はスキャン・動き・色をモジュレーション信号に変換します。グローバル操作行(PRESET、PLUGINS、OUTPUT、ビジュアル再起動、ヘルプ)は Contour Scanner パネルの上部にあります。
Contour Scanner
Card 輪郭スキャナーカード:映像から輪郭を検出し、SEQ 信号と輪郭オーバーレイを生成
Preview 輪郭プレビュー:ライブ映像+輪郭線+ドラッグ可能な走査範囲円(ROI)
Scan ROI 走査範囲円:中心をドラッグで走査アンカー移動、縁をドラッグで走査範囲を調整
Threshold 輪郭エッジ検出の閾値:高いほど強いエッジのみ残します
Smoothing 輪郭の平滑度:ギザつきとノイズを抑えます
Scene Threshold 輪郭の更新ゲート(エッジ検出の閾値ではありません):画面がこの値(%)を超えて変化したときだけ輪郭を再検出します。高いほど輪郭は静止したまま保たれ CPU/GPU の負荷も下がり、低いほど反応が速くなり、0 ではほぼ毎フレーム再計算します
Lock 現在の輪郭を固定:CV と粒子の信号をこの瞬間に固定します
Mix 輪郭オーバーレイの合成比率
CV Generator
Card CV Generator:映像からモジュレーション信号を生成(輪郭 SEQ、Movement、Color)
Scan Time 輪郭走査周期:走査が一巡する時間(2-10 秒)。トラック上の白線が現在の走査位置
Smooth SEQ シーケンス信号の平滑度
Gain Movement 前景エネルギー信号のゲイン(ソース:Modifier 全画面)
Foreground Movement CV 前景閾値;VAV 互換のため残置。現状 Modifier 経路は背景除去されず、この閾値は未動作
5. Stable Diffusion
入力映像を AI 生成映像に変換します。macOS は Stable Diffusion 1.5 + ControlNet + Hyper-SD15 1-step LoRA(Metal)、Windows は Stream Diffusion(CUDA / TensorRT)で実行します。チェーン内の Stable Diffusion は 1 つのみ。dry/wet は station の Mix で制御し、Enable が未チェックの間は Mix が 0 に固定されるため、チェーンに空の AI フレームが流れることはありません。
Stable Diffusion パネル:Enable、Grayscale、Likeness、Preset、Prompt、LoRA。
Enable Stable Diffusion を有効化:モデルを読み込みカメラ映像を AI 生成に変換、解除で解放
Grayscale AI 出力をグレースケールに強制します
Likeness AI 出力がカメラ構造に沿う度合い(高い=カメラに近い)
Preset 内蔵スタイルプロンプトを切替(29 種の画風/質感)
Prompt AI 生成のテキストプロンプト(望む画風を記述)
LoRA Stable Diffusion 用の LoRA ファイル(.safetensors)を選択。クリアで LoRA を無効化。未設定時は No LoRA と表示されます。
Status SD サービス状態:起動中は SD Loading、完了後は使用中のアクセラレーションを表示
6. Chromascope
映像に 4 つのカラーチャンネルを重ねます。Base Hue が開始色相、Hue Spread がそれを中心とした 4 チャンネルの分布を決め、各チャンネルに独自の Curve と Angle があります。dry/wet は station の Mix で制御します。
Chromascope パネル:Base Hue、Hue Spread、各チャンネルの Curve と Angle フェーダー。
Enable Chromascope カラー効果を有効化
Base Hue Chromascope 基準色相
Hue Spread Chromascope 各チャンネル間の色相の広がり
CH 1 to 4 Curve Chromascope このチャンネルのカラーカーブ
CH 1 to 4 Angle Chromascope このチャンネルの色相回転角
7. Minimalize
追跡したシード点から映像をポリゴンに再構成します。Topology で Triangle(Delaunay メッシュ)、Cell(Voronoi)、Square(Quadtree 矩形)を選択。Fill でポリゴン塗りつぶしとエッジのみのワイヤーフレームを切り替えます。ポリゴンの色はチェーン入力からサンプリングし、Modifier はシード点の変位にのみ使われます。
Minimalize パネル:Density、Topology、Fill、Displace、Smooth、Line Color、Line Width、Line Sat、Fill Sat。
Enable Minimalize ステージ有効化:Chromascope 出力を seed 点で多角形(Voronoi/Delaunay/Quadtree)に再分割
Density seed 点の上限数(2-1500)。数値が大きいほど多角形が細かくなる
Topology 分割トポロジー:Triangle(Delaunay 三角網)/Cell(Voronoi 細胞)/Square(Quadtree 矩形)
Fill 塗りつぶし切替:オンで Fill Sat の彩度で多角形を塗りつぶし、オフでは輪郭線のみ(ワイヤフレーム)
Displace seed 点を Modifier 映像の R/G チャンネルで 2D 変位(Image Displace 例外経路:Modifier は変位ベクトル源として作用、テクスチャ採色はしない)。0 で無効、大きいほど多角形の揺らぎが強くなる
Smooth seed 点の時間平滑:高い値は LK 追跡のジッターを抑えるが、映像変化への応答が遅くなります
Line Color 多角形の輪郭線の色相(0–1 が 0–360° に対応)
Line Width 多角形の輪郭線の太さ(ピクセル)
Line Sat 輪郭線の彩度(0 で黒/グレー、1 で純色相)
Fill Sat 塗りつぶしの彩度(Fill オフ時は視覚的に無効)
8. 3D Object(3D オブジェクト)
レイマーチングで描画し、チェーン入力をテクスチャとして貼る 3D オブジェクト。Shape は 5 つのプリミティブ間をモーフィング。Distort、Repeat、Spacing、Jitter、Smooth で形状を整え、Zoom、Pan、Tilt でカメラを動かします。Displace は Modifier の輝度で表面を押し出します。
Enable 3D Object を有効化:SDF レイマーチによる立体オブジェクト描画
RESET 3D Object の全パラメータをデフォルトに戻します
Shape 3D オブジェクト形状:5 種のプリミティブ(球/箱/トーラス/八面体/ジャイロイド)間でモーフ
Size 3D オブジェクトの全体サイズ
Distort ドメインワープ(sin ドメイン変形)の強さ
Displace Modifier 映像の輝度で 3D オブジェクト表面を変位(0 で無効、大きいほど凹凸が深い)
Repeat ドメインリピート:空間内で配列複製する量
Spacing 複製配列の間隔
Jitter 配列のジッター量
Smooth 形状融合の平滑度(smin)
Zoom カメラからオブジェクトまでの距離(引いて露出オーバーを回避)
Pan カメラの水平周回角
Tilt カメラの俯仰角
9. Triposr 3D(立体再構成)
チェーン入力をテクスチャとして貼った 3D メッシュを描画します。メッシュは選択した OBJ ファイル、または 100 種の内蔵プリセット形状から読み込みます。このバージョンにはカメラスナップショットからの再構成機能はありません。チェーン内に複数の Triposr 3D を置き、それぞれ別のメッシュを持てます。Rotate X / Y / Z、Scale、Displace、Wireframe はモジュレーション可能です。
Preset ドロップダウンに 100 種の内蔵形状がサムネイル付きで並びます。
OBJ File 行から読み込んだ OBJ ファイル。
Rotate Y 3D メッシュの Y 軸回転角(0–360°)
Rotate X 3D メッシュの X 軸回転角(0–360°)
Rotate Z 3D メッシュの Z 軸回転角(0–360°)
Scale 3D メッシュの全体スケール(0.1–5)
Displace Modifier 映像の輝度でメッシュ頂点を法線方向に変位(0 で無効、大きいほど凹凸が深い)
Wireframe ワイヤフレーム混合:0 でソリッド、1 で純ワイヤフレーム、中間値は両者の混合
OBJ File OBJ ファイル(.obj)を選択して 3D モデルを読み込み。クリアで削除
Preset 内蔵形状(100 種)を 3D モデルとして選択。No Preset で選択解除
10. Particle(パーティクル)
チェーン入力をサンプリングして 3D パーティクル場にします。Density、Size、Jitter、Shape がパーティクルを定義し、Depth Mix と Displace が z 軸方向に動かし、Zoom と Scale X / Y / Z で場全体を変換します。
Particle パネル。
Enable Particle 粒子レンダリングを有効化
RESET 粒子フィールドの変換(Zoom/Scale X·Y·Z/視点)をデフォルトに戻します
Density 粒子の密度(サンプリングされる粒子数)
Size 粒子のサイズ
Jitter 粒子位置のジッター量
Shape 粒子の形状
Depth Mix 深度が粒子の z 軸分布に与える影響度
Displace Modifier 素材の輝度で粒子を z 軸方向に変位させる強さ
Zoom 粒子フィールドのビューズーム
Scale X 粒子フィールドの X 軸スケール(負値で反転)
Scale Y 粒子フィールドの Y 軸スケール(負値で反転)
Scale Z 粒子フィールドの Z 軸スケール(負値で反転)
11. Flow Warp
Modifier から計算したオプティカルフローに沿って映像を変位させます。
Flow Warp パネル。
Enable Flow Warp オプティカルフロー効果を有効化(フロー場は Modifier 素材から計算)
Strength オプティカルフロー変位効果の強さ
Direction 変位方向(順方向/逆方向/双方向)
Accumulate フレームごとの変位を蓄積するか
Preset オプティカルフロー速度プリセット(速/中/超速)
12. Feedback
出力を自身にフィードバックして残像を作ります。
Feedback パネル。
Enable Feedback 映像フィードバック効果を有効化
Decay 映像フィードバック残像の減衰速度
Chroma フィードバック過程の色ずれ量
13. Slow Motion(スローモーション)
入力映像を 30 fps でセグメントに録画し、遅い速度でループ再生します。Buffer 秒数分を録画するとセグメントがロックされます。Buffer フェーダーをドラッグするか、station をオフ・オンすると新しいセグメントを取り込みます。
Speed 再生速度(0.05–1、1 = 原速):映像は固定 30fps で録画し、30 × この値の速度で再生。0.25 = 4 倍スローモーション。セグメントが満杯になるとループ再生
Buffer セグメント長(0.5–15 秒):30fps で N 秒録画した時点でセグメントを固定しループ再生。このフェーダーを操作するか、本ステーションをオフ→オンで再取得。大きいほど VRAM 使用量が増加
Blend フレーム補間:隣接する 2 枚の録画フレーム間を補間し、スローモーションを滑らかに保つ。オフではコマ飛び再生になる
14. Plugin(プラグイン)
サードパーティの fragment shader を station として実行します。プラグインは単一の .wgsl ファイルで、プラグインフォルダ(既定 ~/.visionmod/plugins/、最上位のみ)から読み込みます。フォルダはメインウィンドウの PLUGINS 行で選択し、変更時に自動で再スキャンされます。このバージョンでは Plugin パネルにパラメータは表示されません。フォルダ内で最初にコンパイルに成功したプラグインが使われ、失敗したプラグインはスキップされて station は映像をそのまま通過させます。
プラグインファイルのヘッダー
メタデータはファイル先頭の //! コメント行ブロックに記述します。api と name.en は必須。name.zh、name.ja、author、description、url、param 行は任意です。解析は //! コメントでない最初の行で停止します。プラグイン id はファイル名の小文字なので、ファイル名を変えると別のプラグインとして扱われます。
//! api = 1
//! name.en = My Effect
//! param0 = amount | 0.0 | 1.0 | 0.5 | mod | Amount(id、最小、最大、既定、mod または -、ラベル)
15. グローバル操作
Contour Scanner パネル上部の操作行はプログラム全体に作用します。
PRESET SAVE AS で現在の全パラメータをファイルに保存。LOAD でファイルを読み込みます。読み込みは現在の全パラメータを上書きし取り消せないため、先に「上書き読込 / キャンセル」の確認が表示されます。
PLUGINS CHOOSE でフォルダピッカーを開きプラグインフォルダを指定。DEFAULT で既定フォルダに戻ります。2 行目に使用中のフォルダ、ない場合は「利用できるフォルダなし」と表示されます。
OUTPUT + WINDOW でチェーン末端を表示する出力ウィンドウを開きます。出力ウィンドウは切り抜き、パン、ズームが可能です。
View Panic ビジュアル再起動:出力ビューポートが固まったとき強制リペイント(GPU リソースはリセットしない)
Help (i) Help モード切替:オンにすると hover 説明が top bar からカーソル横の tooltip へ移動
16. SIGNAL ウィンドウ
トップバーの SIGNAL トグルでフローティングウィンドウを開きます。左列にプレビューと 7 本の CV メーター(Sequence 1 / 2、Movement、Color R / G / B / Saturation)。右列に Audio Inputs、CV Output、LFO があります。
SIGNAL ウィンドウ:左に CV メーター、右に Audio Inputs、CV Output ルート、LFO。
CV メーター
Sequence 1 SEQ1 シーケンス信号:輪郭上を動く走査点とアンカーの水平距離(0-10V、平滑済み)。塗りが現在の出力値
Sequence 2 SEQ2 シーケンス信号:輪郭上を動く走査点とアンカーの垂直距離(0-10V、平滑済み)。塗りが現在の出力値
Movement Movement エネルギー:Modifier 全画面のフレーム間輝度差の平均 ×Gain(0-10V、平滑済み)
Color Red Modifier 映像の平均赤量(0-10V)。モジュレーションソース/CV 出力に使用可
Color Green Modifier 映像の平均緑量(0-10V)。モジュレーションソース/CV 出力に使用可
Color Blue Modifier 映像の平均青量(0-10V)。モジュレーションソース/CV 出力に使用可
Color Saturation Modifier 映像の平均彩度(HSV S、0-10V)。モジュレーションソース/CV 出力に使用可
Audio Inputs
Card Audio Inputs:4 トラックの音声入力レベル(RMS)をモジュレーションソースに
Device オーディオ入出力デバイスの選択
Channel このトラックが入力デバイスのどのチャンネルを読むか
Meter このトラックの入力レベルメーター(ピーク)。上端の色線は同番号の Chromascope チャンネル色に対応
CV Output
Output ドロップダウンでオーディオ出力デバイスと MIDI 出力ポートをまとめて選択します。各ルートでソース信号、オーディオ出力チャンネル、MIDI CC 番号を選びます。
Card CV Output:モジュレーション信号をオーディオ出力チャンネル(ch3 以降)と MIDI デバイスへ送出
Source モジュレーション信号のルート元;オーディオ出力チャンネルと MIDI デバイス(ルートごとの CC#、14bit)へ同時に出力
Ch この CV 信号を音声出力デバイスのどのチャンネルへ送るか(MIDI 側は右の CC# で指定)
CC このルートの MIDI CC 番号(0-127)。14bit で送出(MSB=CC、LSB=CC+32)、CC>95 は 7bit に降格
Clock 設計上の制約:CV クロックは音声出力コールバックで駆動。出力デバイス未選択時は CV と走査/メーター/映像が停止
LFO
LFO 1 to 4 内蔵 LFO 1〜4。各行に波形ボタン(クリックで Sine、Triangle、Square、Saw を循環)と Hz のレート値(0.01〜20。ドラッグで調整、ダブルクリックでキーボード入力)。モジュレーションソース LFO 1〜4 として使用できます。
17. モジュレーションと MIDI Learn
モジュレーション可能なフェーダーはラベル左に小さな点があります。左クリックで接続のオン/オフ、右クリックでポップアップを開き、グリッドから Source を 1 つ選んで Amount を設定します。Amount はバイポーラ(-1〜1、中心 0)で、ソースはパラメータをどちらの方向にも動かせます。各パラメータは 1 本の接続を保持します。
モジュレーションソース信号は映像、音声、内蔵 LFO から連続生成されます。
モジュレーション点を右クリックしてポップアップを開き、ソースを選んで Amount をドラッグします。
ソース
Sequence 1 / 2 輪郭スキャン信号。Smooth Sequence 1 / 2 は平滑化版。
Audio Input 1 to 4 RMS 4 トラックの音声入力レベル。
Movement 前景の動きエネルギー。Movement Smooth は平滑化版。
Color Red / Green / Blue / Saturation Modifier フレームの平均色。
LFO 1 to 4 SIGNAL ウィンドウで設定する内蔵 LFO。
MIDI Learn
MIDI 対応フェーダーは値の右にバインディング点があります。右クリックして MIDI Learn を選び、MIDI 機器のコントロールを動かすとバインドされ、点がアクセント色になります。同じメニューにバインド済みのチャンネルと CC が表示され、Clear Binding も選べます。学習対象は 7-bit Control Change のみです。
18. Mac App Store 版
Mac App Store 版は、1 回限りの購入が完了するまで出力画面の右下に半透明の VISION MOD 透かしを表示します。購入行は PRESET の上にあります。
Remove Watermark 一度の購入で出力画面の透かしを恒久的に削除します。価格は地域に応じて App Store が表示します。購入後は「購入済み:透かしは表示されません」と表示されます。購入が承認待ちの場合、承認されると自動的に透かしが消えます。
Restore Purchases 購入済みの場合(再インストールや別の Mac など)、同じ Apple アカウントで購入を復元します。再度課金されません。
IMPORT フォルダピッカーで旧 DMG 版の設定(~/.visionmod または ~/.config/visionmod)を読み込み、直ちに適用します。
MADZINE — Vision MOD v0.9.2