Skip to content

feat(extension): HOVER_CARD コマンドと端末内翻訳の PoC - #561

Draft
ujiro99 wants to merge 3 commits into
mainfrom
feat/hover-card-translate-poc
Draft

ujiro99 wants to merge 3 commits into
mainfrom
feat/hover-card-translate-poc

Conversation

@ujiro99

@ujiro99 ujiro99 commented Nov 15, 2026 •

Copy link
Copy Markdown
Owner

概要

#558(ホバーで翻訳)の PoC です。設計は #558 のコメント のとおりで、新しい open mode HOVER_CARD を追加し、メニュー項目にホバーするとカードで結果を表示します。最初の Provider として、Chrome 組み込みの Translator API による端末内翻訳を実装しました。

動作確認の途中のため draft です。 実際の Chrome で、モデルのダウンロードから翻訳結果の表示までを確認する必要があります。

変更内容

  • OPEN_MODE.HOVER_CARD(shared)と、コマンド種別「ホバーカード」の追加
    • schema、型、ガード、設定画面でのコマンド作成時の既定値、action の登録
    • 翻訳先の言語などの設定項目はまだなく、UI 言語に固定
  • Provider / Backend 層(src/services/hoverCard/)
    • runWithFallback:Backend を順に試す。すべて失敗した場合は、ユーザーが対処できるエラー(needsActivation など)を優先して返す
    • chromeTranslatorBackend:content script から Translator API を呼ぶ。言語ペアごとに翻訳器を使い回し、ダウンロードが15秒進まない場合は失敗扱いにする
    • translateProvider:対象は500文字以下。Backend は Translator API の1つだけ
    • 言語判定:CLD(chrome.i18n.detectLanguage)→ LanguageDetector → ページの lang 属性 → CLD の推測、の順
  • UI 層:useHoverCard を MenuItem に組み込み
    • ホバーして700ms後に表示し、外れて150ms後に閉じる
    • クリックで固定表示にし、すぐに読み込む(クリックがユーザー操作となり、モデルのダウンロードを開始できる)
    • ショートカットキーなどから実行した場合は、既存の ResultPopup に結果を表示する
  • Keep(ウィンドウで固定表示)
    • ホバーカードの「Keep」で、結果を別ウィンドウ(chrome.windows のポップアップ、src/hover_card_window.html)として開き直す。ホバーをやめても表示されたまま
    • ウィンドウを開いている間は、どのタブで選択し直しても入力が更新され、300ms の debounce 後に自動で翻訳する
    • 入力は chrome.storage.session 経由で content script からウィンドウへ渡す。ウィンドウは同時に1つで、閉じると追従も止まる
    • Keep でカーソルの下のカードが消えると mouseleave が発火せず、メニューの選択検知が止まったままになるため、ホバー状態を明示的に解除する
  • i18n:全言語に11個のキーを追加
  • 診断ログ:[HoverCard] で始まるログを console に常に出す(PoC 用。今後 GA の計測に置き換える)

Chromium(Playwright、v156)で確認したこと

確認項目 結果
content script(isolated world)から Translator / LanguageDetector が使えるか 使える
ホバーでカードがメニュー項目にくっついて表示されるか 表示される
マウスで選択したあとのホバーで、create() に必要なユーザー操作が満たされるか userActivation.isActive: true で、ダウンロードの段階まで進んだ
モデルのダウンロード Chromium には配信がないため進まない。時間制限でエラー表示に切り替わった
Keep でウィンドウが開き、ページで選択し直すと入力が更新され、閉じると状態が消えるか 期待どおり
言語判定 CLD は仏語の文を fr 100% と判定しながら isReliable: false を返したため、確率80%以上でも採用するようにした

未確認・未対応

  • 実際の Chrome で、ダウンロードの進捗表示 → 翻訳結果の表示、2回目以降はすぐ表示されること
  • 実際の Chrome で Keep ウィンドウの翻訳(拡張機能のページでの初回にクリックが必要になるか)と、ウィンドウの位置
  • chrome://on-device-translation-internals で言語パックのサイズを確認
  • 外部 API へのフォールバック(gtx。ユーザーが有効にした場合のみ)と、「翻訳サイトを開く」へのフォールバック
  • GA での計測(どの Backend を使ったか、どこで失敗したか)
  • 設定画面での翻訳先の言語の選択
  • selection-command-hub 側で、未知の openMode をどう扱うかの確認
  • プライバシーポリシーの更新(外部 API へのフォールバックを入れる場合)

確認

  • tsc -b:エラーなし
  • ESLint:エラー0件(警告は既存のもののみ)
  • Vitest:2008件すべて成功(追加した runWithFallback / language / windowService のテストを含む)

Refs #558

🤖 Generated with Claude Code

https://claude.ai/code/session_01Pd1sH2pgpkAeKPDPkXFEeA

Add a new open mode HOVER_CARD that shows a result in a card attached
to the menu item on hover. The feature is split into a common UI layer
(useHoverCard), providers (what to show) and backends (how to get it),
so that new hover features only swap the provider and backends.

The first provider translates the selection with Chrome's built-in
Translator API on device. Fallback backends are not implemented yet.

Refs #558

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Pd1sH2pgpkAeKPDPkXFEeA
@codecov

codecov Bot commented Nov 15, 2026 •

Copy link
Copy Markdown

Codecov Report

❌ Patch coverage is 44.56522% with 459 lines in your changes missing coverage. Please review.
✅ Project coverage is 56.71%. Comparing base (fca66dd) to head (6f8863f).

Files with missing lines Patch % Lines
...rc/services/hoverCard/backends/chromeTranslator.ts 11.76% 90 Missing ⚠️
packages/extension/src/hooks/useHoverCard.ts 47.79% 71 Missing ⚠️
...ension/src/components/hoverCard/HoverCardPanel.tsx 22.22% 49 Missing ⚠️
...nsion/src/components/hoverCard/HoverCardWindow.tsx 0.00% 47 Missing ⚠️
...n/src/components/hoverCard/HoverCardWindowSync.tsx 0.00% 39 Missing ⚠️
packages/extension/src/services/hoverCard/index.ts 22.22% 35 Missing ⚠️
packages/extension/src/action/hoverCard.tsx 25.80% 23 Missing ⚠️
packages/extension/src/hover_card_window.tsx 0.00% 20 Missing ⚠️
...ackages/extension/src/components/menu/MenuItem.tsx 34.78% 15 Missing ⚠️
...ion/src/services/hoverCard/providers/translate.tsx 51.61% 15 Missing ⚠️
... and 8 more
Additional details and impacted files
@@            Coverage Diff             @@
##             main     #561      +/-   ##
==========================================
- Coverage   57.01%   56.71%   -0.31%     
==========================================
  Files         325      342      +17     
  Lines       33623    34447     +824     
  Branches     3697     3775      +78     
==========================================
+ Hits        19170    19536     +366     
- Misses      14453    14911     +458     

☔ View full report in Codecov by Harness.
📢 Have feedback on the report? Share it here.

🚀 New features to boost your workflow:
  • ❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.
  • 📦 JS Bundle Analysis: Save yourself from yourself by tracking and limiting bundle sizes in JS merges.

ujiro99 and others added 2 commits November 16, 2026 12:20
…ection

Add a Keep button to the hover card. It reopens the result in a popup
window that stays open; selecting text again on any page updates the
window's input, and translation runs again after a 300ms debounce.

Also clear the popup's hover state when the card under the pointer
closes, since no mouseleave fires and selection detection would stay off.

Refs #558

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Pd1sH2pgpkAeKPDPkXFEeA

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant