ScreenPilot

المنصات

ما الذي يستطيعه ScreenPilot على كل سطح مكتب: التسجيل والقيادة والتحكم بالنوافذ وتسجيل النقرات، مع المتطلبات وملاحظات كل نظام والقيود.

يختار ScreenPilot الواجهة المناسبة لسطح مكتبك بنفسه. التسجيل يعمل على كل سطح مكتب مدعوم. أما هل يستطيع الذكاء الاصطناعي استخدام تطبيقاتك نيابةً عنك (تحريك الفأرة والنقر والكتابة) فيعتمد على سطح المكتب. اطلب من تطبيق الذكاء الاصطناعي تشغيل ScreenPilot doctor ليخبرك أي واجهة اختار وما الذي يعمل على جهازك.

دعم المنصات#

الاسم بين القوسين هو معرّف الواجهة الذي يعرضه ScreenPilot.

سطح المكتبالتسجيل (مدمج)القيادة (المؤشر والمفاتيح والكتابة)النوافذ (عرض وتركيز وملاءمة 16:9)تسجيل المؤشر والنقرات
KDE Plasma مع Wayland (kde)PipeWire portal streams + GStreamerRemoteDesktop portal (توافق مرة واحدة)KWin scriptsمؤشر KWin؛ النقرات تحتاج إلى المجموعة input
أي جلسة X11 (x11): GNOME على Xorg، وLinux Mint مع Cinnamon أو MATE أو Xfce، وKDE X11ffmpeg x11grabXTest (أي نص Unicode، دون حافظة أو تبديل لغة الإدخال)EWMH window managerXQueryPointer + global hook
GNOME وسطوح Wayland الأخرى (portal)PipeWire portal streams + GStreamer (يسأل مرة واحدة)RemoteDesktop portal (توافق مرة واحدة)غير متاح: خطوات التركيز والملاءمة وأهداف {web} تفشل برسالة واضحة؛ والعروض المؤطَّرة بالنوافذ ترجع إلى عروض الشاشةلا شيء لأن Wayland يخفي المؤشر؛ لكن الـ takes المنفّذة تسجّل نقراتها هي
sway وHyprland وسطوح wlroots الأخرى (portal)ScreenCast portal + GStreamer (يسأل مرة واحدة)غير متاح (لا يوجد RemoteDesktop portal)غير متاحلا شيء
Windows 10 و11 (windows)ffmpeg gdigrabSendInputWin32استطلاع المؤشر + global hook
macOS 12 وما بعده، Apple Silicon وIntel (macos)ffmpeg avfoundation (إذن Screen Recording)CGEvent (إذن Accessibility)Accessibility APIاستطلاع Quartz + global hook (إذن Input Monitoring)

لفرض واجهة بعينها اضبط متغير البيئة SCREENPILOT_DESKTOP على kde أو x11 أو portal أو windows أو macos.

KDE Wayland يُستخدم يوميًا. أما Windows وX11 وmacOS فلكل منها اختبار آلي على جهاز حقيقي في CI. لم يُجرَّب GNOME وHyprland على أجهزة حقيقية بعد.

المتطلبات#

تحتوي تنزيلات Windows وmacOS وLinux على Node وffmpeg، فلا تحتاج إلى شيء آخر معها. هذه القائمة لمن يشغّل ScreenPilot من الشيفرة المصدرية.

  • Node 22 أو أحدث وpnpm.
  • ffmpeg وffprobe على PATH.
  • مسجّل شاشة. المسجّل المدمج هو الافتراضي. على Wayland (KDE وGNOME وwlroots) يسجّل تدفقات PipeWire من screen-cast portal بواسطة GStreamer، وهذا يحتاج إلى gst-launch-1.0 مع pipewiresrc ومُرمِّز H.264 (x264enc أو openh264enc أو VA-API). على X11 وWindows يسجّل بـ ffmpeg. وعلى macOS يستخدم ffmpeg مع avfoundation.
  • اختياري: OBS Studio 28 أو أحدث مع تفعيل خادم WebSocket، إذا فضّلت مُرمِّزات OBS. استخدم --recorder obs.
  • اتصال بالإنترنت للتعليق الصوتي الافتراضي (أصوات Edge) ولقائمة أصواته. والأصوات المحلية لا تحتاجه بعد تثبيتها، لكن تثبيتها يحتاج uv والإنترنت (راجع الأصوات).
  • wl-clipboard (wl-copy) لكتابة النص غير اللاتيني على Wayland. أما X11 وWindows فيكتبان أي نص Unicode مباشرة.

إذا نقصت حزمة من GStreamer فإن screenpilot doctor يطبع أمر التثبيت لتوزيعتك. مثلًا:

# Fedora
sudo dnf install gstreamer1 pipewire-gstreamer gstreamer1-plugin-openh264
# Debian, Ubuntu
sudo apt install gstreamer1.0-tools gstreamer1.0-pipewire gstreamer1.0-plugins-ugly

ملاحظات Linux#

نافذة الإذن#

على KDE وGNOME مع Wayland تعتمد القيادة على RemoteDesktop portal. وافق على نافذة "remote control" مرة واحدة واختر كل الشاشات. يحفظ ScreenPilot الموافقة فتمرّ المرات التالية دون سؤال. والتسجيل على Wayland يسأل مرة واحدة عن مشاركة الشاشة (على KDE يعيد استخدام موافقة التحكم عن بُعد).

KDE Wayland: المجموعة input#

لا يسمح Wayland للتطبيقات بمراقبة الإدخال العام. ولتسجيل نقرات الفأرة يقرأ ScreenPilot أزرار الفأرة من /dev/input، وهذا يتطلب أن يكون مستخدمك في المجموعة input:

sudo usermod -aG input "$USER"   # then log out and back in
أعضاء المجموعة input يستطيعون قراءة كل ما يُكتب بلوحة المفاتيح وكل حركة الفأرة على الجهاز، ومنها كلمات المرور في أي تطبيق. افعل ذلك فقط على جهاز وحساب تثق بهما. يمكنك إخراج نفسك منها بعد ذلك بالأمر sudo gpasswd -d "$USER" input.

بدون المجموعة يظل التسجيل ممكنًا. تفقد تأثير النقرات، وتعود اقتراحات التكبير إلى الموضع الذي استقر فيه المؤشر.

X11#

يدعم X11 كل شيء، بما في ذلك أهداف الويب وتأطير النوافذ، ولا يحتاج إلى أي نافذة إذن. مع التحجيم الكسري أو HiDPI يكون التسجيل بوحدات X pixels كما يبلغ عنها XRandR.

ملاحظات Windows#

  • تعتمد القيادة على SendInput. النافذة المشغَّلة بصلاحيات المسؤول لا تستطيع عملية عادية التحكم بها. شغّل ScreenPilot بصلاحيات المسؤول أيضًا.
  • الإحداثيات بالبكسل الفعلي.
  • التسجيل مدمج (ffmpeg gdigrab مع مؤشر الفأرة). OBS اختياري.
  • متصفح العرض هو Chrome أو Edge أو Brave، أيها وُجد أولًا. اضبط SCREENPILOT_BROWSER لاختيار متصفح آخر.
  • حجب إشعارات النوافذ المنبثقة أو إغلاقها لا يفعل شيئًا على Windows.
  • إذا سألك برنامج مكافحة الفيروسات عن ScreenPilot فاسمح له. يراقب النقرات أثناء التسجيل.

ملاحظات macOS#

macOS 12 وما بعده، على Apple Silicon وIntel. التسجيل ولقطات الشاشة والقيادة (المؤشر والنقرات والكتابة بما فيها العربية والإيموجي والاختصارات) وقائمة النوافذ وتركيز النوافذ وترتيبها ومتصفح العرض، كلها تعمل دون OBS. عروض الويب تحتاج إلى Chrome أو Edge أو Brave في /Applications.

يمنح macOS أذونات الخصوصية للتطبيق الذي يشغّل ScreenPilot (Claude أو Cursor أو VS Code أو Terminal) وليس لـ ScreenPilot نفسه. فعّل ذلك التطبيق في System Settings ثم Privacy & Security:

الإذنلماذا يلزمبدونه
Accessibilityتحريك الفأرة والنقر والكتابة وتركيز النوافذ وتغيير حجمهاتفشل القيادة، وتسرد رسالة الخطأ هذه الخطوات
Screen & System Audio Recording (واسمه Screen Recording في macOS 14 وما قبله)التسجيل ولقطات الشاشة وعناوين النوافذيفشل التسجيل، وتسرد رسالة الخطأ هذه الخطوات
Input Monitoringتسجيل نقراتك أنت أثناء التسجيللا تحتوي التسجيلات على تكبير عند النقرات (اختياري)

ثم أغلق ذلك التطبيق وافتحه من جديد. الخطوات في أذونات macOS.

  • الإحداثيات بالنقاط (points) وليست بكسلات. تُعرض شاشة Retina بحجم "looks like"، وتحتفظ التسجيلات بتفاصيل Retina الكاملة (بحد أقصى 4096x2304 لشاشات 5K ولوحات الشاشات المتعددة).
  • تُسمّى الشاشات كما في System Settings، مثل "Built-in Retina Display" أو "DELL U2720Q". والطرازات المتطابقة تأخذ " (2)".
  • الاختصارات تُفسَّر حرفيًا. ctrl+c تعني Control-C. استخدم cmd+c لـ Command-C.
  • فعّل وضع Do Not Disturb بنفسك قبل التسجيل. لا يملك ScreenPilot طريقة في macOS لحجب إشعارات البانر.
  • النوافذ المصغّرة والنوافذ في Spaces أخرى لا تظهر في القائمة. النوافذ بملء الشاشة تخرج من هذا الوضع حين يضعها take في مكان.

القيود#

  • تعمل قيادة سطح المكتب على KDE Wayland وX11 وGNOME Wayland (دون التحكم بالنوافذ) وWindows وmacOS. ولا تعمل على سطوح wlroots (sway وHyprland). أما التسجيل فيعمل هناك.
  • سطوح Wayland غير KDE لا تعرض قائمة نوافذ ولا موضع المؤشر. وهذا يعني: لا تأطير بالنوافذ، ولا أهداف {web} أو {window}، ولا سجل للمؤشر في تسجيلاتك أنت.
  • أصوات Edge الافتراضية تحتاج إلى الإنترنت، وهي خدمة غير رسمية قد تتغير.
  • الأصوات المحلية (VoiceTut وNAMAA) جُرّبت على Linux مع بطاقة رسوميات NVIDIA فقط. ولم تُجرَّب على Windows أو macOS أو الأجهزة التي ليس فيها سوى المعالج.
  • الإخراج ليس سريعًا. استخدم المسودة أثناء التجريب.
  • يُسقَط التعليق الصوتي داخل الأجزاء المقصوصة من الفيديو، لذلك يجب أن تقع الجمل داخل الأجزاء المحتفظ بها.

ارجع إلى التثبيت أو انتقل إلى دليل الأمان.