تدريب نموذج يميّز محتوى الويب المكتوب بالذكاء الاصطناعي من بنيته وحدها
ستعرف كيف يقرأ النموذج شكل الصفحة لا معناها، وما الذي يجعله يخطئ في الحكم.
النموذج لا يقرأ كلماتك. يقرأ شكل الصفحة: عدد العناوين، طول الفقرات، وكم رابطاً وضعت في آخرها.
معظم المحاولات لتمييز النص الآلي تعتمد على الكلمات: كلمة مكررة، أو عبارة جاهزة، أو أسلوب معروف. هذه الطريقة تفشل بسرعة، لأن من يكتب بالذكاء الاصطناعي يستطيع تغيير المفردات في دقيقة.
لكن التخطيط أصعب في التغيير. لو أخذت مئة صفحة ووصفت بنيتها فقط، بلا قراءة جملة واحدة، تحصل على إشارة مستقرة نسبياً. هذا ما يقوم عليه نموذج يميّز المحتوى التجاري المكتوب آلياً من بنيته.
لتدريب نموذج يميّز المحتوى المكتوب آلياً، لا تعطيه النص بل صف شكل الصفحة: كثافة العناوين، تشابه أطوال الفقرات، ونمط تكرار الجمل. الفكرة أن المحتوى الآلي يترك أثراً هندسياً في التخطيط حتى لو تغيّرت الكلمات.
ما تحتاجه
مجموعة صفحات مصنّفة
مئة صفحة على الأقل لكل فئة، من مواقع مختلفة، مع معرفة مصدر كل صفحة.
أداة استخراج بنية الصفحة
أي مكتبة تقرأ وسوم العناوين والفقرات والقوائم وتحوّلها إلى أرقام.
بيئة تدريب بسيطة
نموذج تصنيف صغير يكفي. لا تحتاج نموذجاً ضخماً لهذه المهمة.
ما الذي يُقاس فعلاً في بنية الصفحة
الفكرة الأساسية أنك تحوّل الصفحة إلى جدول أرقام. طول العنوان الرئيسي، عدد العناوين الفرعية لكل ألف كلمة، متوسط طول الفقرة، الفرق بين أطول فقرة وأقصرها، عدد القوائم، وعدد الروابط في نهاية الصفحة.
المحتوى الآلي يميل إلى الانتظام الشديد: فقرات متقاربة الطول، عناوين متساوية تقريباً، وقوائم من ثلاث نقاط في كل قسم. الكتابة البشرية أكثر فوضى، وهذا الفرق هو ما يتعلمه النموذج.
- طول الفقرة ومتوسط الجملة
- عدد العناوين الفرعية لكل ألف كلمة
- نسبة القوائم إلى الفقرات
- عدد الروابط في المتن مقابل آخر الصفحة
- تكرار الجمل الافتتاحية المتشابهة
لا تُدخل الكلمات نفسها في التدريب. لو أدخلت النص، سيتعلم النموذج موضوع الصفحة لا طريقة كتابتها، وسينهار أمام أي نص جديد في مجال مختلف.
كيف تجمع بيانات التدريب دون خداع نفسك
تحتاج مجموعتين: صفحات كتبها بشر فعلاً، وصفحات كتبها الذكاء الاصطناعي. المشكلة أنك لا تعرف دائماً من كتب الصفحة البشرية. لهذا اختر مصادر تعرف تاريخها، مثل مقالات قديمة موثقة قبل انتشار هذه الأدوات.
قسّم البيانات إلى تدريب واختبار من مواقع مختلفة، لا من نفس الموقع. لو تركت صفحات من الموقع نفسه في المجموعتين، سيتعلم النموذج اسم الموقع لا البنية، وتحصل على دقة مرتفعة كاذبة.
احتفظ بمجموعة صغيرة من الصفحات المشكوك فيها ولا تستخدمها في التدريب. استعملها لاحقاً لترى أين يخطئ النموذج على الحالات الغامضة.
ماذا تفعل حين يخطئ النموذج
سيخطئ في حالتين. الأولى النص البشري المرتّب جداً، مثل مقال تحريري مشدود إلى قوالب واضحة. الثانية النص الآلي الذي عُدّل يدوياً، فكسرت فقراته ووُزّعت كلماته.
الحل ليس تشديد الحكم بل إضافة بُعد آخر. راقب هل تتشابه افتتاحيات الفقرات، وهل تشرح كل فقرة فكرتها ثم تعيدها في نهاية القسم. هذا النمط أقرب إلى الآلة من أي مقياس للطول.
لا تستخدم النموذج كدليل إدانة. استخدمه كإشارة تحتاج مراجعة بشرية، خصوصاً في المحتوى التجاري.
ما لا يستطيع النموذج فعله
النموذج لا يعرف إن كان النص صحيحاً أم خاطئاً. صفحة مليئة بمعلومات مغلوطة قد تبدو بشرية تماماً. ولا يعرف إن كان الكاتب استعان بأداة للتحرير فقط، وهذا فرق مهم.
كذلك لا يعمل جيداً على الصفحات القصيرة. صفحة من مئة كلمة لا تكفي لقياس انتظام الفقرات. تحتاج على الأقل بضع مئات من الكلمات ليصبح التوصيف ذا معنى.
اكتب في وصف النموذج أنه يقيس احتمال الكتابة الآلية، لا يثبتها. هذا يحميك من استنتاجات متسرّعة.
الخطوة
حوّل كل صفحة إلى أرقام
استخرج الطول وعدد العناوين وتوزيع الفقرات. تأكد أن الصفحة تُعالج كاملة قبل الانتقال للتالية.
افصل التدريب عن الاختبار
اجعل مواقع التدريب مختلفة تماماً عن مواقع الاختبار. إن ظهرت دقة مرتفعة جداً، راجع الفصل قبل أن تفرح.
درّب نموذجاً بسيطاً أولاً
ابدأ بنموذج تصنيف خفيف. إن لم يتجاوز الحد الأدنى، فالمشكلة في الميزات لا في حجم النموذج.
افحص الأخطاء يدوياً
اقرأ الصفحات التي أخطأ فيها. صنّف سبب الخطأ: ترتيب بشري، أو تعديل يدوي، أو صفحة قصيرة.
استخدم النتيجة كإشارة
اعرض الاحتمال مع سبب مختصر. لا تعرض رقماً وحده، لأن الرقم بلا سياق يضلّل.
طرق لتغييره
قياس الاقتباسات
أضف عدد الاقتباسات ومصادرها. المحتوى الآلي يقلّ فيها أو يضعها بلا سياق.
قياس تكرار العبارات
احسب كم مرة تبدأ الفقرات بالكلمة نفسها. مناسب للنصوص الطويلة.
نسخة للصفحات القصيرة
استخدم ميزات أقل واحذر من الأحكام، لأن البيانات قليلة.
نسخة متعددة اللغات
افصل النماذج حسب اللغة، لأن أنماط التخطيط تختلف بين لغات الكتابة.
الخلاصة السريعة
- البنية تبقى ثابتة حتى عندما تتغير الكلمات.
- إدخال النص نفسه يجعل النموذج يتعلم الموضوع لا الأسلوب.
- فصل مواقع التدريب عن الاختبار شرط لنتيجة صادقة.
- الصفحة القصيرة لا تكفي لقياس انتظام الفقرات.
- النموذج يعطي احتمالاً لا حكماً نهائياً.
- النص البشري المرتّب جداً هو أكثر ما يوقع النموذج في الخطأ.
أسئلة يطرحها الناس
هل يمكن تمييز المحتوى الآلي دون قراءة النص؟
نعم جزئياً. تخطيط الصفحة وانتظام الفقرات يعطيان إشارة مفيدة، لكنها ليست دليلاً قاطعاً. تحتاج دائماً مراجعة بشرية قبل أي قرار.
كم صفحة أحتاج لتدريب النموذج؟
مئة صفحة لكل فئة حد أدنى معقول. أقل من ذلك يجعل النتيجة غير مستقرة، خصوصاً مع الصفحات القصيرة.
لماذا تفشل الطرق التي تعتمد على الكلمات المفتاحية؟
لأن من يكتب بالأداة يستطيع تغيير الكلمات بسهولة. أما إعادة تشكيل التخطيط فتكلّف وقتاً وجهداً، ولهذا تبقى البنية إشارة أصعب في التمويه.
هل النتيجة دقيقة بما يكفي للاعتماد عليها وحدها؟
لا. اعتبرها إشارة أولى توجّه المراجعة. النموذج لا يعرف صحة المعلومة ولا نية الكاتب.
ابدأ بمئة صفحة، وصف شكلها فقط، ثم اقرأ أخطاء النموذج بنفسك
الفكرة كلها أن تقيس الشكل لا المعنى. إن نجحت في وصف الصفحة بأرقام صادقة، حصلت على أداة تنبّهك إلى ما يستحق القراءة المتأنية. وإن أخطأت، عرفت السبب بدقة.
