مرحبًا ، أنا رينزو لوتشيوني ، طالب في السنة النهائية بجامعة هارفارد. لقد قضيت وقتًا رائعًا هذا الصيف كمتدرب في edX. لقد كنت أعمل على السماح بنهج موضوعي لإدارة المنتج والترويج له. يتكون مشروعي الصيفي من عدة تحسينات منفصلة تتراوح عبر LMS وفريق Analytics المشكل حديثًا. كان مشروعي يدور حول الحصول على "العملية" بشكل صحيح بقدر ما كان يتعلق بمعالجة طريقة LMS لإظهار تقدم الطلاب. أعني بكلمة "العملية": تحديد التغييرات والتحقق منها ، وتنفيذها ، ثم قياس تأثيرها. إن تمكين هذه "العملية" والترويج لها هو المظلة التي تغطي العمل الذي قمت به خلال الصيف.
فيما يلي ملخص للعملية التي نحاول اتباعها هنا في edX. نبدأ بتحديد المشكلة بشكل ملموس والتأثير الذي نتوقع رؤيته من خلال إصلاحها. نحدد المشكلات التي يجب معالجتها باستخدام بيانات التحليلات التي نجمعها. ثم نقوم بعصف ذهني للحلول المحتملة. الخطوة التالية هي التحقق من الصحة. قبل تنفيذ التغييرات بالكامل ، نريد التحقق من صحتها. يمكن أن تكون التغييرات مدفوعة بأي عدد من الأشياء ، لكننا نريد التأكد من أن التغييرات المقترحة تحل المشكلة. هناك طرق عديدة للتحقق من صحة. قد يعني ذلك إظهار التغيير داخليًا لعدد قليل من الأشخاص ، أو تشغيله بواسطة مجموعة من المستخدمين الذين نحضرهم لاختبار التغيير ، أو إجراء اختبار مقسم. إذا رأينا أن التغيير يساعد ، فإننا نقوم بتنفيذه. إذا لم يحدث ذلك ، فارجع إلى الخطوة الأولى. بعد إجراء التغيير ، نريد قياس تأثيره الحقيقي في الإنتاج للتأكد من أننا نحصل على العائد الذي توقعناه من خطوة التحقق من الصحة.
للمساعدة في تحديد خطوات التحديد والقياس الكمي ، ركز عملي على التحليلات وجودة البيانات. Segment.io هي خدمة تابعة لجهة خارجية تتيح لنا إرسال بيانات التحليلات الخاصة بنا إلى أي خدمة تحليلات نريدها دون الحاجة إلى التكامل مع كل خدمة على حدة. لقد قمت بدمج Segment.io مع منصة edX وقمت بتنظيف الأحداث التي نقوم بتسجيلها. نستخدم الآن Segment.io لتتبع ما يفعله المستخدمون أثناء تفاعلهم مع المناهج التعليمية ، وإعادة توجيه هذه المعلومات إلى Google Analytics, Mixpanelو Chartbeat.
لتحسين خطوة التحقق من صحة عمليتنا ، قمت بتطوير نهج مرن وخفيف الوزن لاختبار الانقسام. يشار إليه أيضًا باسم اختبار A / B ، يتكون اختبار الانقسام من تقسيم مستخدمينا إلى مجموعات ، والتحكم في ما تراه هذه المجموعات (نريد إظهار شيء مختلف لكل مجموعة) ، ومراقبة ومقارنة سلوك كل منها. أردنا أن يكون نهج اختبار الانقسام الخاص بنا مرنًا ، مما يسمح لنا بتطبيقه عبر منصة edX للتغييرات التي تتراوح من التعديلات التجميلية إلى الميزات الجديدة تمامًا. يعتمد إطار اختبار الانقسام الذي قمت بتطبيقه على بسكويت الوفل، زعنفة ميزة Django. قررت عدم استخدام أحد أطر عمل اختبار A / B العديدة مفتوحة المصدر المتاحة لـ Django لأن الغالبية غير متوافقة مع Django 1.4 ، ولم يعد يتم صيانتها ، وإما أنها موثقة بشكل سيء أو غير موثقة تمامًا. علاوة على ذلك ، في محاولة لاستخلاص عملية اختبار الانقسام ، وجدت أن هذه الأطر جامدة للغاية بالنسبة لحالات الاستخدام النموذجية لدينا. تم تصميم معظمها لغرض صريح هو تتبع عمليات اشتراك المستخدم أو عمليات الشراء. يشكل استخدام الوافل جنبًا إلى جنب مع Mixpanel نهجًا أكثر مرونة وخفة الوزن.
يوفر Waffle ثلاث أدوات للتحكم في ما يراه المستخدمون: العلامات والمفاتيح والعينات. يستخدم إطار العمل الخاص بي إشارات Waffle المستندة إلى الجلسات لتبديل الميزات في طرق عرض Django وقوالب Mako. تتلاءم الأعلام جيدًا مع فاتورة اختبار الانقسام. يمكن تعيينها لجميع المستخدمين ، أو مجموعة من المستخدمين ، أو نسبة عشوائية من المستخدمين. منح الأذونات المناسبة لنموذج "العلامات" في قاعدة البيانات ، يمكن إنشاء العلامات وتبديلها وحذفها باستخدام موقع إدارة Django دون إشراك DevOps. بالإضافة إلى ذلك ، تدخل التغييرات التي يتم إجراؤها على العلامات حيز التنفيذ على الفور دون الحاجة إلى دفع أي رمز. يتتبع إطار العمل الخاص بي العلامات النشطة لمستخدم معين عن طريق إضافة خاصية إلى مكالمات واجهة برمجة تطبيقات Segment.io التي تحتوي على سلسلة تسرد العلامات النشطة ؛ تم إجراء هذا التغيير الخاص في الجزء io.html. يقوم Segment.io بتوجيه هذه المعلومات إلى Mixpanel ، حيث يمكننا دراسة البيانات ، مما يسمح لنا بمقارنة سلوك مجموعات مختلفة من المستخدمين.
فيما يلي مثال على العملية قيد التنفيذ. بالحديث مع مجموعات من مستخدمي edX ، علمنا أن هناك رغبة قوية في عرض التقدم في السياق. لقد واجه الطلاب تاريخياً صعوبة في تصور تقدمهم في المقرر الدراسي. لقد حصلوا أيضًا على قدر ضئيل من المساعدة عند التنقل في المناهج التعليمية. في الوقت الحالي ، تخبر الصفحة المقصودة للبرنامج التعليمي الطالب عن آخر مكان كان فيه وتربطه بهذا المكون. ومع ذلك ، لا يشير أكورديون الدورة التدريبية إلى ما أكمله الطالب ، أو ما يعمل عليه الطالب حاليًا ، أو ما لم يبدأه الطالب بعد. لجعل الأمور أسوأ ، فإن علامة تبويب التقدم منفصلة عن المناهج التعليمية وهي أيضًا مطولة جدًا ، مما يعني أن الصفحة ليست مفيدة على الفور للطالب. ليس لدى الطلاب طريقة لقياس تقدمهم بشكل موثوق من داخل سياق المناهج التعليمية.
لقد حاولت معالجة هذه المشكلة من خلال عرض نتائج الطلاب مباشرةً بجوار عناوين المشكلات التي يعملون عليها. لإجراء هذا التغيير ، قمت بتعديل capa_module.py و عرض القهوة. نحاول حجز اختبار الانقسام للتغييرات الكبيرة والمحفوفة بالمخاطر ، وليس الانتصارات الواضحة مثل هذا التغيير ؛ نريد التحقق على المستوى الصحيح. على هذا النحو ، يتكون التحقق من هذا التغيير من إظهار التغيير داخليًا. يتم الآن اتباع هذه الميزة من خلال القياس الكمي. لقد لاحظنا انخفاضًا بنسبة 8٪ في حركة المرور من المناهج التعليمية إلى صفحة التقدم ، وسنستخدم هذه البيانات لإبلاغ التغييرات المستقبلية.
على الرغم من أننا بدأنا للتو في استخدام بيانات التحليلات لإبلاغ قراراتنا وإطار العمل الجديد هذا لتقسيم اختبار العمل الجديد ، فأنا على ثقة من أن هذه الأدوات ستسمح لنا باتخاذ خيارات أفضل. يتمثل أحد أهداف edX في اكتشاف ما يساعد الأشخاص على التعلم عبر الإنترنت. سيساعدنا نهج أكثر كميًا مقترنًا باختبار الانقسام في الوصول إلى هذا الهدف.
