silma-ai

/

silma-embedding-matryoshka-v0.1

like 13

Follow

SILMA AI 157

I made small comparision between it and multilingual-e5-large and Semantic-Ar-Qwen-Embed-0.6B
and silma seemed to be the best

I don't know if there is bias or not ...it was quick compraion by the way here is what I test on

test_cases = [
# ==========================================
# CATEGORY 1: Egyptian Dialect (Ammiya / Slang)
# ==========================================
(
"عايز أروح وسط البلد بسرعة دلوقتي",
"محتاج طريقة سريعة توصلني وسط البلد حالاً",
"الجو حر أوي النهاردة في وسط البلد",
"Egyptian - Travel Intent (Synonym vs Word Match)"
),
(
"الحاجة دي بكام يا غالي؟",
"سعر المنتج ده كام لو سمحت؟",
"الحاجة دي شكلها حلو بس تقيلة",
"Egyptian - Price Query (Idiom vs Word Match)"
),
(
"ولا يهمك يا صاحبي كله تمام",
"مفيش مشكلة يا صديقي كل الأمور بخير",
"صاحبي مسافر برة البلد بكرة الصبح",
"Egyptian - Reassurance (Social Slang)"
),
(
"أنا مش طايق نفسي وزهقان بجد",
"مخنوق أوي وحاسس بملل وضيق شديد",
"أنا بحب نفسي وبقدر ذاتي جداً",
"Egyptian - Emotional State (Idiomatic Synonyms)"
),
(
"المشروع ده ملوش أي تلاتين لازمة",
"البرنامج ده عديم الفائدة وبلا قيمة",
"المشروع يحتوي على ثلاثين خطوة مهمة",
"Egyptian - Idiomatic Sarcasm (Decoy Number Match)"
),
(
"فكك مني دلوقتي عشان مش فايقلك",
"سيبني في حالي حالياً لأني مشغول وغير مستعد",
"فك العقدة دي بسرعة وخلينا نمشي",
"Egyptian - Double Meaning Slang (فكك)"
),

# ==========================================
# CATEGORY 2: Modern Standard Arabic (MSA) & Classical
# ==========================================
(
    "إن مع العسر يسرا",
    "بعد كل ضيق يأتي الفرج واليسر",             
    "العسر كلمة صعبة النطق في الجملة",          
    "MSA/Classical - Proverbial & Religious Sentiment"
),
(
    "قدم استقالته من الشركة بالأمس",
    "ترك عمله في المؤسسة يوم أمس",             
    "الشركة تقدم خدمات ممتازة للعملاء",         
    "MSA - Corporate (Verb Synonyms)"
),
(
    "أفلح من التزم بالصدق والأمانة",
    "ينجح ويفوز المرء عندما يصدق ويؤدي أمانته",  
    "الصدق صفة حميدة ولكنها ليست كافية أحياناً", 
    "MSA - Complex Moral Context"
),
(
    "تدهور الوضع الاقتصادي بشكل ملحوظ",
    "شهدت الحالة المالية تراجعاً كبيراً ومقلقاً", 
    "الوضع الاقتصادي ممتاز والاستثمارات في تزايد",
    "MSA - Economic Trends (Exact Opposites)"
),

# ==========================================
# CATEGORY 3: Negation & Semantic Flips
# ==========================================
(
    "أنا لا أحب القهوة الساخنة",
    "أفضل المشروبات الباردة ولا أفضل القهوة الحارة", 
    "أنا أعشق شرب القهوة الساخنة كل صباح",          
    "Negation - Explicit Dislike"
),
(
    "لم ينجح أحد في الاختبار الصعب",
    "جميع الطلاب رسبوا في الامتحان المعقد",     
    "كل الطلاب نجحوا في هذا الاختبار الصعب",     
    "Negation - Universal Negative (لم ينجح أحد)"
),
(
    "السيارة لم تكن مسرعة على الإطلاق",
    "المركبة كانت تسير ببطء شديد وهدوء",         
    "السيارة انطلقت بسرعة جنونية متهورة",       
    "Negation - Speed Context"
),
(
    "ما زال يبحث عن عمل حتى اللحظة",
    "هو مستمر في البحث عن وظيفة ولم يجد بعد",   
    "هو وجد عملاً ممتازاً وتوقف عن البحث",       
    "Negation - Continuous State (ما زال)"
),

# ==========================================
# CATEGORY 4: Mixed Language & Arabizi
# ==========================================
(
    "ana b7b el kora awy",
    "أنا بعشق لعب كرة القدم وبتابعها دايماً",     
    "أنا بفضل كرة السلة على أي رياضة تانية",     
    "Arabizi - Transliterated Sports Query"
),
(
    "m4 fa9'y dlw2ty l2n 3ndy 4o8l",
    "مش فاضي دلوقتي لأن عندي شغل",             
    "أنا مخلص شغلي وقاعد فاضي حالياً",          
    "Arabizi - Slang Match (Busy vs Free)"
),

# ==========================================
# CATEGORY 5: Long Context & Paragraph RAG
# ==========================================
(
    "تأثير الذكاء الاصطناعي على مستقبل الوظائف الهندسية والبرمجية خلال السنوات العشر القادمة",
    "تشير الدراسات إلى أن هندسة البرمجيات والوظائف التقنية ستشهد تحولاً جذرياً بسبب أدوات التوليد الآلي للكود، مما يتطلب من المهندسين تطوير مهاراتهم للتكيف مع هذه التقنيات الناشئة والاستمرار في سوق العمل الجديد.", 
    "الهندسة المدنية والمعمارية تعتمد بشكل كبير على التصاميم اليدوية وحساب الأحمال الإنشائية للمباني الشاهقة باستخدام برمجيات قديمة وحسابات رياضية معقدة للغاية دون الحاجة لتقنيات معالجة اللغات الطبيعية.", 
    "Long Context - Career Shift"
),
(
    "فوائد اتباع نظام غذائي متكامل يعتمد على الصيام المتقطع لتقليل الوزن وتحسين الأيض",
    "يساهم تنظيم أوقات تناول الطعام والامتناع عنه لفترات محددة في تعزيز معدلات حرق الدهون وخسارة الوزن الزائد، فضلاً عن تنظيم مستويات السكر في الدم وتحسين كفاءة عمليات التمثيل الغذائي بالجسم.",
    "النظام الغذائي السيء المليء بالسكريات والدهون المشبعة يؤدي إلى زيادة مفرطة في الوزن ويسبب مشاكل مزمنة في القلب والشرايين مما يهدد الصحة العامة بشكل مباشر على المدى الطويل.",
    "Long Context - Health and Nutrition"
),
(
    "تاريخ وتطور العمارة الإسلامية في العصر الفاطمي بالقاهرة ومميزاتها الهندسية",
    "اشتهرت الحقبة الفاطمية ببناء المساجد والأسوار الضخمة ذات المحاريب المزخرفة والخطوط الكوفية البارزة، حيث تم دمج الحجر مع الطوب لإنشاء واجهات فنية فريدة تعكس العمارة الإسلامية التاريخية بالقاهرة.",
    "تتميز القاهرة الحديثة بالأبراج الشاهقة والمباني الزجاجية ذات التصاميم الهندسية المعاصرة التي تعتمد على الفولاذ والخرسانة المسلحة لتوفير مساحات مكتبية وسكنية تناسب الكثافة السكانية الحالية.",
    "Long Context - Architectural History"
),
(
    "أهمية الحفاظ على البيئة البحرية والحد من إلقاء النفايات البلاستيكية في المحيطات",
    "تشكل المخلفات البلاستيكية خطراً داهماً على الأحياء المائية حيث تبتلعها الأسماك والسلاحف مما يؤدي لتسممها، لذلك يجب فرض قوانين صارمة لحماية البحار والمحيطات لضمان بقاء التنوع البيولوجي المائي.",
    "تمتلك البحار والمحيطات مساحات شاسعة يمكن استغلالها في مشاريع النقل البحري التجاري وبناء السفن العملاقة التي تنقل البضائع والنفط بين القارات المختلفة لزيادة العوائد الاقتصادية للدول.",
    "Long Context - Environmental Conservation"
)

]