دراسة مخبرية للأداءات الصوتية في القراءات القرآنية

الفصل الرابعالدراسة الأكوستيكية و المخبرية 013 M4i : مد رباعي مكسور M6a : مد سداسي مفتوح M6o : مد سداسي مضموم M6i : مدسداسي مكسور ضوابط عامة: تدل بعض البحوث على أن طريقة ( mfcc) هي الأمثل في عملية التعرف على الكلام فالمشتقات الأولية والثانوية تضمن معلومات إضافية جد مطورة. وتحسب هذه الضوابط اعتمادا على عملية توفرها وسيلة htk وهيعملية hcopy بحيث تأخذ في المدخل ملفا صوتيا وتحسب معاملاته وفق معطيات تثبيت معينة تخص حجم النوافذ وطبيعتها بالإضافة إلى ضوابط أخرى من وضع المستخدم (الباحث). المفتاح المعتمد هو: hcopy .t1.c parametrisotion.com.s hcopyliste.text. يحتوي الملف المعلومات التالية:  SOURCE FORMAT=WAVE  TARGETKIND=MFCC_E_D  WINDOWSSIZE=250000.0# = 25 ms = length of a time frame

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011  TARGETRATE=10000.0= 10 ms = frame periodicity  NUMCEPS=8 # nb de coeff MFCC  USEHAMMING=T # Use of Hamming function for windowing frames  PREEMCOEF=0.97# Pre-emphasis coefficient  NUMCHANS=26 # Number of filterbank channels  CEPLIFTER=22# Length of cepstralliftering يعني هذا الجدول أن الملف المصدر من نوع ( wav) وعدد ضوابطه هو عدد معاملات mfec المستعملة9 معاملات + معاملات الطاقة + المشتقات19 معاملة وهي كالآتي: تعريف: HMM : تعد المهمة الأساسية HTK استعمال وتفعيل نماذج سلاسل مارك وف الخفية (HMMS.) data\01\1.wav mfcc\a1.mfcc data\01\2.wav mfcc\a2.mfcc data\01\7.wav mfcc\a7.mfcc data\01\8.wav mfcc\a8.mfcc . . . tous les autres enregistrements de la base

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 يتطلب تعريف HMM تخصيص طوبولوجيا 1 المثال وآليات الأشغال في النموذج بالإضافة إلى توزيع المردودية ،لكن تقسيم عوامل ملاحقة HMM إلى طر معلومات متعددة ومستقلة بحيث يكون لكل منها ثقل خاص، وبالنسبة ل(HTK) نجد أن سلاسل مارك وف الخفية يمكن أن تقي م من خلال نماذج أولية: 1- الطبولوجيا تعني هندسية لا كمية، وهو علم في الرياضيات يعني بدراسة الأشي اء بالنسبة لها يقابلها بالنسبة لأشكالها.

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 <BeginHMM> <NumStates> 6 <VecSize> 18 <MFCC_D_E> <State> 2 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <State> 3 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <State> 4 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <State> 5 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <TransP> 6 0.2 0.8 0.0 0.0 0.0 0.0 0.0 0.2 0.4 0.4 0.0 0.0 0.0 0.0 0.2 0.4 0.4 0.0 0.0 0.3 0.2 0.1 0.4 0.0 0.0 0.2 0.2 0.2 0.2 0.2 0.0 0.0 0.0 0.0 0.0 0.0 <EndHMM> إن الدور الذي يلعبه النموذج الأولي هو وصف شكل وطوبولوجيا HMM) والأرقام الحقيقية المستعملة في التعريف ليست ذات أماية كبيرة لذلك يمكننا القول بأن حجم العامل ( VEC SIZE) ونوعية الضابطMFEC) وجب أن يخصصا ويعرفا ، ويجب أيضا اختيار وضبط عدد الأحوال (NUMSTATES) ويجب ذكر عدد الانتقالات المتاحة بين الأحوال وذلك بإعطاء قيم مختلفة عن الصفر بالنسبة للعوامل المرافقة لمصفوفة العبور ( TRAMSP) والأصفار من جهة أخرى. حاصل كل سطر من المصفوفة يجب أن يساوي الواحد ( 1) ما عدا الحاصل الأخير الذي يجب أن يعادل الصفر. كل القيم المتو سطة يمكنها أن تكون صفرا لكن المتغيرات المحورية يجب أن تكون إيجابية. هذا النموذج الأولي ما هو إلا رقمنة لشكل HMM التا S0 S1 S2 S3 S4 S5 Sf

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 H1nit-c hinit.com7 -A-o pm -1 pm.2 lafels/ -i20-t1-m2 modeles/pm.txt -s mfce.txt يسمح بإعادة تشغيل HMMS) ب تيب مضبوط زمنيا وذلك باستخدام لوغاريتم (VITERBI) انطلاقا من النماذج الأولية ومعطيات التعلم ضمن أشكالها MFEC)، وملفاتها المرافقة، والمخطط الآتي يلخص ما ذكرناها آليــــــــة العمــــــــــل: يقوم HTK أولا بشحن النموذج الأو HMM) المعني بالتعريف ثم يبحث في قاعدة التشفير المخصصة عن الاسم المرافق لهذا ( HMM) ويلاحظ أن أي ملف تسمية (تشفير) يحتوي على زمن بداية وزمن نهاية لهذه التسمية في تسجيل ما. وبوساطة ملف التعريف نجد العلاقة والرابط

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 بمعاملاتMFEC) المحسوبة مسبقا ويقوم النظام بتحميل كل ما يلزمه، ثم يستعمل نفس النظام لوغاريتم ( VITEBRI) لايجاد الترتيب الموافق لكل مثال تعليمي ويقوم بحساب معاي (HMM.) يمكن حساب لوغاريتم الصحة لكل عملية تعليمية لإيجاد ترتيب اللوغاريتم للحالات المدروسة، ويمكن للعملية التقييمية أن تعاد أكثر من مرة لإعطاء نتائج أكثر مصداقية

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 عملية التعليم: من أجل عملية التعليم سنطبق لوغاريتم ( Baum –welch) والمفتاح الموالي هو المستعمل في العملية. Hrest-c hinit. Com7 -A-1pm- mhrest/-2 labels/ -i 20 -t- m 2pm-s mfce. Txt. وهو مفتاح يستعمل للتعامل مع HMMS المعزول، وآلية تشغيله مشابهة جدا ل(Himt) إ أنه وتبعا لتعليمات الصورة التالية يكننا ملاحظة أن HMM معاد التشغيل يستعمل لوغاريتم ( BAUM-WELCH) بدلا من لوغاريتم VITEBI)هذا يحيلنا على احتمال وجود حالة معينة في مرحلة زمنية معينة وباستعمال لوغاريتم ( BAUM-WELEH ) خلف-أمام، يستعمل هذا الاحتمال لتشكيل متوسطات معقولة لمعايير HMM النحو الخاص بنظامHTK: من الضروري إعطاء النظام المستعمل قواعد نحوية معينة وخاصة به من أجل تسهيل عملية ايجاد الحلول الملائمة، لذلك قمنا ب إنشاء نحو خاص لنظام HTK المستعمل، فكانت المتغيرات مسبوقة بعلامة ك1، ووضعنا علامةمات (اعني لا شيء أو عدة تكررات)، أما ] [إمكانية تكرار واحدة، ويدل الخط العمودي على البديل، ويدل القوس المفتوح على بداية شجرة الاشتقا ، والقوس المغلق على الحالة النهائية للعملية. والشكل الموالي يلخص النحو المختار لل HTK المستعمل

الفصل الرابعالدراسة الأكوستيكية و المخبرية 010 إنشاء القاموس: يجب على النظام أن يعرف ويدرك أن HMM يتماشى مع كل متغير من المتغيرات المعطاة مسبقا (PM. Si1. M2a هذه المعلومات مخزنة في ملف خاص بالنصوص يدعى قاموس الأثار (العمليات).في عملية بسيطة يقوم هذا القاموس يربط الكلمات بشكل سهل وسريع. العناصر التي على اليسار تمثل أسماء المتغيرات في النحو الخاص، أما العناصر التي على اليمين فهي مرتبطة بأسماء hmm والعناصر او جو دة بين معقوفتين في الوسط هي عناصر ثانوية تشير إلى الرموز التي يقدمها نظام التعرف. تفعيل شبكية الكلمات (wod net work) في هذه المرحلة تكون عملية ا لتعرف مكتملة من حيث الشبكة والقاموس ومجموع (HMMS) فالنظام صار فعلا واللوحة التالية توضح الشبكة المستعملة بكاملها بحيث تدل كل حلقة على HMM الخاص بالتشفير الملحق عملية التعرف: بعد إدخال الملف الصوتي المراد التعرف عليه بالميكروفون، يتم تحويل هذا الملف إلى م لف خصائص ( MFEC بالنسبة لحالة المد) باستعمال مفتاح Hcopyde وبنفس الطريقة ال نتعامل بها مع معطيات التعلم في مرحلة التحليل الصوتي بالنسبة إلى تعبير كلا من البداية إلى النهاية تعبر بالتدقيق عن عددT من حالاتHMM تعتبر احتمالا للتعرف

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 كل مسار من هذه المسارات ل ه احتمال لوغاريتمي يمكن حسابه ب إضافة احتمالية تنقيط فردي في هذا المسار زيادة على احتمالية اللوغاريتم لكل حالة إرسال تنتج موافقة لها. بالنسبة ( HMM) معين تعتبر الانتقالات لأطراف الكلمات فهي بمعاي HMM والانتقالات بين الأمثلة ثانية، أما الانتقالات لأطراف الك لمات فهي معرفة باحتمالات الصحة المقرونة بمثال اللغة والمسؤول عن هذا الجانب من العمل هو المفتاح H1ite-t1-A-w wodrle de mots. Txt - dhrest/-1 resultat/ -s a reconnaitre. Txt dictionnair. Txt list modeles. Txt. يسمح هذا المفتاح انطلاقا من ملف ضوابط ب إنشاء ملف يح توي التسميات المميزة (التشفيرات) المستعملة من طرف النظام لكل المراحل المختلفة للملف الصوتي بالإ ضافة إلى رسم بياني على الشاشة. m2=m2a|m2i|m2o; $m4=m4a|m4i|m4o; $m6=m6a|m6i|m6o; $sil=sil; $pm=pm; (SENT-START {$sil}[$pm[$m2|$m4|$m6]$pm][[$m2|$m4|$m6]$pm][[$m2|$m4|$m6]$pm] {$sil} SENT-END)

الفصل الرابعالدراسة الأكوستيكية و المخبرية 013 Ce travail est une réalisation d’une application permettant la reconnaissance vocale des ‘Madd’ (longues voyelles) selon une base de données bien déterminée et mon-locuteur. Cette application est basée un outil très puissant qui est le HTK (Hidden Markov ModelsToolKit) développé par CambridgeUniversity Engineering Department (CUED), de construction et de manipulationdes modèles de Markov cachés. HTK est principalement employé pour la recherche dereconnaissance de la parole bien qu’il ait été employé pour nombreux d’autres applicationscomprenant la recherche dans la synthèse de la parole, la reconnaissance decaractères et l’ordonnancement d’ADN. HTK se compose d’un ensemble de bibliothèque et les outils disponiblesdéveloppéesen langage C. Les outils fournissent les équipements sophistiqués pour l’analyse de laparole, apprentissage des HMMs, expériences et analyse des résultats. Construction de la base de données La base de données est constituée d’un ensemble d’enregistrements d’un seul locuteur. Nous avons choisi 01 ‘madd’ et pour chacun d’eux nous avons faits 31 occurrences dans milieu bruité. Etiquetage manuel des données Notre système fait un apprentissage supervisé pour lequel les données doivent être représentées par leurs caractéristiques et leurs classes associées. Ces données sont de nature audio et leurs caractéristiques sont les coefficients MFCC avec leurs dérivés primaires et secondaires. Et la classe de sortie contient des étiquettes. L’outil HTK met à disposition une fonction intitulée HSLAB qui permet de visualiser un fichier audio dans une interface graphique pour ensuite étiqueter les zones significatives en sélectionnant leurs parties associés. En tapant la commande HSlab –F WAVE –L labels\ data\01\1.wav dans l’invité de commande de Windows, on obtient la figure suivante :

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 Dans cette étape nous avons donné une étiquette pour chaque morceau après une écoute bien attentive. Les codes de ces étiquettes sont :  Sil : silence ou bruit  Pm : ce n’est pas un madd  M2a : مد ثنائي مفتوح  M2o : مد ثنائي مضموم  M2i : مد ثنائي مكسور  M4a : مد رباعي مفتوح  M4o : مد رباعي مضموم  M4i : مد رباعي مكسور  M6a : مد سداسي مفتوح  M6o : مد سداسي مضموم  M6i : مدسداسي مكسور Paramètrisation : Selon certaines recherches, la méthode MFCC est la meilleure pour la reconnaissance de la parole, et les dérivés primaires et secondaires fournissent

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 des informations supplémentaires. Ces paramètres sont calculables par le biais d’une fonction dont dispose l’outil HTK. Cette fonction est HCOPY qui prend en entrée un fichier audio et calcule ses coefficients suivant une configuration de la taille des fenêtres, nombre de ceptres, le type de fenêtrage, et d’autres paramètres introduits par l’utilisateur. La commande est :Hcopy -T 1 -C parametrisation.conf -S hcopyliste.txt Tels que le fichier parametrisation.conf contient les lignes suivantes : SOURCEFORMAT=WAVE TARGETKIND=MFCC_E_D WINDOWSSIZE=250000.0# = 25 ms = length of a time frame TARGETRATE=10000.0= 10 ms = frame periodicity NUMCEPS=8 # nb de coeff MFCC USEHAMMING=T # Use of Hamming function for windowing frames PREEMCOEF=0.97# Pre-emphasis coefficient NUMCHANS=26 # Number of filterbank channels CEPLIFTER=22# Length of cepstralliftering Cela se veut dire que le fichier source est de format « .wav » et le nombre des paramètres est Le nombre de coefficients MFCC utilisé est 1 + l’energie + les dérivés (donc 18) Et HCopyliste.txt contient : data\01\1.wav mfcc\a1.mfcc data\01\2.wav mfcc\a2.mfcc data\01\7.wav mfcc\a7.mfcc data\01\8.wav mfcc\a8.mfcc . . . tous les autres enregistrements de la base Définition du HMM

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 La fonction de principe de HTK est de manoeuvrer des ensembles de modèles deMarkov cachés (HMMs). La définition d’un HMM doit spécifier la topologie du modèle,les paramètres de transition et les paramètres de distribution de rendement. Lesvecteurs d’observation du HMM peuvent être divisés en multiples trames de donnéesindépendantes et chaque trame peut avoir son propre poids. Pour l’outil HTK, leschaines de Markov cachées sont d’abord estimées par des prototypes (fig. a). La fonctiond’une définition de prototype est de décrire la forme et la topologie du HMM,les nombres réels utilisés dans la définition ne sont pas importants. Par conséquent, lataille du vecteur (VecSize) et le type de paramètre (MFCC) devraient être spécifiés etle nombre d’états doit être choisi (NumStates). Les transitions permises entre les étatsdevraient être indiquées en mettant des valeurs différentes de zéro dans les éléments correspondantsà la matrice de transition (TransP) et zéros ailleurs. La somme de chaqueligne de la matrice de transition doit être égale à 1, sauf la dernière qui devrait être 0.Toutes les valeurs moyennes peuvent être zéro mais les variances diagonales devraientêtre positifs et les matrices de covariance devraient avoir les élémentsdiagonaux positifs.

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 <BeginHMM> <NumStates> 6 <VecSize> 18 <MFCC_D_E> <State> 2 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <State> 3 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <State> 4 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <State> 5 <Mean> 18 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 <Variance> 18 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 <TransP> 6 0.2 0.8 0.0 0.0 0.0 0.0 0.0 0.2 0.4 0.4 0.0 0.0 0.0 0.0 0.2 0.4 0.4 0.0 0.0 0.3 0.2 0.1 0.4 0.0 0.0 0.2 0.2 0.2 0.2 0.2 0.0 0.0 0.0 0.0 0.0 0.0 <EndHMM> Ce prototype n’est que la numérisation du schéma du HMM suivant : Fig a : Un prototype du m4

الفصل الرابعالدراسة الأكوستيكية و المخبرية 011 Initialisation : La commande : HInit -C hinit.conf -A -o pm -l pm -L labels/ -i 20 -T 1 -m 2 modeles/pm.txt -S mfcc.txt Permet d’initialiser les HMMs par alignement temporel en utilisant l’algorithme de Viterbi à partir des prototypes, et les données d’apprentissage dans leur forme MFCC et leur fichier étiqueté associé. L’organigramme suivant résume le processus(fig. hinit) : S0 S1 S2 S3 S4 S5 Sf Fig. hinit