+
    TV-j\  ã                   óL  € ^ RI Ht ^ RIHtHt ^ RIHt ^ RIH	t	 ^RI
Ht ^RIHtHtHt ] ! R R]4      4       t ! R R	]	P"                  4      t ! R
 R]	P"                  4      t ! R R]	P"                  4      t ! R R]	P"                  4      t ! R R]	P"                  4      tR# )é    )Ú	dataclass)ÚAnyÚOptionalN)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attentionc                   ó0   a € ] tR t^t o RtV 3R ltRtV tR# )Ú	ModelArgsTc                ó’   <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   # )é   Ú
model_typeÚ
block_sizeÚlayer_norm_epsÚn_embdÚn_headÚ
n_kv_headsÚn_layerÚ
rope_thetaÚ
vocab_sizeÚtie_word_embeddings)ÚstrÚintÚfloatÚbool)ÚformatÚ__classdict__s   "€Úi/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/lille-130m.pyÚ__annotate__ÚModelArgs.__annotate__   s~   ø‡ ‚ á�Oñ ñ �Oñ ñ Ññ	 ñ
 �Kñ ñ �Kñ ñ �Oñ ñ �Lñ ñ Ññ ñ �Oñ ñ Ñ$ò ó    © N)Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r   s   @r   r   r      s   ø‡ € ð !%Ð÷ ƒ r!   r   c                   óT   a a€ ] tR t^t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚLille130mAttentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r   r   s   "€r   r   ÚLille130mAttention.__annotate__   s   ø€ ÷ Oñ O™Yñ Or!   c                óþ  <€ \         SV `  4        VP                  V n        VP                  V n        VP                  VP                  ,          V n        V P
                  R,          V n        \        P                  ! VP                  VP                  ^VP                  ,          ,           V P
                  ,          RR7      V n	        \        P                  ! VP                  V P
                  ,          VP                  RR7      V n
        \        P                  ! VP                  VP                  R7      V n        \        P                  ! VP                  VP                  ,          RVP                  4      V n        R# )g      à?F©Úbias©ÚepsTNg      à¿)ÚsuperÚ__init__r   r   r   Úhead_dimÚscaleÚnnÚLinearÚqkv_projÚout_projÚRMSNormr   ÚnormÚRoPEr   Úrope©Úselfr.   Ú	__class__s   &&€r   r7   ÚLille130mAttention.__init__   sè   ø€ Ü‰ÑÔØ—k‘kˆŒØŸ/™/ˆŒØŸ™ t§{¡{Õ2ˆŒØ—]‘] DÕ(ˆŒ
äŸ	š	Ø�K‰K˜$Ÿ+™+¨¨D¯O©OÕ(;Õ;¸t¿}¹}ÕLÐSXô
ˆŒô Ÿ	š	 $§+¡+°·±Õ"=¸t¿{¹{ÐQVÔWˆŒä—J’J˜tŸ{™{°×0CÑ0CÔDˆŒ	ä—G’G˜DŸK™K¨4¯;©;Õ6¸¸d¿o¹oÓNˆŽ	r!   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r   r   s   "€r   r   r0   ,   sH   ø€ ÷  %ñ  %á�8‰8ð %ñ ‘r—x‘xÕ ð %ñ ™�}ð	 %ñ
 
�‰ñ %r!   c           	     ó´  € VP                   w  rEpV P                  V P                  V4      4      pV P                  V P                  ,          pV P
                  V P                  ,          p	\        P                  ! WxW‰,           .RR7      w  r«pV
P                  WEV P                  R4      P                  ^ ^^^4      p
VP                  WEV P
                  R4      P                  ^ ^^^4      pVP                  WEV P
                  R4      P                  ^ ^^^4      pVeM   V P                  W£P                  R7      p
V P                  W³P                  R7      pVP                  W¼4      w  r¼M"V P                  V
4      p
V P                  V4      p\        W«WÃV P                  VR7      pVP                  ^ ^^^4      P                  WER4      pV P                  V4      # )é   )Úaxis)Úoffset)rJ   r9   rI   éÿÿÿÿ)Úshaper<   r?   r   r8   r   rM   ÚsplitÚreshapeÚ	transposerA   rR   Úupdate_and_fetchr	   r9   r=   )rC   rH   rI   rJ   ÚBÚLÚDÚqkvÚq_sizeÚkv_sizeÚqueriesÚkeysÚvaluesÚoutputs   &&&&          r   Ú__call__ÚLille130mAttention.__call__,   s…  € ð —'‘'‰ˆˆaà�m‰m˜DŸI™I a›LÓ)ˆà—‘˜tŸ}™}Õ,ˆØ—/‘/ D§M¡MÕ1ˆä "§¢¨°vÕ7GÐ.HÈrÔ RÑˆ�và—/‘/ !¨¯©°RÓ8×BÑBÀ1ÀaÈÈAÓNˆØ�|‰|˜A $§/¡/°2Ó6×@Ñ@ÀÀAÀqÈ!ÓLˆØ—‘  d§o¡o°rÓ:×DÑDÀQÈÈ1ÈaÓPˆàÒØ—i‘i ·±�iÓ=ˆGØ—9‘9˜T¯,©,�9Ó7ˆDØ ×1Ñ1°$Ó?‰LˆD�&à—i‘i Ó(ˆGØ—9‘9˜T“?ˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�}‰}˜VÓ$Ð$r!   )r8   r   r   r?   r=   r<   rA   r9   ©NN©	r#   r$   r%   r&   r7   rc   r(   r)   Ú__classcell__©rD   r   s   @@r   r+   r+      s    ù‡ € ÷Oó O÷  %÷  %ò  %r!   r+   c                   óP   a a€ ] tR t^Ot oV3R lV 3R lltV3R lR ltRtVtV ;t# )ÚLille130mMLPc                ó    <€ V ^8„  d   QhRS[ /# r-   r/   )r   r   s   "€r   r   ÚLille130mMLP.__annotate__P   s   ø€ ÷ Hñ H™Yñ Hr!   c                óè  <€ \         SV `  4        R \        \        ^VP                  ,          ^,          4      R ,          4      ,          p\
        P                  ! VP                  VP                  R7      V n        \
        P                  ! VP                  VRR7      V n
        \
        P                  ! VP                  VRR7      V n        \
        P                  ! W!P                  RR7      V n        R# )é   r4   Fr2   N)r6   r7   Úroundr   r   r:   r>   r   r?   r;   Ú	gate_projÚup_projÚ	down_proj)rC   r.   Ú
hidden_dimrD   s   && €r   r7   ÚLille130mMLP.__init__P   s–   ø€ Ü‰ÑÔØœ5¤ Q¨¯©¥_°qÕ%8Ó!9¸CÕ!?Ó@Õ@ˆ
ä—J’J˜tŸ{™{°×0CÑ0CÔDˆŒ	ÜŸš 4§;¡;°
ÀÔGˆŒÜ—y’y §¡¨j¸uÔEˆŒÜŸš :¯{©{ÀÔGˆŽr!   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# )r   rH   rK   )rM   rN   )r   r   s   "€r   r   rl   Y   s'   ø€ ÷ Jñ J™"Ÿ(™(ð J¡r§x¡xñ Jr!   c                ó–   € V P                  V4      pV P                  \        V P                  V4      V P	                  V4      4      4      # ©N)r?   rr   r   rp   rq   )rC   rH   Úhs   && r   rc   ÚLille130mMLP.__call__Y   s6   € Ø�I‰I�a‹LˆØ�~‰~œf T§^¡^°AÓ%6¸¿¹ÀQ»ÓHÓIÐIr!   )rr   rp   r?   rq   rf   rh   s   @@r   rj   rj   O   s#   ù‡ € ÷Hó H÷J÷ Jð Jr!   rj   c                   óT   a a€ ] tR t^^t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚLille130Blockc                ó    <€ V ^8„  d   QhRS[ /# r-   r/   )r   r   s   "€r   r   ÚLille130Block.__annotate___   s   ø€ ÷ /ñ /™Yñ /r!   c                ód   <€ \         SV `  4        \        V4      V n        \	        V4      V n        R # rw   )r6   r7   r+   Ú	attentionrj   Úfeed_forwardrB   s   &&€r   r7   ÚLille130Block.__init___   s'   ø€ Ü‰ÑÔÜ+¨DÓ1ˆŒÜ(¨Ó.ˆÖr!   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rG   rL   )r   r   s   "€r   r   r}   d   sH   ø€ ÷ ñ á�8‰8ðñ ‘r—x‘xÕ ðñ ™�}ð	ñ
 
�‰ñr!   c                ód   € WP                  WV4      ,           pW@P                  V4      ,           pV# rw   ©r   r€   )rC   rH   rI   rJ   rx   Úouts   &&&&  r   rc   ÚLille130Block.__call__d   s/   € ð —‘˜q¨Ó.Õ.ˆØ×#Ñ# AÓ&Õ&ˆØˆ
r!   r„   re   rf   rh   s   @@r   r{   r{   ^   s   ù‡ € ÷/ó /÷
÷ ò r!   r{   c                   óT   a a€ ] tR t^ot oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚLille130c                ó    <€ V ^8„  d   QhRS[ /# r-   r/   )r   r   s   "€r   r   ÚLille130.__annotate__p   s   ø€ ÷ Eñ E™Yñ Er!   c                óX  <€ \         SV `  4        \        P                  ! VP                  VP
                  4      V n        \        VP                  4       Uu. uF  p\        VR 7      NK  	  upV n
        \        P                  ! VP
                  VP                  R7      V n        R# u upi ))r.   r4   N)r6   r7   r:   Ú	Embeddingr   r   Útok_embeddingsÚranger   r{   Úlayersr>   r   r?   )rC   r.   Ú_rD   s   && €r   r7   ÚLille130.__init__p   sq   ø€ Ü‰ÑÔÜ Ÿlšl¨4¯?©?¸D¿K¹KÓHˆÔÜ9>¸t¿|¹|Ô9LÓMÑ9L°A”}¨$×/Ñ9LÑMˆŒÜ—J’J˜tŸ{™{°×0CÑ0CÔDˆŽ	ùò Ns   ÁB'c                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# ©r   ÚinputsrJ   rK   rL   )r   r   s   "€r   r   rŠ   v   s5   ø€ ÷ ;ñ ;á—‘ð;ñ ™�}ð;ñ 
�‰ñ	;r!   c                ó0  € V P                  V4      pVf   R .\        V P                  4      ,          p\        W2^ ,          4      p\	        V P                  V4       F  w  rVV! W4VR7      pK  	  V P                   P                  V P                  V4      4      # )N©rJ   )r�   Úlenr�   r   ÚzipÚ	as_linearr?   )rC   r”   rJ   rx   rI   ÚlayerÚcs   &&&    r   rc   ÚLille130.__call__v   s€   € ð
 ×Ñ Ó'ˆàŠ=Ø�FœS §¡Ó-Õ-ˆEä$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a QÔ'ŠAñ 0ð ×"Ñ"×,Ñ,¨T¯Y©Y°q«\Ó:Ð:r!   )r�   r?   r�   rw   rf   rh   s   @@r   rˆ   rˆ   o   s    ù‡ € ÷Eó E÷;÷ ;ò ;r!   rˆ   c                   ój   a a€ ] tR t^ˆt oV3R lV 3R lltRV3R lR llt]R 4       tR tRt	Vt
V ;t# )	ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r-   r/   )r   r   s   "€r   r   ÚModel.__annotate__‰   s   ø€ ÷ *ñ *™Yñ *r!   c                ór   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        R # rw   )r6   r7   r.   r   rˆ   ÚtransformerrB   s   &&€r   r7   ÚModel.__init__‰   s*   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ# D›>ˆÖr!   c                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# r“   rL   )r   r   s   "€r   r   r    �   s5   ø€ ÷ 5ñ 5á—‘ð5ñ ™�}ð5ñ 
�‰ñ	5r!   c                ó&   € V P                  WR 7      # )r–   )r¢   )rC   r”   rJ   s   &&&r   rc   ÚModel.__call__�   s   € ð
 ×Ñ ÐÓ4Ð4r!   c                ó.   € V P                   P                  # rw   )r¢   r�   )rC   s   &r   r�   ÚModel.layers–   s   € à×Ñ×&Ñ&Ð&r!   c                óh   € VP                  4        UUu/ uF  w  r#R V9  g   K  W#bK  	  upp# u uppi )Ú
rotary_emb)Úitems)rC   ÚweightsÚkÚvs   &&  r   ÚsanitizeÚModel.sanitizeš   s-   € Ø!(§¡¤ÔJ¡™˜°LÈÑ4I”�’¡ÒJÐJùÓJs   ”.¤.)r.   r   r¢   rw   )r#   r$   r%   r&   r7   rc   Úpropertyr�   r¯   r(   r)   rg   rh   s   @@r   rž   rž   ˆ   s9   ù‡ € ÷*ó *÷5ò 5ð ñ'ó ð'÷Kò Kr!   rž   )Údataclassesr   Útypingr   r   Úmlx.coreÚcorerM   Úmlx.nnr:   Úactivationsr   Úbaser   r   r	   r   ÚModuler+   rj   r{   rˆ   rž   r"   r!   r   Ú<module>rº      sŒ   ðõ "ß  å Ý å ß TÑ Tð ô
%�ó 
%ó ð
%ô1%˜Ÿ™ô 1%ôhJ�2—9‘9ô Jô�B—I‘Iô ô";ˆr�y‰yô ;ô2KˆB�I‰Iö Kr!   