+
    TV-j,  ã                   ó\  € ^ RI Ht ^ RIHtHtHt ^ RIHt ^ RI	H
t
 ^RIHt ^RIHtHtHt ^RIHt ] ! R R]4      4       t ! R	 R
]
P(                  4      t ! R R]
P(                  4      t ! R R]
P(                  4      t ! R R]
P(                  4      t ! R R]
P(                  4      tR# )é    )Ú	dataclass)ÚAnyÚDictÚOptionalN)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attention)Úinitialize_ropec                   ó|   a € ] tR t^t o RtRtRtRt^ t^t	^t
RtRt^@t^€t^€tRtRtR	tR
tRtRtRtR
tV 3R ltRtV tR# )Ú	ModelArgsÚ	youtu_llmi õ i   i   i   i   i   g�íµ ÷Æ°>i j TNFc                ó  <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[S[,          ;R&   S[;R&   S[;R&   S[;R&   # )é   Ú
model_typeÚ
vocab_sizeÚhidden_sizeÚintermediate_sizeÚnum_hidden_layersÚnum_attention_headsÚnum_key_value_headsÚkv_lora_rankÚq_lora_rankÚqk_rope_head_dimÚ
v_head_dimÚqk_nope_head_dimÚmax_position_embeddingsÚrms_norm_epsÚ
rope_thetaÚrope_traditionalÚrope_scalingÚattention_biasÚmlp_biasÚtie_word_embeddings)ÚstrÚintÚfloatÚboolr   r   )ÚformatÚ__classdict__s   "€Úh/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/youtu_llm.pyÚ__annotate__ÚModelArgs.__annotate__   s  ø‡ ‚ áÑ!ñ ñ Ññ ñ Ññ	 ñ
 Ñ!ñ ñ Ññ ñ Ñ!ñ ñ Ñ!ñ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ !Ñ)ñ ñ Ññ ñ  Ññ! ñ" Ñ!ñ# ñ$ ™4•.Ñ'ñ% ñ& Ñ ñ' ñ( Ññ) ñ* Ñ$ò+ ó    © )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r   r   r   r   r   r   r   r   r   r   r   r   r   r   r    r!   r"   r#   r$   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r*   s   @r+   r   r      sy   ø‡ € à!€JØ€JØ€KØ!ÐØÐØ!ÐØ!ÐØ€LØ€KØÐØ€JØÐØ#)ÐØ€LØ€JØ!ÐØ#'€LØ €NØ€HØ $Ð÷+ ƒ r.   r   c                   óT   a a€ ] tR t^&t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚYoutuLLMAttentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úconfig©r   )r)   r*   s   "€r+   r,   ÚYoutuLLMAttention.__annotate__'   s   ø€ ÷ 6
ñ 6
™yñ 6
r.   c                óÈ  <€ \         SV `  4        Wn        VP                  V n        VP                  V n        VP                  V n        VP                  V n        VP                  V n        VP                  V n	        VP                  V n
        VP                  V n        VP                  V n        VP                  VP                  ,           V n        V P                  R,          V n        V P                  fE   \        P                   ! V P                  V P
                  V P                  ,          RR7      V n        M°\        P                   ! V P                  V P                  VP$                  R7      V n        \        P(                  ! V P                  VP*                  R7      V n        \        P                   ! V P                  V P
                  V P                  ,          RR7      V n        \        P                   ! V P                  V P                  V P                  ,           VP$                  R7      V n        \        P(                  ! V P                  VP*                  R7      V n        \        P                   ! V P                  V P
                  V P                  V P                  ,
          V P                  ,           ,          RR7      V n        \        P                   ! V P
                  V P                  ,          V P                  VP$                  R7      V n        \9        V P                  V P                  VP:                  VP<                  VP                  R7      V n        R# )g      à?NF©Úbias©Úeps)ÚbaseÚtraditionalÚscaling_configr   g      à¿) ÚsuperÚ__init__r;   r   r   Ú	num_headsr   r   r   r   r   r   r   Ú
q_head_dimÚscaleÚnnÚLinearÚq_projr"   Úq_a_projÚRMSNormr   Úq_a_layernormÚq_b_projÚkv_a_proj_with_mqaÚkv_a_layernormÚ	kv_b_projÚo_projr   r    r!   Úrope©Úselfr;   Ú	__class__s   &&€r+   rG   ÚYoutuLLMAttention.__init__'   sm  ø€ Ü‰ÑÔØŒØ!×-Ñ-ˆÔØ×3Ñ3ˆŒØ'-×'EÑ'EˆÔ$Ø ×+Ñ+ˆŒØ!×-Ñ-ˆÔØ &× 7Ñ 7ˆÔØ"×/Ñ/ˆÔØ ×+Ñ+ˆŒØ &× 7Ñ 7ˆÔØ ×1Ñ1°F×4KÑ4KÕKˆŒà—_‘_ dÕ*ˆŒ
à×ÑÒ#ÜŸ)š)Ø× Ñ  $§.¡.°4·?±?Õ"BÈôˆD�Kô ŸIšIØ× Ñ  $×"2Ñ"2¸×9NÑ9NôˆDŒMô "$§¢¨D×,<Ñ,<À&×BUÑBUÔ!VˆDÔÜŸIšIØ× Ñ  $§.¡.°4·?±?Õ"BÈôˆDŒMô #%§)¢)Ø×ÑØ×Ñ × 5Ñ 5Õ5Ø×&Ñ&ô#
ˆÔô
 !Ÿjšj¨×):Ñ):À×@SÑ@SÔTˆÔÜŸšØ×ÑØ�N‰NØ�‰ ×!6Ñ!6Õ6¸¿¹ÕHõJàô	
ˆŒô —i’iØ�N‰N˜TŸ_™_Õ,Ø×ÑØ×&Ñ&ô
ˆŒô $Ø×!Ñ!Ø—‘Ø×/Ñ/Ø!×.Ñ.Ø$*×$BÑ$Bô
ˆŽ	r.   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r)   r*   s   "€r+   r,   r=   _   sH   ø€ ÷ +#ñ +#á�8‰8ð+#ñ ‘r—x‘xÕ ð+#ñ ™�}ð	+#ñ
 
�‰ñ+#r.   c           	     óÄ  € VP                   w  rEpV P                  f   V P                  V4      pM/V P                  V P	                  V P                  V4      4      4      pVP                  WEV P                  V P                  4      P                  ^ ^^^4      p\        P                  ! WpP                  .RR7      w  r‰V P                  V4      p
\        P                  ! W P                  .RR7      w  r«VP                  WE^V P                  4      P                  ^ ^^^4      pV P!                  V P#                  V
4      4      pVP                  WEV P                  R4      P                  ^ ^^^4      p\        P                  ! WÀP                  .RR7      w  rÞVe…   V P%                  W“P&                  4      p	V P%                  W³P&                  4      p\        P(                  ! W°P                  ^R7      pVP+                  \        P,                  ! WÛ.RR7      V4      w  rþM]V P%                  V	4      p	V P%                  V4      p\        P(                  ! W°P                  ^R7      p\        P,                  ! WÛ.RR7      p\        P,                  ! W‰.RR7      p\/        VWþW0P0                  VR7      pVP                  ^ ^^^4      P                  WER4      pV P3                  V4      # )N)Úaxis)r_   rJ   r^   éÿÿÿÿ)Úshaper   rM   rQ   rP   rN   ÚreshaperH   rI   Ú	transposerb   Úsplitr   rR   r   r   rT   rS   rV   ÚoffsetÚrepeatÚupdate_and_fetchÚconcatenater
   rJ   rU   )rX   r]   r^   r_   ÚBÚLÚDÚqÚq_nopeÚq_peÚcompressed_kvÚk_peÚkvÚk_nopeÚvaluesÚkeysÚqueriesÚoutputs   &&&&              r+   Ú__call__ÚYoutuLLMAttention.__call___   sG  € ð —'‘'‰ˆˆaà×ÑÒ#Ø—‘˜A“‰Aà—‘˜d×0Ñ0°·±¸qÓ1AÓBÓCˆAà�I‰I�a˜DŸN™N¨D¯O©OÓ<×FÑFÀqÈ!ÈQÐPQÓRˆÜ—x’x ×$9Ñ$9Ð#:ÀÔD‰ˆà×/Ñ/°Ó2ˆÜ Ÿhšh }×7HÑ7HÐ6IÐPRÔSÑˆØ�|‰|˜A ! T×%:Ñ%:Ó;×EÑEÀaÈÈAÈqÓQˆØ�^‰^˜D×/Ñ/°Ó>Ó?ˆØ�Z‰Z˜˜dŸn™n¨bÓ1×;Ñ;¸A¸qÀ!ÀQÓGˆäŸš "×'<Ñ'<Ð&=ÀBÔG‰ˆàÒØ—9‘9˜T§<¡<Ó0ˆDØ—9‘9˜T§<¡<Ó0ˆDÜ—9’9˜T§>¡>¸Ô:ˆDØ ×1Ñ1Ü—’ ˜~°BÔ7¸ó‰LˆD�&ð —9‘9˜T“?ˆDØ—9‘9˜T“?ˆDÜ—9’9˜T§>¡>¸Ô:ˆDÜ—>’> 6 .°rÔ:ˆDä—.’. & °bÔ9ˆä-Ø�T¨·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r.   )r;   r   rS   rR   rT   r   r   rH   rU   rP   rN   rQ   rI   r   rM   r   r   rV   r   rJ   r   ©NN©	r0   r1   r2   r3   rG   r}   r5   r6   Ú__classcell__©rY   r*   s   @@r+   r8   r8   &   s   ù‡ € ÷6
ó 6
÷p+#÷ +#ò +#r.   r8   c                   óP   a a€ ] tR t^�t oV3R lV 3R lltV3R lR ltRtVtV ;t# )ÚYoutuLLMMLPc                ó    <€ V ^8„  d   QhRS[ /# r:   r<   )r)   r*   s   "€r+   r,   ÚYoutuLLMMLP.__annotate__Ž   s   ø€ ÷ 

ñ 

™yñ 

r.   c                óŒ  <€ \         SV `  4        \        P                  ! VP                  VP
                  VP                  R 7      V n        \        P                  ! VP                  VP
                  VP                  R 7      V n        \        P                  ! VP
                  VP                  VP                  R 7      V n	        R# )r?   N)
rF   rG   rK   rL   r   r   r#   Ú	gate_projÚup_projÚ	down_projrW   s   &&€r+   rG   ÚYoutuLLMMLP.__init__Ž   s‡   ø€ Ü‰ÑÔÜŸšØ×Ñ × 8Ñ 8¸v¿¹ô
ˆŒô —y’yØ×Ñ × 8Ñ 8¸v¿¹ô
ˆŒô ŸšØ×$Ñ$ f×&8Ñ&8¸v¿¹ô
ˆŽr.   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r   r`   ©rb   rc   )r)   r*   s   "€r+   r,   r†   š   s   ø€ ÷ Jñ J™RŸX™Xñ Jr.   c                ót   € V P                  \        V P                  V4      V P                  V4      4      4      # ©N)rŠ   r   rˆ   r‰   )rX   r]   s   &&r+   r}   ÚYoutuLLMMLP.__call__š   s)   € Ø�~‰~œf T§^¡^°AÓ%6¸¿¹ÀQ»ÓHÓIÐIr.   )rŠ   rˆ   r‰   r€   r‚   s   @@r+   r„   r„   �   s!   ù‡ € ÷

ó 

÷J÷ Jð Jr.   r„   c                   óT   a a€ ] tR t^žt oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚYoutuLLMDecoderLayerc                ó    <€ V ^8„  d   QhRS[ /# r:   r<   )r)   r*   s   "€r+   r,   Ú!YoutuLLMDecoderLayer.__annotate__Ÿ   s   ø€ ÷ 
ñ 
™yñ 
r.   c                óJ  <€ \         SV `  4        VP                  V n        \        V4      V n        \        V4      V n        \        P                  ! VP                  VP                  R 7      V n
        \        P                  ! VP                  VP                  R 7      V n        R# )rA   N)rF   rG   r   r8   Ú	self_attnr„   ÚmlprK   rO   r   Úinput_layernormÚpost_attention_layernormrW   s   &&€r+   rG   ÚYoutuLLMDecoderLayer.__init__Ÿ   su   ø€ Ü‰ÑÔØ!×-Ñ-ˆÔÜ*¨6Ó2ˆŒÜ˜vÓ&ˆŒÜ!Ÿzšz¨&×*<Ñ*<À&×BUÑBUÔVˆÔÜ(*¯
ª
Ø×Ñ F×$7Ñ$7ô)
ˆÖ%r.   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# r\   ra   )r)   r*   s   "€r+   r,   r”   ©   sH   ø€ ÷ 
ñ 
á�8‰8ð
ñ ‘r—x‘xÕ ð
ñ ™�}ð	
ñ
 
�‰ñ
r.   c                ó¨   € V P                  V P                  V4      W#4      pW,           pV P                  V P                  V4      4      pWT,           pV# r�   )r–   r˜   r—   r™   )rX   r]   r^   r_   ÚrÚhÚouts   &&&&   r+   r}   ÚYoutuLLMDecoderLayer.__call__©   sK   € ð �N‰N˜4×/Ñ/°Ó2°DÓ@ˆØ�EˆØ�H‰H�T×2Ñ2°1Ó5Ó6ˆØ�eˆØˆ
r.   )r   r˜   r—   r™   r–   r   r€   r‚   s   @@r+   r’   r’   ž   s   ù‡ € ÷
ó 
÷
÷ 
ò 
r.   r’   c                   óT   a a€ ] tR t^¶t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚYoutuLLMModelc                ó    <€ V ^8„  d   QhRS[ /# r:   r<   )r)   r*   s   "€r+   r,   ÚYoutuLLMModel.__annotate__·   s   ø€ ÷ 	Lñ 	L™yñ 	Lr.   c                ó¨  <€ \         SV `  4        Wn        VP                  V n        VP                  V n        \
        P                  ! VP                  VP                  4      V n        \        VP                  4       Uu. uF  p\        VR 7      NK  	  upV n        \
        P                  ! VP                  VP                  R7      V n        R# u upi ))r;   rA   N)rF   rG   r;   r   r   rK   Ú	Embeddingr   Úembed_tokensÚranger’   ÚlayersrO   r   Únorm)rX   r;   Ú_rY   s   && €r+   rG   ÚYoutuLLMModel.__init__·   sŸ   ø€ Ü‰ÑÔØŒØ ×+Ñ+ˆŒØ!'×!9Ñ!9ˆÔÜŸLšL¨×):Ñ):¸F×<NÑ<NÓOˆÔä9>¸v×?WÑ?WÔ9Xó
Ù9X°AÔ ¨×/Ñ9Xñ
ˆŒô —J’J˜v×1Ñ1°v×7JÑ7JÔKˆŽ	ùò
s   Á?Cc                ó4   <€ V ^8„  d   QhRS[ P                  /# ©r   Úinputsr�   )r)   r*   s   "€r+   r,   r¤   Â   s   ø€ ÷ ñ á—‘ñr.   c                óü   € V P                  V4      pVf   R .\        V P                  4      ,          p\        W2^ ,          4      p\	        V P                  V4       F  w  rVV! W4V4      pK  	  V P                  V4      # r�   )r§   Úlenr©   r	   Úziprª   )rX   r¯   r_   rž   r^   ÚlayerÚcs   &&&    r+   r}   ÚYoutuLLMModel.__call__Â   so   € ð
 ×Ñ˜fÓ%ˆàŠ=Ø�FœS §¡Ó-Õ-ˆEÜ$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a˜qÓ!ŠAñ 0ð �y‰y˜‹|Ðr.   )r;   r§   r©   rª   r   r   r�   r€   r‚   s   @@r+   r¢   r¢   ¶   s    ù‡ € ÷	Ló 	L÷÷ ò r.   r¢   c                   ój   a a€ ] tR t^Ót oV3R lV 3R lltRV3R lR lltR t]R 4       tRt	Vt
V ;t# )	ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r:   r<   )r)   r*   s   "€r+   r,   ÚModel.__annotate__Ô   s   ø€ ÷ Xñ X™yñ Xr.   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# )Fr?   N)rF   rG   r;   r   r¢   Úmodelr$   rK   rL   r   r   Úlm_headrW   s   &&€r+   rG   ÚModel.__init__Ô   s^   ø€ Ü‰ÑÔØŒØ ×+Ñ+ˆŒÜ" 6Ó*ˆŒ
Ø×)×)Ð)ÜŸ9š9 V×%7Ñ%7¸×9JÑ9JÐQVÔWˆDŽLñ *r.   c                ó4   <€ V ^8„  d   QhRS[ P                  /# r®   r�   )r)   r*   s   "€r+   r,   r¹   Ü   s   ø€ ÷ 
ñ 
á—‘ñ
r.   c                óÐ   € V P                  W4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# r�   )r»   r;   r$   r§   Ú	as_linearr¼   )rX   r¯   r_   rŸ   s   &&& r+   r}   ÚModel.__call__Ü   sX   € ð
 �j‰j˜Ó'ˆØ�;‰;×*×*Ð*Ø—*‘*×)Ñ)×3Ñ3°CÓ8ˆCð ˆ
ð —,‘,˜sÓ#ˆCØˆ
r.   c                ób   € V P                   P                  '       d   VP                  R R4       V# )zlm_head.weightN)r;   r$   Úpop)rX   Úweightss   &&r+   ÚsanitizeÚModel.sanitizeè   s&   € Ø�;‰;×*×*Ð*Ø�K‰KÐ(¨$Ô/Øˆr.   c                ó.   € V P                   P                  # r�   )r»   r©   )rX   s   &r+   r©   ÚModel.layersí   s   € à�z‰z× Ñ Ð r.   )r;   r¼   r»   r   r�   )r0   r1   r2   r3   rG   r}   rÅ   Úpropertyr©   r5   r6   r�   r‚   s   @@r+   r·   r·   Ó   s9   ù‡ € ÷Xó X÷
ò 
òð
 ñ!ó ÷!ð !r.   r·   )Údataclassesr   Útypingr   r   r   Úmlx.coreÚcorerb   Úmlx.nnrK   Úactivationsr   rC   r   r	   r
   Ú
rope_utilsr   r   ÚModuler8   r„   r’   r¢   r·   r/   r.   r+   Ú<module>rÒ      s’   ðõ "ß &Ñ &å Ý å ß TÑ TÝ 'ð ô%�ó %ó ð%ô.d#˜Ÿ	™	ô d#ôNJ�"—)‘)ô Jô"˜2Ÿ9™9ô ô0�B—I‘Iô ô:!ˆB�I‰Iö !r.   