+
    TV-jz  ã                   óL  € ^ RI Ht ^ RIHtHt ^ RIHt ^ RIH	t	 ^RI
Ht ^RIHtHtHt ] ! R R]4      4       t ! R R	]	P"                  4      t ! R
 R]	P"                  4      t ! R R]	P"                  4      t ! R R]	P"                  4      t ! R R]	P"                  4      tR# )é    )Ú	dataclass)ÚAnyÚOptionalN)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attentionc                   ó,   a € ] tR t^t o V 3R ltRtV tR# )Ú	ModelArgsc                óÂ   <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[;R&   S[;R&   # )é   Ú
model_typeÚhidden_sizeÚnum_attention_headsÚnum_hidden_layersÚ
vocab_sizeÚintermediate_sizeÚintermediate_size_mlpÚnum_key_value_headsÚrms_norm_epsÚ
rope_thetaÚhead_dimÚtie_word_embeddingsÚno_rope_layersÚuse_qk_norm)ÚstrÚintÚfloatÚboolÚlist)ÚformatÚ__classdict__s   "€Új/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/llama4_text.pyÚ__annotate__ÚModelArgs.__annotate__   s¶   ø‡ ‚ á�Oñ ñ Ññ ñ Ññ	 ñ
 Ññ ñ �Oñ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ �Mñ ñ Ññ ñ Ññ ñ Ñò ó    © N)Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r"   s   @r#   r   r      s   ø‡ ‡ „ r&   r   c                   óT   a a€ ] tR t^t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )Ú	Attentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r!   r"   s   "€r#   r$   ÚAttention.__annotate__    s   ø€ ÷ .ñ .™Yñ .r&   c                ó¢  <€ \         SV `  4        Wn        VP                  V n        VP
                  V n        VP                  V n        V P                  R,          V n        \        P                  ! VP                  V P                  V P                  ,          RR7      V n        \        P                  ! VP                  V P                  V P                  ,          RR7      V n        \        P                  ! VP                  V P                  V P                  ,          RR7      V n        \        P                  ! V P                  V P                  ,          VP                  RR7      V n        W n        V'       d3   \        P"                  ! V P                  RVP$                  R7      V n        VP(                  V n        VP*                  V n        R# )g      à?F©ÚbiasT)ÚtraditionalÚbaseNg      à¿)ÚsuperÚ__init__r3   r   Ún_headsr   Ú
n_kv_headsr   ÚscaleÚnnÚLinearr   Úq_projÚk_projÚv_projÚo_projÚuse_ropeÚRoPEr   Úroper   r   ©Úselfr3   rF   Ú	__class__s   &&&€r#   r<   ÚAttention.__init__    s8  ø€ Ü‰ÑÔØŒ	Ø×/Ñ/ˆŒØ×2Ñ2ˆŒØŸ™ˆŒØ—]‘] DÕ(ˆŒ
ä—i’iØ×Ñ˜dŸl™l¨T¯]©]Õ:Àô
ˆŒô —i’iØ×Ñ˜dŸo™o°·±Õ=ÀEô
ˆŒô —i’iØ×Ñ˜dŸo™o°·±Õ=ÀEô
ˆŒô —i’iØ�L‰L˜4Ÿ=™=Õ(¨$×*:Ñ*:Àô
ˆŒð !ŒßÜŸš §¡¸4ÀdÇoÁoÔVˆDŒIØ×+Ñ+ˆÔØ ×-Ñ-ˆÖr&   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r!   r"   s   "€r#   r$   r5   :   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r&   c           	     óÐ  € VP                   w  rEpV P                  V4      V P                  V4      V P                  V4      r˜pVP	                  WEV P
                  R4      pVP	                  WEV P                  R4      pV P                  '       dW   \        P                  P                  VRV P                  4      p\        P                  P                  VRV P                  4      pVP                  ^ ^^^4      pVP                  ^ ^^^4      pV	P	                  WEV P                  R4      P                  ^ ^^^4      p	V P                  '       d7   Ve   VP                  M^ p
V P                  WzR7      pV P                  WŠR7      pVe   VP!                  W‰4      w  r‰\#        WxW“V P$                  VR7      pVP                  ^ ^^^4      P	                  WER4      pV P'                  V4      # )é   N)Úoffset)rQ   r?   rP   éÿÿÿÿ)ÚshaperB   rC   rD   Úreshaper=   r>   r   rT   ÚfastÚrms_normr   Ú	transposerF   rX   rH   Úupdate_and_fetchr	   r?   rE   )rJ   rO   rP   rQ   ÚBÚLÚDÚqueriesÚkeysÚvaluesrX   Úoutputs   &&&&        r#   Ú__call__ÚAttention.__call__:   s•  € ð —'‘'‰ˆˆaØ $§¡¨A£°·±¸A³ÀÇÁÈAÃ�vˆà—/‘/ !¨¯©°bÓ9ˆØ�|‰|˜A $§/¡/°2Ó6ˆØ××ÐÜ—g‘g×&Ñ& w°°d×6GÑ6GÓHˆGÜ—7‘7×#Ñ# D¨$°×0AÑ0AÓBˆDØ×#Ñ# A q¨!¨QÓ/ˆØ�~‰~˜a  A qÓ)ˆØ—‘  d§o¡o°rÓ:×DÑDÀQÈÈ1ÈaÓPˆà�=�=ˆ=Ø%*Ò%6�U—\’\¸AˆFØ—i‘i �iÓ7ˆGØ—9‘9˜T�9Ó1ˆDàÒØ ×1Ñ1°$Ó?‰LˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r&   )r3   r   rC   r=   r>   rE   rB   r   rH   r?   r   rF   rD   ©NN©	r(   r)   r*   r+   r<   rg   r-   r.   Ú__classcell__©rK   r"   s   @@r#   r0   r0      s   ù‡ € ÷.ó .÷4#÷ #ò #r&   r0   c                   ó^   a a€ ] tR t^[t o]P
                  3V 3R lltV3R lR ltRtVt	V ;t
# )ÚMLPc                óÒ   <€ \         SV `  4        \        P                  ! WR R7      V n        \        P                  ! WR R7      V n        \        P                  ! W!R R7      V n        R# ©Fr7   N)r;   r<   r@   rA   Ú	gate_projÚup_projÚ	down_proj)rJ   Údimr   Ú
activationrK   s   &&&&€r#   r<   ÚMLP.__init__\   sE   ø€ Ü‰ÑÔÜŸš 3ÀÔFˆŒÜ—y’y ¸eÔDˆŒÜŸšÐ#4ÀÔFˆŽr&   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# )r   rO   rR   )rT   rU   )r!   r"   s   "€r#   r$   ÚMLP.__annotate__b   s'   ø€ ÷ Jñ J™"Ÿ(™(ð J¡r§x¡xñ Jr&   c                ót   € V P                  \        V P                  V4      V P                  V4      4      4      # ©N)rs   r   rq   rr   )rJ   rO   s   &&r#   rg   ÚMLP.__call__b   s)   € Ø�~‰~œf T§^¡^°AÓ%6¸¿¹ÀQ»ÓHÓIÐIr&   )rs   rq   rr   )r(   r)   r*   r+   r@   Úsilur<   rg   r-   r.   rk   rl   s   @@r#   rn   rn   [   s$   ù‡ € Ø:<¿'¹'÷ G÷J÷ Jð Jr&   rn   c                   óT   a a€ ] tR t^ft oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚTransformerBlockc                ó    <€ V ^8„  d   QhRS[ /# r2   r4   )r!   r"   s   "€r#   r$   ÚTransformerBlock.__annotate__g   s   ø€ ÷ 
ñ 
™Yñ 
r&   c                óR  <€ \         SV `  4        \        W4      V n        \	        VP
                  VP                  4      V n        \        P                  ! VP
                  VP                  R 7      V n        \        P                  ! VP
                  VP                  R 7      V n        R# )©ÚepsN)r;   r<   r0   Ú	self_attnrn   r   r   Úfeed_forwardr@   ÚRMSNormr   Úinput_layernormÚpost_attention_layernormrI   s   &&&€r#   r<   ÚTransformerBlock.__init__g   s|   ø€ Ü‰ÑÔÜ" 4Ó2ˆŒäØ×ÑØ×&Ñ&ó
ˆÔô
  "Ÿzšz¨$×*:Ñ*:À×@QÑ@QÔRˆÔÜ(*¯
ª
Ø×Ñ $×"3Ñ"3ô)
ˆÖ%r&   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rN   rS   )r!   r"   s   "€r#   r$   r€   u   sH   ø€ ÷ 	ñ 	á�8‰8ð	ñ ‘r—x‘xÕ ð	ñ ™�}ð		ñ
 
�‰ñ	r&   c                ó¤   € V P                  V P                  V4      W#4      pW,           pV P                  V P                  V4      4      pWT,           # rz   )r„   r‡   r…   rˆ   )rJ   rO   rP   rQ   ÚrÚhs   &&&&  r#   rg   ÚTransformerBlock.__call__u   sH   € ð �N‰N˜4×/Ñ/°Ó2°DÓ@ˆØ�EˆØ×Ñ˜d×;Ñ;¸AÓ>Ó?ˆØ�uˆr&   )r…   r‡   rˆ   r„   ri   rj   rl   s   @@r#   r~   r~   f   s   ù‡ € ÷
ó 
÷	÷ 	ò 	r&   r~   c                   óT   a a€ ] tR t^�t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚLanguageModelc                ó    <€ V ^8„  d   QhRS[ /# r2   r4   )r!   r"   s   "€r#   r$   ÚLanguageModel.__annotate__‚   s   ø€ ÷ 	Hñ 	H™Yñ 	Hr&   c                ó¨  <€ \         SV `  4        Wn        VP                  V n        \        P
                  ! VP                  VP                  4      V n        \        VP                  4       Uu. uF   p\        WP                  V,          R 7      NK"  	  upV n        \        P                  ! VP                  VP                  R7      V n        R# u upi ))r3   rF   r‚   N)r;   r<   r3   r   r@   Ú	Embeddingr   Úembed_tokensÚranger   r~   r   Úlayersr†   r   Únorm)rJ   r3   ÚirK   s   && €r#   r<   ÚLanguageModel.__init__‚   sœ   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜŸLšL¨¯©¸$×:JÑ:JÓKˆÔô ˜4×1Ñ1Ô2ó
á2�ô  $×1DÑ1DÀQÕ1G×HÙ2ñ
ˆŒô —J’J˜t×/Ñ/°T×5FÑ5FÔGˆŽ	ùò	
s   Á.&Cc                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# ©r   ÚinputsrQ   rR   rS   )r!   r"   s   "€r#   r$   r’   �   s5   ø€ ÷ ñ á—‘ðñ ™�}ðñ 
�‰ñ	r&   c                óü   € V P                  V4      pVf   R .\        V P                  4      ,          p\        W2^ ,          4      p\	        V P                  V4       F  w  rVV! W4V4      pK  	  V P                  V4      # rz   )r•   Úlenr—   r   Úzipr˜   )rJ   r�   rQ   r�   rP   ÚlayerÚcs   &&&    r#   rg   ÚLanguageModel.__call__�   so   € ð
 ×Ñ˜fÓ%ˆàŠ=Ø�FœS §¡Ó-Õ-ˆEä$ Q¨a­Ó1ˆÜ˜DŸK™K¨Ö/‰HˆEÙ�a˜qÓ!ŠAñ 0ð �y‰y˜‹|Ðr&   )r3   r•   r—   r˜   r   rz   rj   rl   s   @@r#   r�   r�   �   s    ù‡ € ÷	Hó 	H÷÷ ò r&   r�   c                   ód   a a€ ] tR t^žt oV3R lV 3R lltRV3R lR llt]R 4       tRtVt	V ;t
# )ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r2   r4   )r!   r"   s   "€r#   r$   ÚModel.__annotate__Ÿ   s   ø€ ÷ Sñ S™Yñ Sr&   c                ó   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  V n        V P                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# rp   )r;   r<   r3   r   r�   Úmodelr   r@   rA   r   r   rf   )rJ   r3   rK   s   &&€r#   r<   ÚModel.__init__Ÿ   sg   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ" 4Ó(ˆŒ
à#'×#;Ñ#;ˆÔ Ø×'×'Ð'ÜŸ)š) D×$4Ñ$4°d·o±oÈEÔRˆDŽKñ (r&   c                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# rœ   rS   )r!   r"   s   "€r#   r$   r§   ©   s5   ø€ ÷ 	"ñ 	"á—‘ð	"ñ ™�}ð	"ñ 
�‰ñ		"r&   c                óÊ   € V P                  W4      pV P                  '       d1   W0P                   P                  P                  P                  ,          # V P                  V4      # rz   )r©   r   r•   ÚweightÚTrf   )rJ   r�   rQ   r�   s   &&& r#   rg   ÚModel.__call__©   sK   € ð
 �J‰J�vÓ%ˆØ×#×#Ð#Ø—z‘z×.Ñ.×5Ñ5×7Ñ7Õ7Ð7à—;‘;˜q“>Ð!r&   c                ó.   € V P                   P                  # rz   )r©   r—   )rJ   s   &r#   r—   ÚModel.layers´   s   € à�z‰z× Ñ Ð r&   )r3   r©   r   rf   r   rz   )r(   r)   r*   r+   r<   rg   Úpropertyr—   r-   r.   rk   rl   s   @@r#   r¥   r¥   ž   s4   ù‡ € ÷Só S÷	"ò 	"ð ñ!ó ÷!ð !r&   r¥   )Údataclassesr   Útypingr   r   Úmlx.coreÚcorerT   Úmlx.nnr@   Úactivationsr   r:   r   r   r	   r   ÚModuler0   rn   r~   r�   r¥   r'   r&   r#   Ú<module>rº      sŠ   ðõ "ß  å Ý å ß TÑ Tð ô�ó ó ðô"9#�—	‘	ô 9#ôxJˆ"�)‰)ô Jô�r—y‘yô ô6�B—I‘Iô ô:!ˆB�I‰Iö !r&   