+
    TV-jÄ  ã                   ól  € ^ RI Ht ^ RIHtHtHtHt ^ RIHt	 ^ RI
Ht ^ RIHt ^RIHt ^RIHtHtHt ^RIHt ] ! R R	]4      4       t ! R
 R]P.                  4      t ! R R]P.                  4      t ! R R]P.                  4      t ! R R]P.                  4      t ! R R]P.                  4      tR# )é    )Ú	dataclass)ÚAnyÚDictÚOptionalÚUnionN)Úshard_linear)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attention)Úinitialize_ropec                   ó0   a € ] tR t^t o RtV 3R ltRtV tR# )Ú	ModelArgsNc                óò   <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[S[S[ S[S[S[ 3,          3,          ,          ;R&   # )é   Ú
model_typeÚhidden_sizeÚnum_hidden_layersÚintermediate_sizeÚnum_attention_headsÚrms_norm_epsÚ
vocab_sizeÚnum_key_value_headsÚmax_position_embeddingsÚ
rope_thetaÚhead_dimÚtie_word_embeddingsÚrope_scaling)ÚstrÚintÚfloatÚboolr   r   r   )ÚformatÚ__classdict__s   "€Úd/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/qwen3.pyÚ__annotate__ÚModelArgs.__annotate__   sÁ   ø‡ ‚ á�Oñ ñ Ññ ñ Ññ	 ñ
 Ññ ñ Ññ ñ Ññ ñ �Oñ ñ Ññ ñ !Ñ ñ ñ Ññ ñ �Mñ ñ Ññ ñ ™4¡¡U©5±#¨:Õ%6Ð 6Õ7Õ8Ñ?ò ó    © )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r$   s   @r%   r   r      s   ø‡ € ð <@€L÷ ƒ r(   r   c                   óT   a a€ ] tR t^ t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )Ú	Attentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r#   r$   s   "€r%   r&   ÚAttention.__annotate__!   s   ø€ ÷ 
ñ 
™Yñ 
r(   c                óú  <€ \         SV `  4        VP                  pVP                  ;V n        pVP
                  f   Q hVP
                  ;V n        pVP                  pVR,          V n        \        P                  ! W#V,          RR7      V n        \        P                  ! W$V,          RR7      V n        \        P                  ! W$V,          RR7      V n        \        P                  ! W5,          VRR7      V n        \        P                  ! WQP                   R7      V n        \        P                  ! WQP                   R7      V n        \'        VVP(                  RVP*                  VP,                  R7      V n        R # )NF©Úbias©Úeps)ÚbaseÚtraditionalÚscaling_configr   g      à¿)ÚsuperÚ__init__r   r   Ún_headsr   Ú
n_kv_headsr   ÚscaleÚnnÚLinearÚq_projÚk_projÚv_projÚo_projÚRMSNormr   Úq_normÚk_normr   r   r   r   Úrope)Úselfr5   ÚdimrB   rC   r   Ú	__class__s   &&    €r%   rA   ÚAttention.__init__!   s  ø€ Ü‰ÑÔà×ÑˆØ!%×!9Ñ!9Ð9ˆŒ�wØ×'Ñ'Ò3Ð3Ð3Ø'+×'?Ñ'?Ð?ˆŒ˜*à—=‘=ˆØ˜t•^ˆŒ
ä—i’i ¨xÕ%7¸eÔDˆŒÜ—i’i °(Õ%:ÀÔGˆŒÜ—i’i °(Õ%:ÀÔGˆŒÜ—i’i Õ 2°C¸eÔDˆŒä—j’j ×/@Ñ/@ÔAˆŒÜ—j’j ×/@Ñ/@ÔAˆŒÜ#ØØ—‘ØØ×,Ñ,Ø$(×$@Ñ$@ô
ˆŽ	r(   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r#   r$   s   "€r%   r&   r7   ;   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r(   c           	     óZ  € VP                   w  rEpV P                  V4      V P                  V4      V P                  V4      r˜pV P	                  VP                  WEV P                  R4      4      P                  ^ ^^^4      pV P                  VP                  WEV P                  R4      4      P                  ^ ^^^4      pV	P                  WEV P                  R4      P                  ^ ^^^4      p	VeM   V P                  WsP                  R7      pV P                  WƒP                  R7      pVP                  W‰4      w  r‰M"V P                  V4      pV P                  V4      p\        WxW“V P                  VR7      p
V
P                  ^ ^^^4      P                  WER4      p
V P                  V
4      # )é   )Úoffset)rW   rD   rV   éÿÿÿÿ)ÚshaperG   rH   rI   rL   ÚreshaperB   Ú	transposerM   rC   rN   r^   Úupdate_and_fetchr   rD   rJ   )rO   rU   rV   rW   ÚBÚLÚDÚqueriesÚkeysÚvaluesÚoutputs   &&&&       r%   Ú__call__ÚAttention.__call__;   sm  € ð —'‘'‰ˆˆaà $§¡¨A£°·±¸A³ÀÇÁÈAÃ�vˆà—+‘+˜gŸo™o¨a°D·L±LÀ"ÓEÓF×PÑPØˆq�!�Qó
ˆð �{‰{˜4Ÿ<™<¨¨d¯o©o¸rÓBÓC×MÑMØˆq�!�Qó
ˆð —‘  d§o¡o°rÓ:×DÑDÀQÈÈ1ÈaÓPˆàÒØ—i‘i ·±�iÓ=ˆGØ—9‘9˜T¯,©,�9Ó7ˆDØ ×1Ñ1°$Ó?‰LˆD�&à—i‘i Ó(ˆGØ—9‘9˜T“?ˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r(   )
rM   rH   rB   rC   rJ   rL   rG   rN   rD   rI   ©NN©	r*   r+   r,   r-   rA   rk   r/   r0   Ú__classcell__©rQ   r$   s   @@r%   r2   r2       s   ù‡ € ÷
ó 
÷4#÷ #ò #r(   r2   c                   óD   a a€ ] tR t^\t oV 3R ltV3R lR ltRtVtV ;t# )ÚMLPc                óÒ   <€ \         SV `  4        \        P                  ! WR R7      V n        \        P                  ! W!R R7      V n        \        P                  ! WR R7      V n        R# ©Fr9   N)r@   rA   rE   rF   Ú	gate_projÚ	down_projÚup_proj)rO   rP   Ú
hidden_dimrQ   s   &&&€r%   rA   ÚMLP.__init__]   sD   ø€ Ü‰ÑÔÜŸš 3¸Ô?ˆŒÜŸš :¸Ô?ˆŒÜ—y’y °uÔ=ˆŽr(   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r   rX   )rZ   r[   )r#   r$   s   "€r%   r&   ÚMLP.__annotate__c   s   ø€ ÷ Jñ J™RŸX™Xñ Jr(   c                ót   € V P                  \        V P                  V4      V P                  V4      4      4      # ©N)rv   r	   ru   rw   )rO   rU   s   &&r%   rk   ÚMLP.__call__c   s)   € Ø�~‰~œf T§^¡^°AÓ%6¸¿¹ÀQ»ÓHÓIÐIr(   )rv   ru   rw   rn   rp   s   @@r%   rr   rr   \   s   ù‡ € õ>÷J÷ Jð Jr(   rr   c                   óT   a a€ ] tR t^gt oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚTransformerBlockc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r#   r$   s   "€r%   r&   ÚTransformerBlock.__annotate__h   s   ø€ ÷ 
ñ 
™Yñ 
r(   c                ó¢  <€ \         SV `  4        VP                  V n        VP                  V n        \	        V4      V n        \        VP                  VP                  4      V n        \        P                  ! VP                  VP                  R 7      V n        \        P                  ! VP                  VP                  R 7      V n        Wn        R# )r;   N)r@   rA   r   r   r2   Ú	self_attnrr   r   ÚmlprE   rK   r   Úinput_layernormÚpost_attention_layernormr5   ©rO   r5   rQ   s   &&€r%   rA   ÚTransformerBlock.__init__h   s—   ø€ Ü‰ÑÔØ#'×#;Ñ#;ˆÔ Ø×+Ñ+ˆÔÜ" 4›ˆŒÜ�t×'Ñ'¨×)?Ñ)?Ó@ˆŒÜ!Ÿzšz¨$×*:Ñ*:À×@QÑ@QÔRˆÔÜ(*¯
ª
Ø×Ñ $×"3Ñ"3ô)
ˆÔ%ð Ž	r(   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rT   rY   )r#   r$   s   "€r%   r&   r‚   t   sH   ø€ ÷ 
ñ 
á�8‰8ð
ñ ‘r—x‘xÕ ð
ñ ™�}ð	
ñ
 
�‰ñ
r(   c                ó¨   € V P                  V P                  V4      W#4      pW,           pV P                  V P                  V4      4      pWT,           pV# r}   )r„   r†   r…   r‡   )rO   rU   rV   rW   ÚrÚhÚouts   &&&&   r%   rk   ÚTransformerBlock.__call__t   sK   € ð �N‰N˜4×/Ñ/°Ó2°DÓ@ˆØ�EˆØ�H‰H�T×2Ñ2°1Ó5Ó6ˆØ�eˆØˆ
r(   )r5   r   r†   r…   r   r‡   r„   rm   rn   rp   s   @@r%   r€   r€   g   s   ù‡ € ÷
ó 
÷
÷ 
ò 
r(   r€   c                   óT   a a€ ] tR t^�t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )Ú
Qwen3Modelc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r#   r$   s   "€r%   r&   ÚQwen3Model.__annotate__‚   s   ø€ ÷ 
Hñ 
H™Yñ 
Hr(   c                óÎ  <€ \         SV `  4        Wn        VP                  V n        VP                  V n        V P                  ^ 8”  g   Q h\
        P                  ! VP                  VP                  4      V n        \        VP                  4       Uu. uF  p\        VR7      NK  	  upV n        \
        P                  ! VP                  VP                  R7      V n        R# u upi )r   )r5   r;   N)r@   rA   r5   r   r   rE   Ú	Embeddingr   Úembed_tokensÚranger€   ÚlayersrK   r   Únorm)rO   r5   Ú_rQ   s   && €r%   rA   ÚQwen3Model.__init__‚   s­   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒØ!%×!7Ñ!7ˆÔØ�‰ Ô"Ð"Ð"ÜŸLšL¨¯©¸$×:JÑ:JÓKˆÔä16°t×7MÑ7MÔ1Nó
Ù1N¨AÔ $×'Ñ1Nñ
ˆŒô —J’J˜t×/Ñ/°T×5FÑ5FÔGˆŽ	ùò
s   ÂC"c                ó^   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          /# ©r   ÚinputsÚinput_embeddings©rZ   r[   r   )r#   r$   s   "€r%   r&   r“   Ž   s,   ø€ ÷ ñ á—‘ðñ #¡2§8¡8Õ,ñ	r(   c                ó
  € Ve   TpMV P                  V4      pVf   R .\        V P                  4      ,          p\        WB^ ,          4      p\	        V P                  V4       F  w  rgV! WEV4      pK  	  V P                  V4      # r}   )r–   Úlenr˜   r   Úzipr™   )rO   rž   rW   rŸ   r�   rV   ÚlayerÚcs   &&&&    r%   rk   ÚQwen3Model.__call__Ž   sz   € ð Ò'Ø ‰Aà×!Ñ! &Ó)ˆAàŠ=Ø�FœS §¡Ó-Õ-ˆEÜ$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a˜qÓ!ŠAñ 0ð �y‰y˜‹|Ðr(   )r5   r–   r˜   r™   r   r   rm   rn   rp   s   @@r%   r‘   r‘   �   s    ù‡ € ÷
Hó 
H÷÷ ò r(   r‘   c                   ó€   a a€ ] tR t^£t oV3R lV 3R lltR
V3R lR lltR tRV3R lR llt]R 4       t	R	t
VtV ;t# )ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r#   r$   s   "€r%   r&   ÚModel.__annotate__¤   s   ø€ ÷ Tñ T™Yñ Tr(   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# rt   )r@   rA   r5   r   r‘   Úmodelr   rE   rF   r   r   Úlm_headrˆ   s   &&€r%   rA   ÚModel.__init__¤   sY   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ Ó%ˆŒ
Ø×'×'Ð'ÜŸ9š9 T×%5Ñ%5°t·±ÈUÔSˆDŽLñ (r(   c                ó^   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          /# r�   r    )r#   r$   s   "€r%   r&   rª   ¬   s,   ø€ ÷ ñ á—‘ðñ #¡2§8¡8Õ,ñ	r(   c                óÒ   € V P                  WV4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# r}   )r¬   r5   r   r–   Ú	as_linearr­   )rO   rž   rW   rŸ   rŽ   s   &&&& r%   rk   ÚModel.__call__¬   s[   € ð �j‰j˜Ð(8Ó9ˆØ�9‰9×(×(Ð(Ø—*‘*×)Ñ)×3Ñ3°CÓ8ˆCð ˆ
ð —,‘,˜sÓ#ˆCØˆ
r(   c                ób   € V P                   P                  '       d   VP                  R R4       V# )zlm_head.weightN)r5   r   Úpop)rO   Úweightss   &&r%   ÚsanitizeÚModel.sanitize¹   s&   € Ø�9‰9×(×(Ð(Ø�K‰KÐ(¨$Ô/Øˆr(   c                óX   <€ V ^8„  d   QhRS[ S[P                  P                  ,          /# )r   Úgroup)r   rZ   ÚdistributedÚGroup)r#   r$   s   "€r%   r&   rª   ¾   s#   ø€ ÷ ñ ™8¡B§N¡N×$8Ñ$8Õ9ñ r(   c                óî  € T;'       g    \         P                  P                  4       pVP                  4       pV P                  P
                   EF¡  p\        VP                  P                  R VR7      VP                  n        \        VP                  P                  R VR7      VP                  n	        \        VP                  P                  R VR7      VP                  n
        \        VP                  P                  RVR7      VP                  n        VP                  ;P                  V,          un        VP                  ;P                  V,          un        \        VP                  P                  R VR7      VP                  n        \        VP                  P                   RVR7      VP                  n        \        VP                  P"                  R VR7      VP                  n        EK¤  	  R# )zall-to-sharded)r¹   zsharded-to-allN)rZ   rº   ÚinitÚsizer¬   r˜   r   r„   rG   rH   rI   rJ   rB   rC   r…   ru   rv   rw   )rO   r¹   ÚNr¤   s   &&  r%   ÚshardÚModel.shard¾   sh  € Ø×.Ð.œŸ™×,Ñ,Ó.ˆØ�J‰J‹LˆØ—Z‘Z×&Õ&ˆEä%1Ø—‘×&Ñ&Ð(8Àô&ˆE�O‰OÔ"ô &2Ø—‘×&Ñ&Ð(8Àô&ˆE�O‰OÔ"ô &2Ø—‘×&Ñ&Ð(8Àô&ˆE�O‰OÔ"ô &2Ø—‘×&Ñ&Ð(8Àô&ˆE�O‰OÔ"ð �O‰O×#Ò#¨Õ)Õ#Ø�O‰O×&Ò&¨1Õ,Õ&ô #/Ø—	‘	×#Ñ#Ð%5¸Uô#ˆE�I‰IÔô #/Ø—	‘	×#Ñ#Ð%5¸Uô#ˆE�I‰IÔô !-Ø—	‘	×!Ñ!Ð#3¸5ô!ˆE�I‰I×ó1 'r(   c                ó.   € V P                   P                  # r}   )r¬   r˜   )rO   s   &r%   r˜   ÚModel.layersÝ   s   € à�z‰z× Ñ Ð r(   )r5   r­   r¬   r   rm   r}   )r*   r+   r,   r-   rA   rk   r¶   rÀ   Úpropertyr˜   r/   r0   ro   rp   s   @@r%   r¨   r¨   £   sC   ù‡ € ÷Tó T÷ò ò÷
ò ð> ñ!ó ÷!ð !r(   r¨   )Údataclassesr   Útypingr   r   r   r   Úmlx.coreÚcorerZ   Úmlx.nnrE   Úmlx.nn.layers.distributedr   Úactivationsr	   r=   r
   r   r   Ú
rope_utilsr   r   ÚModuler2   rr   r€   r‘   r¨   r)   r(   r%   Ú<module>rÎ      s—   ðõ "ß -Ó -å Ý Ý 2å ß TÑ TÝ 'ð ô@�ó @ó ð@ô 9#�—	‘	ô 9#ôxJˆ"�)‰)ô Jô�r—y‘yô ô4�—‘ô ôD<!ˆB�I‰Iö <!r(   