+
    TV-jt  ã                   ó`  € ^ RI Ht ^ RIHtHtHtHt ^ RIHt	 ^ RI
Ht ^RIHt ^RIHtHtHt ^RIHt ] ! R R]4      4       t ! R	 R
]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      tR# )é    )Ú	dataclass)ÚAnyÚDictÚOptionalÚUnionN)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attention)Úinitialize_ropec                   óD   a € ] tR t^t o RtRtRtRtRt^t	V 3R lt
RtV tR# )Ú	ModelArgsi €  g     ˆÃ@FNc                óþ   <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[S[S[ S[S[S[ 3,          3,          ,          ;R&   S[;R&   S[;R&   # )é   Ú
model_typeÚhidden_sizeÚnum_hidden_layersÚintermediate_sizeÚnum_attention_headsÚrms_norm_epsÚ
vocab_sizeÚnum_key_value_headsÚmax_position_embeddingsÚ
rope_thetaÚrope_traditionalÚrope_scalingÚtie_word_embeddingsÚnum_nextn_predict_layers)ÚstrÚintÚfloatÚboolr   r   r   )ÚformatÚ__classdict__s   "€Úc/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/mimo.pyÚ__annotate__ÚModelArgs.__annotate__   sÏ   ø‡ ‚ á�Oñ ñ Ññ ñ Ññ	 ñ
 Ññ ñ Ññ ñ Ññ ñ �Oñ ñ Ññ ñ !Ñ(ñ ñ Ññ ñ Ñ"ñ ñ ™4¡¡U©5±#¨:Õ%6Ð 6Õ7Õ8Ñ?ñ ñ Ñ%ñ ñ "Ñ%ò ó    © )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r   r   r   r   r   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r$   s   @r%   r   r      s0   ø‡ € ð $)ÐØ€JØ"ÐØ;?€LØ %ÐØ$%Ð÷ ƒ r(   r   c                   óT   a a€ ] tR t^ t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )Ú	Attentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r#   r$   s   "€r%   r&   ÚAttention.__annotate__!   s   ø€ ÷ 
ñ 
™Yñ 
r(   c                ó„  <€ \         SV `  4        VP                  pVP                  ;V n        pVP
                  f   Q hVP
                  ;V n        pVP                  V,          pVR,          V n        \        P                  ! W#V,          RR7      V n
        \        P                  ! W$V,          RR7      V n        \        P                  ! W$V,          RR7      V n        \        P                  ! W5,          VRR7      V n        \        VVP                  VP                   VP"                  VP$                  R7      V n        R # )NT©ÚbiasF)ÚbaseÚtraditionalÚscaling_configr   g      à¿)ÚsuperÚ__init__r   r   Ún_headsr   Ú
n_kv_headsÚscaleÚnnÚLinearÚq_projÚk_projÚv_projÚo_projr   r   r   r   r   Úrope)Úselfr5   Údimr@   rA   Úhead_dimÚ	__class__s   &&    €r%   r?   ÚAttention.__init__!   s÷   ø€ Ü‰ÑÔà×ÑˆØ!%×!9Ñ!9Ð9ˆŒ�wØ×'Ñ'Ò3Ð3Ð3Ø'+×'?Ñ'?Ð?ˆŒ˜*à×#Ñ# wÕ.ˆØ˜t•^ˆŒ
ä—i’i ¨xÕ%7¸dÔCˆŒÜ—i’i °(Õ%:ÀÔFˆŒÜ—i’i °(Õ%:ÀÔFˆŒÜ—i’i Õ 2°C¸eÔDˆŒä#ØØ—‘Ø×-Ñ-Ø×,Ñ,Ø$(×$@Ñ$@ô
ˆŽ	r(   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r#   r$   s   "€r%   r&   r7   9   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r(   c           	     ó  € VP                   w  rEpV P                  V4      V P                  V4      V P                  V4      r˜pVP	                  WEV P
                  R4      P                  ^ ^^^4      pVP	                  WEV P                  R4      P                  ^ ^^^4      pV	P	                  WEV P                  R4      P                  ^ ^^^4      p	VeM   V P                  WsP                  R7      pV P                  WƒP                  R7      pVP                  W‰4      w  r‰M"V P                  V4      pV P                  V4      p\        WxW“V P                  VR7      p
V
P                  ^ ^^^4      P	                  WER4      p
V P                  V
4      # )é   )Úoffset)rS   rB   rR   éÿÿÿÿ)ÚshaperE   rF   rG   Úreshaper@   Ú	transposerA   rI   rZ   Úupdate_and_fetchr   rB   rH   )rJ   rQ   rR   rS   ÚBÚLÚDÚqueriesÚkeysÚvaluesÚoutputs   &&&&       r%   Ú__call__ÚAttention.__call__9   sQ  € ð —'‘'‰ˆˆaà $§¡¨A£°·±¸A³ÀÇÁÈAÃ�vˆà—/‘/ !¨¯©°bÓ9×CÑCÀAÀqÈ!ÈQÓOˆØ�|‰|˜A $§/¡/°2Ó6×@Ñ@ÀÀAÀqÈ!ÓLˆØ—‘  d§o¡o°rÓ:×DÑDÀQÈÈ1ÈaÓPˆàÒØ—i‘i ·±�iÓ=ˆGØ—9‘9˜T¯,©,�9Ó7ˆDØ ×1Ñ1°$Ó?‰LˆD�&à—i‘i Ó(ˆGØ—9‘9˜T“?ˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r(   )rF   r@   rA   rH   rE   rI   rB   rG   ©NN©	r*   r+   r,   r-   r?   rg   r/   r0   Ú__classcell__©rM   r$   s   @@r%   r2   r2       s   ù‡ € ÷
ó 
÷0#÷ #ò #r(   r2   c                   óD   a a€ ] tR t^Vt oV 3R ltV3R lR ltRtVtV ;t# )ÚMLPc                óÒ   <€ \         SV `  4        \        P                  ! WR R7      V n        \        P                  ! W!R R7      V n        \        P                  ! WR R7      V n        R# ©Fr9   N)r>   r?   rC   rD   Ú	gate_projÚ	down_projÚup_proj)rJ   rK   Ú
hidden_dimrM   s   &&&€r%   r?   ÚMLP.__init__W   sD   ø€ Ü‰ÑÔÜŸš 3¸Ô?ˆŒÜŸš :¸Ô?ˆŒÜ—y’y °uÔ=ˆŽr(   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r   rT   ©rV   rW   )r#   r$   s   "€r%   r&   ÚMLP.__annotate__]   s   ø€ ÷ Jñ J™RŸX™Xñ Jr(   c                ót   € V P                  \        V P                  V4      V P                  V4      4      4      # ©N)rr   r   rq   rs   )rJ   rQ   s   &&r%   rg   ÚMLP.__call__]   s)   € Ø�~‰~œf T§^¡^°AÓ%6¸¿¹ÀQ»ÓHÓIÐIr(   )rr   rq   rs   rj   rl   s   @@r%   rn   rn   V   s   ù‡ € õ>÷J÷ Jð Jr(   rn   c                   óT   a a€ ] tR t^at oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚTransformerBlockc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r#   r$   s   "€r%   r&   ÚTransformerBlock.__annotate__b   s   ø€ ÷ 
ñ 
™Yñ 
r(   c                ó¢  <€ \         SV `  4        VP                  V n        VP                  V n        \	        V4      V n        \        VP                  VP                  4      V n        \        P                  ! VP                  VP                  R 7      V n        \        P                  ! VP                  VP                  R 7      V n        Wn        R# )©ÚepsN)r>   r?   r   r   r2   Ú	self_attnrn   r   ÚmlprC   ÚRMSNormr   Úinput_layernormÚpost_attention_layernormr5   ©rJ   r5   rM   s   &&€r%   r?   ÚTransformerBlock.__init__b   s—   ø€ Ü‰ÑÔØ#'×#;Ñ#;ˆÔ Ø×+Ñ+ˆÔÜ" 4›ˆŒÜ�t×'Ñ'¨×)?Ñ)?Ó@ˆŒÜ!Ÿzšz¨$×*:Ñ*:À×@QÑ@QÔRˆÔÜ(*¯
ª
Ø×Ñ $×"3Ñ"3ô)
ˆÔ%ð Ž	r(   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rP   rU   )r#   r$   s   "€r%   r&   r   n   sH   ø€ ÷ 
ñ 
á�8‰8ð
ñ ‘r—x‘xÕ ð
ñ ™�}ð	
ñ
 
�‰ñ
r(   c                ó¨   € V P                  V P                  V4      W#4      pW,           pV P                  V P                  V4      4      pWT,           pV# rz   )rƒ   r†   r„   r‡   )rJ   rQ   rR   rS   ÚrÚhÚouts   &&&&   r%   rg   ÚTransformerBlock.__call__n   sK   € ð �N‰N˜4×/Ñ/°Ó2°DÓ@ˆØ�EˆØ�H‰H�T×2Ñ2°1Ó5Ó6ˆØ�eˆØˆ
r(   )r5   r   r†   r„   r   r‡   rƒ   ri   rj   rl   s   @@r%   r}   r}   a   s   ù‡ € ÷
ó 
÷
÷ 
ò 
r(   r}   c                   óT   a a€ ] tR t^{t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )Ú	MiMoModelc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r#   r$   s   "€r%   r&   ÚMiMoModel.__annotate__|   s   ø€ ÷ Hñ H™Yñ Hr(   c                óð  <€ \         SV `  4        Wn        VP                  V n        VP                  V n        VP
                  V n        V P                  ^ 8”  g   Q h\        P                  ! VP                  VP                  4      V n	        \        VP                  4       Uu. uF  p\        VR7      NK  	  upV n        \        P                  ! VP                  VP                  R7      V n        R# u upi )r   )r5   r�   N)r>   r?   r5   r   r   r   rC   Ú	Embeddingr   Úembed_tokensÚranger}   Úlayersr…   r   Únorm)rJ   r5   Ú_rM   s   && €r%   r?   ÚMiMoModel.__init__|   s»   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒØ!%×!7Ñ!7ˆÔØ(,×(EÑ(EˆÔ%à�‰ Ô"Ð"Ð"ÜŸLšL¨¯©¸$×:JÑ:JÓKˆÔä16°t×7MÑ7MÔ1Nó
Ù1N¨AÔ $×'Ñ1Nñ
ˆŒô —J’J˜t×/Ñ/°T×5FÑ5FÔGˆŽ	ùò
s   Â#C3c                ó4   <€ V ^8„  d   QhRS[ P                  /# ©r   Úinputsrw   )r#   r$   s   "€r%   r&   r“   Š   s   ø€ ÷ ñ á—‘ñr(   c                ó   € V P                  V4      pVf   R .\        V P                  4      ,          p\        W2^ ,          4      p\	        V P                  V4       F  w  rVV! W4V4      pK  	  V P                  V4      pV# rz   )r–   Úlenr˜   r
   Úzipr™   )rJ   rž   rS   r�   rR   ÚlayerÚcs   &&&    r%   rg   ÚMiMoModel.__call__Š   ss   € ð
 ×Ñ˜fÓ%ˆàŠ=Ø�FœS §¡Ó-Õ-ˆEä$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a˜qÓ!ŠAñ 0ð �I‰I�a‹Lˆàˆr(   )r5   r–   r˜   r™   r   r   r   rz   rj   rl   s   @@r%   r‘   r‘   {   s    ù‡ € ÷Hó H÷÷ ò r(   r‘   c                   ój   a a€ ] tR t^žt oV3R lV 3R lltRV3R lR lltR t]R 4       tRt	Vt
V ;t# )	ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r#   r$   s   "€r%   r&   ÚModel.__annotate__Ÿ   s   ø€ ÷ Tñ T™Yñ Tr(   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# rp   )r>   r?   r5   r   r‘   Úmodelr   rC   rD   r   r   Úlm_headrˆ   s   &&€r%   r?   ÚModel.__init__Ÿ   sX   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ˜t“_ˆŒ
Ø×'×'Ð'ÜŸ9š9 T×%5Ñ%5°t·±ÈUÔSˆDŽLñ (r(   c                ó4   <€ V ^8„  d   QhRS[ P                  /# r�   rw   )r#   r$   s   "€r%   r&   r¨   §   s   ø€ ÷ ñ á—‘ñr(   c                óÐ   € V P                  W4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# rz   )rª   r5   r   r–   Ú	as_linearr«   )rJ   rž   rS   rŽ   s   &&& r%   rg   ÚModel.__call__§   sX   € ð
 �j‰j˜Ó'ˆà�9‰9×(×(Ð(Ø—*‘*×)Ñ)×3Ñ3°CÓ8ˆCð ˆ
ð —,‘,˜sÓ#ˆCàˆ
r(   c                óö   € V P                   P                  '       d   VP                  R R4       VP                  4        UUu/ uF)  w  r#RV9  g   K  VP	                  R4      '       d   K'  W#bK+  	  upp# u uppi )zlm_head.weightNzself_attn.rotary_emb.inv_freqzmodel.mtp_layers.)r5   r   ÚpopÚitemsÚ
startswith)rJ   ÚweightsÚkÚvs   &&  r%   ÚsanitizeÚModel.sanitizeµ   sp   € Ø�9‰9×(×(Ð(Ø�K‰KÐ(¨$Ô/ð  Ÿ™œô
á'‘�Ø.°aÑ7ô ð —L‘LÐ!4×5ô ˆAŠDÙ'ò
ð 	
ùó 
s   ÁA5ÁA5Á+A5c                ó.   € V P                   P                  # rz   )rª   r˜   )rJ   s   &r%   r˜   ÚModel.layersÀ   s   € à�z‰z× Ñ Ð r(   )r5   r«   rª   r   rz   )r*   r+   r,   r-   r?   rg   r¸   Úpropertyr˜   r/   r0   rk   rl   s   @@r%   r¦   r¦   ž   s9   ù‡ € ÷Tó T÷ò ò	
ð ñ!ó ÷!ð !r(   r¦   )Údataclassesr   Útypingr   r   r   r   Úmlx.coreÚcorerV   Úmlx.nnrC   Úactivationsr   r;   r	   r
   r   Ú
rope_utilsr   r   ÚModuler2   rn   r}   r‘   r¦   r)   r(   r%   Ú<module>rÅ      s‘   ðõ "ß -Ó -å Ý å ß TÑ TÝ 'ð ô&�ó &ó ð&ô"3#�—	‘	ô 3#ôlJˆ"�)‰)ô Jô�r—y‘yô ô4 �—	‘	ô  ôF$!ˆB�I‰Iö $!r(   