+
    TV-jŽ'  ã                   óð  € ^ RI Ht ^ RIHt ^ RIHtHtHtHt ^ RI	H
t ^ RIHt ^RIHt ^RIHtHtHt ^RIHt ^RIHt ] ! R	 R
]4      4       t ! R R]P2                  4      t]P6                  R 4       t ! R R]P2                  4      t ! R R]P2                  4      t ! R R]P2                  4      t ! R R]P2                  4      t  ! R R]P2                  4      t! ! R R]P2                  4      t"R# )é    )Ú	dataclass)Úpartial)ÚAnyÚDictÚOptionalÚUnionN)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attention)Úinitialize_rope)Ú	SwitchGLUc                   óL   a € ] tR t^t o RtRt^t^tRtRt	Rt
RtV 3R ltRtV tR# )Ú	ModelArgsNFc                óÂ  <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[S[,          ;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[S[,          ;R&   S[ ;R&   S[S[,          ;R&   S[S[,          ;R&   S[;R&   S[;R&   S[S[S[ S[S[S[ 3,          3,          ,          ;R&   S[;R&   # )é   Ú
model_typeÚhidden_sizeÚnum_hidden_layersÚintermediate_sizeÚnum_attention_headsÚrms_norm_epsÚ
vocab_sizeÚmax_position_embeddingsÚnum_key_value_headsÚfirst_k_dense_replaceÚmoe_intermediate_sizeÚn_routed_expertsÚn_shared_expertsÚnorm_topk_probÚnum_experts_per_tokÚ
rope_thetaÚrouted_scaling_factorÚhead_dimÚscoring_funcÚn_groupÚ
topk_groupÚattention_biasÚmlp_biasÚrope_scalingÚtie_word_embeddings)ÚstrÚintÚfloatr   Úboolr   r   )ÚformatÚ__classdict__s   "€Úd/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/dots1.pyÚ__annotate__ÚModelArgs.__annotate__   sn  ø‡ ‚ á�Oñ ñ Ññ ñ Ññ	 ñ
 Ññ ñ Ññ ñ Ññ ñ �Oñ ñ &¡c�]Ñ*ñ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ  Ññ! ñ" Ññ# ñ$ !Ñ ñ% ñ& ‘s�mÑ"ñ' ñ( Ñ%ñ) ñ* ‘c�]Ññ+ ñ, ™•Ñ!ñ- ñ. Ñ ñ/ ñ0 Ññ1 ñ2 ™4¡¡U©5±#¨:Õ%6Ð 6Õ7Õ8Ñ?ñ3 ñ4 Ñ%ò5 ó    © )Únoaux_tc)Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r$   r%   r&   r'   r(   r)   r*   r+   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r1   s   @r2   r   r      s7   ø‡ € ð& #€HØ%€LØ€GØ !€JØ €NØ€HØ;?€LØ %Ð÷5 ƒ r5   r   c                   óT   a a€ ] tR t^-t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚDots1Attentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r0   r1   s   "€r2   r3   ÚDots1Attention.__annotate__.   s   ø€ ÷ 
ñ 
™Yñ 
r5   c                ó  <€ \         SV `  4        VP                  pVP                  ;V n        pVP
                  ;V n        pVP                  ;'       g    VP                  V,          pVR,          V n        \        P                  ! W#V,          RR7      V n        \        P                  ! W$V,          RR7      V n        \        P                  ! W$V,          RR7      V n        \        P                  ! W5,          VRR7      V n        \        P                  ! WQP                   R7      V n        \        P                  ! WQP                   R7      V n        \'        VVP(                  RVP*                  VP,                  R7      V n        R# )g      à?F©Úbias©Úeps)ÚbaseÚtraditionalÚscaling_configr   Ng      à¿)ÚsuperÚ__init__r   r   Ún_headsr   Ú
n_kv_headsr$   ÚscaleÚnnÚLinearÚq_projÚk_projÚv_projÚo_projÚRMSNormr   Úq_normÚk_normr   r"   r*   r   Úrope)ÚselfrC   ÚdimrP   rQ   r$   Ú	__class__s   &&    €r2   rO   ÚDots1Attention.__init__.   s  ø€ Ü‰ÑÔà×ÑˆØ!%×!9Ñ!9Ð9ˆŒ�wØ'+×'?Ñ'?Ð?ˆŒ˜*à—=‘=×?Ð? D×$4Ñ$4¸Õ$?ˆØ˜t•^ˆŒ
ä—i’i ¨xÕ%7¸eÔDˆŒÜ—i’i °(Õ%:ÀÔGˆŒÜ—i’i °(Õ%:ÀÔGˆŒÜ—i’i Õ 2°C¸eÔDˆŒä—j’j ×/@Ñ/@ÔAˆŒÜ—j’j ×/@Ñ/@ÔAˆŒÜ#ØØ—‘ØØ×,Ñ,Ø$(×$@Ñ$@ô
ˆŽ	r5   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r0   r1   s   "€r2   r3   rE   G   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r5   c           	     óZ  € VP                   w  rEpV P                  V4      V P                  V4      V P                  V4      r˜pV P	                  VP                  WEV P                  R4      4      P                  ^ ^^^4      pV P                  VP                  WEV P                  R4      4      P                  ^ ^^^4      pV	P                  WEV P                  R4      P                  ^ ^^^4      p	VeM   V P                  WsP                  R7      pV P                  WƒP                  R7      pVP                  W‰4      w  r‰M"V P                  V4      pV P                  V4      p\        WxW“V P                  VR7      p
V
P                  ^ ^^^4      P                  WER4      p
V P                  V
4      # )é   )Úoffset)re   rR   rd   éÿÿÿÿ)ÚshaperU   rV   rW   rZ   ÚreshaperP   Ú	transposer[   rQ   r\   rl   Úupdate_and_fetchr   rR   rX   )r]   rc   rd   re   ÚBÚLÚDÚqueriesÚkeysÚvaluesÚoutputs   &&&&       r2   Ú__call__ÚDots1Attention.__call__G   sm  € ð —'‘'‰ˆˆaà $§¡¨A£°·±¸A³ÀÇÁÈAÃ�vˆà—+‘+˜gŸo™o¨a°D·L±LÀ"ÓEÓF×PÑPØˆq�!�Qó
ˆð �{‰{˜4Ÿ<™<¨¨d¯o©o¸rÓBÓC×MÑMØˆq�!�Qó
ˆð —‘  d§o¡o°rÓ:×DÑDÀQÈÈ1ÈaÓPˆàÒØ—i‘i ·±�iÓ=ˆGØ—9‘9˜T¯,©,�9Ó7ˆDØ ×1Ñ1°$Ó?‰LˆD�&à—i‘i Ó(ˆGØ—9‘9˜T“?ˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r5   )
r[   rV   rP   rQ   rX   rZ   rU   r\   rR   rW   ©NN©	r8   r9   r:   r;   rO   ry   r=   r>   Ú__classcell__©r_   r1   s   @@r2   r@   r@   -   s   ù‡ € ÷
ó 
÷2#÷ #ò #r5   r@   c                 óþ  € Tp\         P                  ! V P                  \         P                  4      4      pTp	W�,           pW4,
          pV^ 8w  d¶   \         P                  ! VR
VR
3R7      p\         P
                  ! V^R
R7      P                  R
RR7      p
\         P                  ! W§^,
          RR7      RRV1R3,          p\         P                  ! W‹\         P                  ! R	4      RR7      p\         P                  ! VRR
4      pTp\         P                  ! V) V^,
          R
R7      RRV13,          p\         P                  ! WœR
R7      pV^8”  d$   V'       d   VP                  R
RR7      pW�,          pW…,          pWÈ3# )r   )Úaxisrn   ©r€   T)r€   Úkeepdims)Úkthr€   .N:NNNg        rm   éþÿÿÿ)rh   ÚsigmoidÚastypeÚfloat32Ú	unflattenÚtopkÚsumÚargpartitionÚput_along_axisri   ÚflattenÚtake_along_axis)ÚgatesÚe_score_correction_biasÚtop_kr&   r'   r#   r    ÚkÚscoresÚorig_scoresÚgroup_scoresÚ	group_idxÚindsÚdenominators   &&&&&&&       r2   Úgroup_expert_selectr™   h   s8  € ð 	€AÜ�ZŠZ˜Ÿ™¤R§Z¡ZÓ0Ó1€FØ€KØÕ-€FØÕ€AØˆA„vÜ—’˜f¨2°g¸r°]ÔCˆÜ—w’w˜v q¨rÔ2×6Ñ6¸BÈÐ6ÓNˆÜ—O’O L¸!µeÀ"ÔEÀcÈ2ÈAÈ2ÈqÀjÕQˆ	Ü×"Ò" 6´b·h²h¸s³mÈ"ÔMˆÜ—’˜F B¨Ó+ˆà€AÜ�?Š?˜F˜7¨¨A­°BÔ7¸¸R¸a¸R¸Õ@€DÜ×Ò ¸Ô;€FØˆq„y—^Ø—j‘j b°4�jÓ8ˆØÕ%ˆØÕ+€Fàˆ<Ðr5   c                   óD   a a€ ] tR t^Št oV3R lV 3R lltR tRtVtV ;t# )ÚDots1TopkRouterc                ó    <€ V ^8„  d   QhRS[ /# rB   rD   )r0   r1   s   "€r2   r3   ÚDots1TopkRouter.__annotate__‹   s   ø€ ÷ 	Jñ 	J™Yñ 	Jr5   c                óž  <€ \         SV `  4        VP                  V n        VP                  V n        VP
                  V n        VP                  V n        VP                  V n        VP                  V n        \        P                  ! V P
                  VP                  34      V n        \        P                  ! V P
                  34      V n        R # ©N)rN   rO   r!   r‘   r    r   r#   r&   r'   rh   Úzerosr   Úweightr�   ©r]   rC   r_   s   &&€r2   rO   ÚDots1TopkRouter.__init__‹   s–   ø€ Ü‰ÑÔØ×-Ñ-ˆŒ
Ø"×1Ñ1ˆÔØ $× 5Ñ 5ˆÔØ%)×%?Ñ%?ˆÔ"Ø—|‘|ˆŒØŸ/™/ˆŒÜ—h’h × 5Ñ 5°t×7GÑ7GÐHÓIˆŒÜ')§x¢x°×1FÑ1FÐ0HÓ'IˆÖ$r5   c           	     óÐ   € \        WP                  P                  ,          V P                  V P                  V P
                  V P                  V P                  V P                  4      # rŸ   )	r™   r¡   ÚTr�   r‘   r&   r'   r#   r    ©r]   rc   s   &&r2   ry   ÚDots1TopkRouter.__call__–   sM   € Ü"Ø—‘—‘ÕØ×(Ñ(Ø�J‰JØ�L‰LØ�O‰OØ×&Ñ&Ø×Ñó
ð 	
r5   )r�   r&   r   r    r#   r‘   r'   r¡   r|   r~   s   @@r2   r›   r›   Š   s   ù‡ € ÷	Jó 	J÷	
ò 	
r5   r›   c                   óT   a a€ ] tR t^¢t oRV3R lV 3R llltV3R lR ltRtVtV ;t# )ÚDots1MLPc                ó,   <€ V ^8„  d   QhRS[ RS[RS[/# )r   rC   r   r   ©r   r-   )r0   r1   s   "€r2   r3   ÚDots1MLP.__annotate__£   s%   ø€ ÷ 
ñ 
Ùð
Ù,/ð
ÙKNñ
r5   c                óè  <€ \         SV `  4        Vf   VP                  MTV n        Vf   VP                  MTV n        \        P
                  ! V P                  V P                  VP                  R7      V n        \        P
                  ! V P                  V P                  VP                  R7      V n        \        P
                  ! V P                  V P                  VP                  R7      V n	        R # )NrG   )
rN   rO   r   r   rS   rT   r)   Ú	gate_projÚup_projÚ	down_proj)r]   rC   r   r   r_   s   &&&&€r2   rO   ÚDots1MLP.__init__£   s¹   ø€ ô 	‰ÑÔà/:Ò/B˜4×+Ò+ÈˆÔà&7Ò&?ˆD×"Ò"ÐEVð 	Ôô ŸšØ×Ñ˜d×4Ñ4¸4¿=¹=ô
ˆŒô —y’yØ×Ñ˜d×4Ñ4¸4¿=¹=ô
ˆŒô ŸšØ×"Ñ" D×$4Ñ$4¸4¿=¹=ô
ˆŽr5   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r   rf   ©rh   ri   )r0   r1   s   "€r2   r3   r¬   ·   s   ø€ ÷ Jñ J™RŸX™Xñ Jr5   c                ót   € V P                  \        V P                  V4      V P                  V4      4      4      # rŸ   )r°   r	   r®   r¯   r¦   s   &&r2   ry   ÚDots1MLP.__call__·   s)   € Ø�~‰~œf T§^¡^°AÓ%6¸¿¹ÀQ»ÓHÓIÐIr5   )r°   r®   r   r   r¯   r{   r|   r~   s   @@r2   r©   r©   ¢   s!   ù‡ € ÷
õ 
÷(J÷ Jð Jr5   r©   c                   óD   a a€ ] tR t^»t oV3R lV 3R lltR tRtVtV ;t# )ÚDots1MoEc                ó    <€ V ^8„  d   QhRS[ /# rB   rD   )r0   r1   s   "€r2   r3   ÚDots1MoE.__annotate__¼   s   ø€ ÷ 
ñ 
™Yñ 
r5   c                óB  <€ \         SV `  4        VP                  V n        VP                  V n        \	        VP
                  VP                  VP                  4      V n        \        V4      V n
        \        VVP                  VP                  ,          R 7      V n        R# ))rC   r   N)rN   rO   r!   r   r   r   r   r   Úexpertsr›   Úgater©   Úshared_expertsr¢   s   &&€r2   rO   ÚDots1MoE.__init__¼   sƒ   ø€ Ü‰ÑÔØ#'×#;Ñ#;ˆÔ Ø $× 5Ñ 5ˆÔä Ø×ÑØ×&Ñ&Ø×!Ñ!ó
ˆŒô $ DÓ)ˆŒ	ä&ØØ"×8Ñ8¸4×;PÑ;PÕPô
ˆÖr5   c                ó  € V P                  V4      w  r#V P                  W4      pWCR,          ,          P                  RR7      P                  VP                  4      pV P
                  e   W@P                  V4      ,           pV# ).r�   ).Nr„   )r¼   r»   rŠ   r†   Údtyper   r½   )r]   rc   r—   r“   Úys   &&   r2   ry   ÚDots1MoE.__call__Î   sm   € Ø—y‘y “|‰ˆØ�L‰L˜Ó!ˆØ˜	Õ"Õ"×'Ñ'¨RÐ'Ó0×7Ñ7¸¿¹Ó@ˆØ× Ñ Ò,Ø×'Ñ'¨Ó*Õ*ˆAàˆr5   )r»   r¼   r   r!   r½   r|   r~   s   @@r2   r·   r·   »   s   ù‡ € ÷
ó 
÷$ò r5   r·   c                   óT   a a€ ] tR t^Øt oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚDots1DecoderLayerc                ó&   <€ V ^8„  d   QhRS[ RS[/# )r   rC   Ú	layer_idxr«   )r0   r1   s   "€r2   r3   ÚDots1DecoderLayer.__annotate__Ù   s   ø€ ÷ 
ñ 
™Yð 
±3ñ 
r5   c                ój  <€ \         SV `  4        \        V4      V n        W!P                  8¼  d   \        V4      V n        M\        V4      V n        \        P                  ! VP                  VP                  R 7      V n        \        P                  ! VP                  VP                  R 7      V n        R# ©rI   N)rN   rO   r@   Ú	self_attnr   r·   Úmlpr©   rS   rY   r   r   Úinput_layernormÚpost_attention_layernorm©r]   rC   rÆ   r_   s   &&&€r2   rO   ÚDots1DecoderLayer.__init__Ù   s}   ø€ Ü‰ÑÔÜ'¨Ó-ˆŒà×2Ñ2Ô2Ü “~ˆD�Hä “~ˆDŒHä!Ÿzšz¨$×*:Ñ*:À×@QÑ@QÔRˆÔÜ(*¯
ª
Ø×Ñ $×"3Ñ"3ô)
ˆÖ%r5   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rb   rg   )r0   r1   s   "€r2   r3   rÇ   ç   sH   ø€ ÷ 	ñ 	á�8‰8ð	ñ ‘r—x‘xÕ ð	ñ ™�}ð		ñ
 
�‰ñ	r5   c                ó¤   € V P                  V P                  V4      W#4      pW,           pV P                  V P                  V4      4      pWT,           # rŸ   )rÊ   rÌ   rË   rÍ   )r]   rc   rd   re   ÚrÚhs   &&&&  r2   ry   ÚDots1DecoderLayer.__call__ç   sF   € ð �N‰N˜4×/Ñ/°Ó2°DÓ@ˆØ�EˆØ�H‰H�T×2Ñ2°1Ó5Ó6ˆØ�uˆr5   )rÌ   rË   rÍ   rÊ   r{   r|   r~   s   @@r2   rÄ   rÄ   Ø   s   ù‡ € ÷
ó 
÷	÷ 	ò 	r5   rÄ   c                   óT   a a€ ] tR t^ót oV3R lV 3R lltRV3R lR lltRtVtV ;t# )Ú
Dots1Modelc                ó    <€ V ^8„  d   QhRS[ /# rB   rD   )r0   r1   s   "€r2   r3   ÚDots1Model.__annotate__ô   s   ø€ ÷ Hñ H™Yñ Hr5   c                óV  <€ \         SV `  4        \        P                  ! VP                  VP
                  4      V n        \        VP                  4       Uu. uF  p\        W4      NK  	  upV n
        \        P                  ! VP
                  VP                  R 7      V n        R# u upi rÉ   )rN   rO   rS   Ú	Embeddingr   r   Úembed_tokensÚranger   rÄ   ÚlayersrY   r   ÚnormrÎ   s   && €r2   rO   ÚDots1Model.__init__ô   s�   ø€ Ü‰ÑÔÜŸLšL¨¯©¸$×:JÑ:JÓKˆÔô # 4×#9Ñ#9Ô:ó
á:�	ô ˜dÖ.Ù:ñ
ˆŒô —J’J˜t×/Ñ/°T×5FÑ5FÔGˆŽ	ùò	
s   ÁB&c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# )r   Úinputsrf   r³   )r0   r1   s   "€r2   r3   rØ   ý   s'   ø€ ÷ ñ á—‘ðñ 
�‰ñ	r5   c                óü   € V P                  V4      pVf   R .\        V P                  4      ,          p\        W2^ ,          4      p\	        V P                  V4       F  w  rVV! W4V4      pK  	  V P                  V4      # rŸ   )rÛ   ÚlenrÝ   r   ÚziprÞ   )r]   rá   re   rÓ   rd   ÚlayerÚcs   &&&    r2   ry   ÚDots1Model.__call__ý   so   € ð
 ×Ñ˜fÓ%ˆàŠ=Ø�FœS §¡Ó-Õ-ˆEä$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a˜qÓ!ŠAñ 0ð �y‰y˜‹|Ðr5   )rÛ   rÝ   rÞ   rŸ   r|   r~   s   @@r2   rÖ   rÖ   ó   s    ù‡ € ÷Hó H÷÷ ò r5   rÖ   c                   ój   a a€ ] tR tRt oV3R lV 3R lltR	V3R lR lltR t]R 4       tRt	Vt
V ;t# )
ÚModeli  c                ó    <€ V ^8„  d   QhRS[ /# rB   rD   )r0   r1   s   "€r2   r3   ÚModel.__annotate__  s   ø€ ÷ Tñ T™Yñ Tr5   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# )FrG   N)rN   rO   rC   r   rÖ   Úmodelr+   rS   rT   r   r   Úlm_headr¢   s   &&€r2   rO   ÚModel.__init__  sY   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ Ó%ˆŒ
Ø×'×'Ð'ÜŸ9š9 T×%5Ñ%5°t·±ÈUÔSˆDŽLñ (r5   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r   rá   r³   )r0   r1   s   "€r2   r3   rë     s   ø€ ÷ 
ñ 
á—‘ñ
r5   c                óÐ   € V P                  W4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# rŸ   )rí   rC   r+   rÛ   Ú	as_linearrî   )r]   rá   re   Úouts   &&& r2   ry   ÚModel.__call__  sX   € ð
 �j‰j˜Ó'ˆØ�9‰9×(×(Ð(Ø—*‘*×)Ñ)×3Ñ3°CÓ8ˆCð ˆ
ð —,‘,˜sÓ#ˆCØˆ
r5   c                óv  € V P                   P                  '       d   VP                  R R4       \        V P                   P                  4       F±  pRV 2pW P                   P
                  8¼  g   K$  R F‡  w  rER F|  pV RV RV 2V9   g   K  \        V P                   P                  4       Uu. uF  pVP                  V RV RV RV 24      NK!  	  pp\        P                  ! V4      W RV RV 2&   K~  	  K‰  	  K³  	  VP                  4        UU	u/ uF  w  riRV9  g   K  WibK  	  up	p# u upi u up	pi )	zlm_head.weightNzmodel.layers.z.mlp.experts.0.Ú.z.mlp.experts.zrotary_emb.inv_freq))Úw1r®   )Úw2r°   )Úw3r¯   )r¡   ÚscalesÚbiases)
rC   r+   ÚpoprÜ   r   r   r   rh   ÚstackÚitems)
r]   ÚweightsÚlÚprefixÚnÚmr’   ÚeÚto_joinÚvs
   &&        r2   ÚsanitizeÚModel.sanitize$  s8  € Ø�9‰9×(×(Ð(Ø�K‰KÐ(¨$Ô/ä�t—y‘y×2Ñ2Ö3ˆAØ$ Q CÐ(ˆFØ—I‘I×3Ñ3Ö3ó‘D�Aó
 <˜Ø$˜X _°Q°C°q¸¸Ð<ÀÖGô */¨t¯y©y×/IÑ/IÔ)Jó'á)J Að !(§¡¨v¨h°mÀAÀ3ÀaÈÀsÈ!ÈAÈ3Ð,OÖ PÙ)Jð $ð 'ô HJÇxÂxÐPWÓGX˜G h¨m¸A¸3¸aÀ¸sÐ$CÓDó <óñ 4ð  ")§¡¤ÔS¡™˜Ð4IÐQRÑ4R”�’¡ÒSÐSùò'ùó Ts   Â0%D0
ÄD5Ä&D5c                ó.   € V P                   P                  # rŸ   )rí   rÝ   )r]   s   &r2   rÝ   ÚModel.layers:  s   € à�z‰z× Ñ Ð r5   )rC   rî   rí   r   rŸ   )r8   r9   r:   r;   rO   ry   r  ÚpropertyrÝ   r=   r>   r}   r~   s   @@r2   ré   ré     s:   ù‡ € ÷Tó T÷
ò 
òTð, ñ!ó ÷!ð !r5   ré   )#Údataclassesr   Ú	functoolsr   Útypingr   r   r   r   Úmlx.coreÚcorerh   Úmlx.nnrS   Úactivationsr	   rK   r
   r   r   Ú
rope_utilsr   Úswitch_layersr   r   ÚModuler@   Úcompiler™   r›   r©   r·   rÄ   rÖ   ré   r6   r5   r2   Ú<module>r     sÏ   ðõ "Ý ß -Ó -å Ý å ß TÑ TÝ 'Ý $ð ô&�ó &ó ð&ô88#�R—Y‘Yô 8#ðv ‡�ñó ðôB
�b—i‘iô 
ô0Jˆr�y‰yô Jô2ˆr�y‰yô ô:˜Ÿ	™	ô ô6�—‘ô ô8-!ˆB�I‰Iö -!r5   