+
    TV-j  ã                   ó`  € ^ RI Ht ^ RIHtHtHtHt ^ RIHt	 ^ RI
Ht ^RIHt ^RIHtHtHt ^RIHt ] ! R R]4      4       t ! R	 R
]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      tR# )é    )Ú	dataclass)ÚAnyÚDictÚOptionalÚUnionN)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attention)Úinitialize_ropec                   ó@   a € ] tR t^t o RtRtRtRtRtV 3R lt	Rt
V tR# )Ú	ModelArgsFNc                ó  <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[S[,          ;R&   S[S[S[ S[S[S[ 3,          3,          ,          ;R&   S[;R&   # )é   Ú
model_typeÚhidden_sizeÚintermediate_sizeÚmax_position_embeddingsÚnum_attention_headsÚnum_hidden_layersÚnum_key_value_headsÚrms_norm_epsÚ
vocab_sizeÚ
rope_thetaÚmlp_biasÚattention_biasÚhead_dimÚrope_scalingÚtie_word_embeddings)ÚstrÚintÚfloatÚboolr   r   r   )ÚformatÚ__classdict__s   "€Úh/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/telechat3.pyÚ__annotate__ÚModelArgs.__annotate__   sà   ø‡ ‚ á�Oñ ñ Ññ ñ Ññ	 ñ
 !Ñ ñ ñ Ññ ñ Ññ ñ Ññ ñ Ññ ñ �Oñ ñ Ññ ñ Ññ ñ Ñ ñ ñ ‘s�mÑ"ñ ñ ™4¡¡U©5±#¨:Õ%6Ð 6Õ7Õ8Ñ?ñ ñ  Ñ%ò! ó    © )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r   r   r   r   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r%   s   @r&   r   r      s(   ø‡ € ð €HØ €NØ"€HØ;?€LØ %Ð÷! ƒ r)   r   c                   óT   a a€ ] tR t^!t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚTelechat3Attentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r$   r%   s   "€r&   r'   ÚTelechat3Attention.__annotate__"   s   ø€ ÷ #
ñ #
™Yñ #
r)   c                óæ  <€ \         SV `  4        VP                  V n        VP                  V n        VP                  ;'       g    VP
                  VP                  ,          V n        V P                  R,          V n        \        P                  ! VP
                  VP                  V P                  ,          VP                  R7      V n
        \        P                  ! VP
                  VP                  V P                  ,          VP                  R7      V n        \        P                  ! VP
                  VP                  V P                  ,          VP                  R7      V n        \        P                  ! VP                  V P                  ,          VP
                  VP                  R7      V n        \        V P                  RVP                  VP                   VP"                  R7      V n        R# )g      à?©ÚbiasF)ÚtraditionalÚbaseÚscaling_configr   Ng      à¿)ÚsuperÚ__init__r   r   r   r   ÚscaleÚnnÚLinearr   Úq_projÚk_projÚv_projÚo_projr   r   r   r   Úrope©Úselfr6   Ú	__class__s   &&€r&   r@   ÚTelechat3Attention.__init__"   se  ø€ Ü‰ÑÔØ#'×#;Ñ#;ˆÔ Ø#'×#;Ñ#;ˆÔ àŸ™×UÐU¨×)9Ñ)9¸T×=UÑ=UÕ)UˆŒØ—]‘] DÕ(ˆŒ
ä—i’iØ×ÑØ×$Ñ$ t§}¡}Õ4Ø×$Ñ$ô
ˆŒô
 —i’iØ×ÑØ×$Ñ$ t§}¡}Õ4Ø×$Ñ$ô
ˆŒô
 —i’iØ×ÑØ×$Ñ$ t§}¡}Õ4Ø×$Ñ$ô
ˆŒô
 —i’iØ×$Ñ$ t§}¡}Õ4Ø×ÑØ×$Ñ$ô
ˆŒô $Ø�M‰MØØ—‘Ø×,Ñ,Ø$(×$@Ñ$@ô
ˆŽ	r)   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r$   r%   s   "€r&   r'   r8   G   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r)   c           	     ó  € VP                   w  rEpV P                  V4      V P                  V4      V P                  V4      r˜pVP	                  WEV P
                  R4      P                  ^ ^^^4      pVP	                  WEV P                  R4      P                  ^ ^^^4      pV	P	                  WEV P                  R4      P                  ^ ^^^4      p	VeM   V P                  WsP                  R7      pV P                  WƒP                  R7      pVP                  W‰4      w  r‰M"V P                  V4      pV P                  V4      p\        WxW“V P                  VR7      p
V
P                  ^ ^^^4      P	                  WER4      p
V P                  V
4      # )é   )Úoffset)rQ   rA   rP   éÿÿÿÿ)ÚshaperD   rE   rF   Úreshaper   Ú	transposer   rH   rX   Úupdate_and_fetchr   rA   rG   )rJ   rO   rP   rQ   ÚBÚLÚ_ÚqueriesÚkeysÚvaluesÚoutputs   &&&&       r&   Ú__call__ÚTelechat3Attention.__call__G   sc  € ð —'‘'‰ˆˆaØ $§¡¨A£°·±¸A³ÀÇÁÈAÃ�vˆà—/‘/ !¨×(@Ñ(@À"ÓE×OÑOØˆq�!�Qó
ˆð �|‰|˜A $×":Ñ":¸BÓ?×IÑIÈ!ÈQÐPQÐSTÓUˆØ—‘  d×&>Ñ&>ÀÓC×MÑMØˆq�!�Qó
ˆð ÒØ—i‘i ·±�iÓ=ˆGØ—9‘9˜T¯,©,�9Ó7ˆDØ ×1Ñ1°$Ó?‰LˆD�&à—i‘i Ó(ˆGØ—9‘9˜T“?ˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r)   )	r   rE   r   r   rG   rD   rH   rA   rF   ©NN©	r+   r,   r-   r.   r@   re   r0   r1   Ú__classcell__©rK   r%   s   @@r&   r3   r3   !   s   ù‡ € ÷#
ó #
÷J#÷ #ò #r)   r3   c                   óP   a a€ ] tR t^gt oV3R lV 3R lltV3R lR ltRtVtV ;t# )ÚTelechat3MLPc                ó    <€ V ^8„  d   QhRS[ /# r5   r7   )r$   r%   s   "€r&   r'   ÚTelechat3MLP.__annotate__h   s   ø€ ÷ 

ñ 

™Yñ 

r)   c                óŒ  <€ \         SV `  4        \        P                  ! VP                  VP
                  VP                  R 7      V n        \        P                  ! VP
                  VP                  VP                  R 7      V n        \        P                  ! VP                  VP
                  VP                  R 7      V n	        R# )r:   N)
r?   r@   rB   rC   r   r   r   Ú	gate_projÚ	down_projÚup_projrI   s   &&€r&   r@   ÚTelechat3MLP.__init__h   s‡   ø€ Ü‰ÑÔÜŸšØ×Ñ˜d×4Ñ4¸4¿=¹=ô
ˆŒô ŸšØ×"Ñ" D×$4Ñ$4¸4¿=¹=ô
ˆŒô —y’yØ×Ñ˜d×4Ñ4¸4¿=¹=ô
ˆŽr)   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# )r   rO   rR   )rT   rU   )r$   r%   s   "€r&   r'   rn   t   s'   ø€ ÷ Jñ J™"Ÿ(™(ð J¡r§x¡xñ Jr)   c                ót   € V P                  \        V P                  V4      V P                  V4      4      4      # ©N)rq   r   rp   rr   )rJ   rO   s   &&r&   re   ÚTelechat3MLP.__call__t   s)   € Ø�~‰~œf T§^¡^°AÓ%6¸¿¹ÀQ»ÓHÓIÐIr)   )rq   rp   rr   rh   rj   s   @@r&   rl   rl   g   s!   ù‡ € ÷

ó 

÷J÷ Jð Jr)   rl   c                   óT   a a€ ] tR t^xt oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚTelechat3DecoderLayerc                ó    <€ V ^8„  d   QhRS[ /# r5   r7   )r$   r%   s   "€r&   r'   Ú"Telechat3DecoderLayer.__annotate__y   s   ø€ ÷ 
ñ 
™Yñ 
r)   c                óx  <€ \         SV `  4        VP                  V n        VP                  V n        \	        V4      V n        \        V4      V n        \        P                  ! VP                  VP                  R 7      V n        \        P                  ! VP                  VP                  R 7      V n        Wn        R# )©ÚepsN)r?   r@   r   r   r3   Ú	self_attnrl   ÚmlprB   ÚRMSNormr   Úinput_layernormÚpost_attention_layernormr6   rI   s   &&€r&   r@   ÚTelechat3DecoderLayer.__init__y   sŠ   ø€ Ü‰ÑÔØ#'×#;Ñ#;ˆÔ Ø×+Ñ+ˆÔÜ+¨DÓ1ˆŒÜ Ó%ˆŒÜ!Ÿzšz¨$×*:Ñ*:À×@QÑ@QÔRˆÔÜ(*¯
ª
Ø×Ñ $×"3Ñ"3ô)
ˆÔ%ð Ž	r)   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rN   rS   )r$   r%   s   "€r&   r'   r{   …   sH   ø€ ÷ 	ñ 	á�8‰8ð	ñ ‘r—x‘xÕ ð	ñ ™�}ð		ñ
 
�‰ñ	r)   c                ó¤   € V P                  V P                  V4      W#4      pW,           pWPP                  V P                  V4      4      ,           pV# rv   )r   r‚   r€   rƒ   )rJ   rO   rP   rQ   ÚrÚhÚouts   &&&&   r&   re   ÚTelechat3DecoderLayer.__call__…   sG   € ð �N‰N˜4×/Ñ/°Ó2°DÓ@ˆØ�EˆØ—(‘(˜4×8Ñ8¸Ó;Ó<Õ<ˆØˆ
r)   )r6   r   r‚   r€   r   rƒ   r   rg   rh   rj   s   @@r&   ry   ry   x   s   ù‡ € ÷
ó 
÷	÷ 	ò 	r)   ry   c                   óT   a a€ ] tR t^‘t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚTelechat3Modelc                ó    <€ V ^8„  d   QhRS[ /# r5   r7   )r$   r%   s   "€r&   r'   ÚTelechat3Model.__annotate__’   s   ø€ ÷ 	Hñ 	H™Yñ 	Hr)   c                ó¨  <€ \         SV `  4        Wn        VP                  V n        VP                  V n        \
        P                  ! VP                  VP                  4      V n        \        VP                  4       Uu. uF  p\        VR 7      NK  	  upV n        \
        P                  ! VP                  VP                  R7      V n        R# u upi ))r6   r}   N)r?   r@   r6   r   r   rB   Ú	Embeddingr   Úembed_tokensÚrangery   Úlayersr�   r   Únorm)rJ   r6   r`   rK   s   && €r&   r@   ÚTelechat3Model.__init__’   s›   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒØ!%×!7Ñ!7ˆÔÜŸLšL¨¯©¸$×:JÑ:JÓKˆÔä6;¸D×<RÑ<RÔ6Só
Ù6S°Ô! t×,Ñ6Sñ
ˆŒô —J’J˜t×/Ñ/°T×5FÑ5FÔGˆŽ	ùò
s   Á?Cc                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[S[ P                  ,          RS[ P                  /# ©r   ÚinputsrQ   Úinput_embeddingsrR   rS   )r$   r%   s   "€r&   r'   rŽ   �   sH   ø€ ÷ ñ á—‘ðñ ™�}ðñ #¡2§8¡8Õ,ð	ñ
 
�‰ñr)   c                ó
  € Ve   TpMV P                  V4      pVf   R .\        V P                  4      ,          p\        WB^ ,          4      p\	        V P                  V4       F  w  rgV! WEV4      pK  	  V P                  V4      # rv   )r‘   Úlenr“   r
   Úzipr”   )rJ   r˜   rQ   r™   rˆ   rP   ÚlayerÚcs   &&&&    r&   re   ÚTelechat3Model.__call__�   sz   € ð Ò'Ø ‰Aà×!Ñ! &Ó)ˆAàŠ=Ø�FœS §¡Ó-Õ-ˆEÜ$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a˜qÓ!ŠAñ 0ð �y‰y˜‹|Ðr)   )r6   r‘   r“   r”   r   r   rg   rh   rj   s   @@r&   rŒ   rŒ   ‘   s    ù‡ € ÷	Hó 	H÷÷ ò r)   rŒ   c                   ód   a a€ ] tR t^²t oV3R lV 3R lltRV3R lR llt]R 4       tRtVt	V ;t
# )ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r5   r7   )r$   r%   s   "€r&   r'   ÚModel.__annotate__³   s   ø€ ÷ Tñ T™Yñ Tr)   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# )Fr:   N)r?   r@   r6   r   rŒ   Úmodelr   rB   rC   r   r   Úlm_headrI   s   &&€r&   r@   ÚModel.__init__³   sY   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ# DÓ)ˆŒ
Ø×'×'Ð'ÜŸ9š9 T×%5Ñ%5°t·±ÈUÔSˆDŽLñ (r)   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[S[ P                  ,          RS[ P                  /# r—   rS   )r$   r%   s   "€r&   r'   r£   »   sH   ø€ ÷ ñ á—‘ðñ ™�}ðñ #¡2§8¡8Õ,ð	ñ
 
�‰ñr)   c                óÒ   € V P                  WV4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# rv   )r¥   r6   r   r‘   Ú	as_linearr¦   )rJ   r˜   rQ   r™   r‰   s   &&&& r&   re   ÚModel.__call__»   s[   € ð �j‰j˜Ð(8Ó9ˆØ�9‰9×(×(Ð(Ø—*‘*×)Ñ)×3Ñ3°CÓ8ˆCð ˆ
ð —,‘,˜sÓ#ˆCØˆ
r)   c                ó.   € V P                   P                  # rv   )r¥   r“   )rJ   s   &r&   r“   ÚModel.layersÈ   s   € à�z‰z× Ñ Ð r)   )r6   r¦   r¥   r   rg   )r+   r,   r-   r.   r@   re   Úpropertyr“   r0   r1   ri   rj   s   @@r&   r¡   r¡   ²   s4   ù‡ € ÷Tó T÷ò ð ñ!ó ÷!ð !r)   r¡   )Údataclassesr   Útypingr   r   r   r   Úmlx.coreÚcorerT   Úmlx.nnrB   Úactivationsr   r=   r	   r
   r   Ú
rope_utilsr   r   ÚModuler3   rl   ry   rŒ   r¡   r*   r)   r&   Ú<module>r·      s“   ðõ "ß -Ó -å Ý å ß TÑ TÝ 'ð ô&�ó &ó ð&ô$C#˜Ÿ™ô C#ôLJ�2—9‘9ô Jô"˜BŸI™Iô ô2�R—Y‘Yô ôB!ˆB�I‰Iö !r)   