+
    TV-j¢  ã                   ó`  € ^ RI Ht ^ RIHtHtHtHt ^ RIHt	 ^ RI
Ht ^RIHt ^RIHtHtHt ^RIHt ] ! R R]4      4       t ! R	 R
]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      t ! R R]P*                  4      tR# )é    )Ú	dataclass)ÚAnyÚDictÚOptionalÚUnionN)Úswiglu)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attention)Úinitialize_ropec                   ó<   a € ] tR t^t o RtRtRtRtV 3R ltRt	V t
R# )Ú	ModelArgsNFi'  Tc                óÆ   <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[S[,          ;R
&   S[;R&   S[;R&   S[;R&   # )é   Ú
model_typeÚhidden_sizeÚnum_hidden_layersÚintermediate_sizeÚnum_attention_headsÚrms_norm_epsÚ
vocab_sizeÚhead_dimÚnum_key_value_headsÚmax_position_embeddingsÚattention_biasÚ
rope_thetaÚtie_word_embeddings)ÚstrÚintÚfloatr   Úbool)ÚformatÚ__classdict__s   "€Úb/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/glm.pyÚ__annotate__ÚModelArgs.__annotate__   s­   ø‡ ‚ á�Oñ ñ Ññ ñ Ññ	 ñ
 Ññ ñ Ññ ñ Ññ ñ �Oñ ñ �Mñ ñ Ññ ñ &¡c�]Ñ1ñ ñ Ñ ñ ñ Ññ ñ Ñ$ò ó    © )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r   r   r   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r#   s   @r$   r   r      s$   ø‡ € ð .2ÐØ €NØ€JØ $Ð÷ ƒ r'   r   c                   óT   a a€ ] tR t^t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚGLMAttentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r"   r#   s   "€r$   r%   ÚGLMAttention.__annotate__    s   ø€ ÷ Xñ X™Yñ Xr'   c                óÞ  <€ \         SV `  4        VP                  V n        VP                  V n        VP                  V n        VP
                  ;'       g    VP                  V P                  ,          V n        V P
                  R,          V n        \        P                  ! V P                  V P                  V P
                  ,          VP                  R7      V n
        \        P                  ! V P                  V P                  V P
                  ,          VP                  R7      V n        \        P                  ! V P                  V P                  V P
                  ,          VP                  R7      V n        \        P                  ! V P                  V P
                  ,          V P                  RR7      V n        \        P                  ! V P
                  RVP                  R7      V n        R# )g      à?©ÚbiasFT)ÚdimsÚtraditionalÚbaseNg      à¿)ÚsuperÚ__init__r   r   r   r   ÚscaleÚnnÚLinearr   Úq_projÚk_projÚv_projÚo_projÚRoPEr   Úrope©Úselfr4   Ú	__class__s   &&€r$   r>   ÚGLMAttention.__init__    sX  ø€ Ü‰ÑÔØ×+Ñ+ˆÔØ#'×#;Ñ#;ˆÔ Ø#'×#;Ñ#;ˆÔ ØŸ™×UÐU¨×)9Ñ)9¸T×=UÑ=UÕ)UˆŒØ—]‘] DÕ(ˆŒ
ä—i’iØ×ÑØ×$Ñ$ t§}¡}Õ4Ø×$Ñ$ô
ˆŒô
 —i’iØ×ÑØ×$Ñ$ t§}¡}Õ4Ø×$Ñ$ô
ˆŒô
 —i’iØ×ÑØ×$Ñ$ t§}¡}Õ4Ø×$Ñ$ô
ˆŒô
 —i’iØ×$Ñ$ t§}¡}Õ4°d×6FÑ6FÈUô
ˆŒô —G’G §¡¸DÀtÇÁÔWˆŽ	r'   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r"   r#   s   "€r$   r%   r6   =   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r'   c           	     ó  € VP                   w  rEpV P                  V4      V P                  V4      V P                  V4      r˜pVP	                  WEV P
                  R4      P                  ^ ^^^4      pVP	                  WEV P                  R4      P                  ^ ^^^4      pV	P	                  WEV P                  R4      P                  ^ ^^^4      p	VeM   V P                  WsP                  R7      pV P                  WƒP                  R7      pVP                  W‰4      w  r‰M"V P                  V4      pV P                  V4      p\        WxW“V P                  VR7      p
V
P                  ^ ^^^4      P	                  WER4      p
V P                  V
4      # )é   )Úoffset)rP   r?   rO   éÿÿÿÿ)ÚshaperB   rC   rD   Úreshaper   Ú	transposer   rG   rW   Úupdate_and_fetchr   r?   rE   )rI   rN   rO   rP   ÚBÚLÚDÚqueriesÚkeysÚvaluesÚoutputs   &&&&       r$   Ú__call__ÚGLMAttention.__call__=   sc  € ð —'‘'‰ˆˆaà $§¡¨A£°·±¸A³ÀÇÁÈAÃ�vˆà—/‘/ !¨×(@Ñ(@À"ÓE×OÑOØˆq�!�Qó
ˆð �|‰|˜A $×":Ñ":¸BÓ?×IÑIÈ!ÈQÐPQÐSTÓUˆØ—‘  d×&>Ñ&>ÀÓC×MÑMØˆq�!�Qó
ˆð ÒØ—i‘i ·±�iÓ=ˆGØ—9‘9˜T¯,©,�9Ó7ˆDØ ×1Ñ1°$Ó?‰LˆD�&à—i‘i Ó(ˆGØ—9‘9˜T“?ˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r'   )
r   r   rC   r   r   rE   rB   rG   r?   rD   ©NN©	r)   r*   r+   r,   r>   rd   r.   r/   Ú__classcell__©rJ   r#   s   @@r$   r1   r1      s    ù‡ € ÷Xó X÷:#÷ #ò #r'   r1   c                   óP   a a€ ] tR t^_t oV3R lV 3R lltV3R lR ltRtVtV ;t# )ÚGLMMLPc                ó    <€ V ^8„  d   QhRS[ /# r3   r5   )r"   r#   s   "€r$   r%   ÚGLMMLP.__annotate__`   s   ø€ ÷ Yñ Y™Yñ Yr'   c                óú   <€ \         SV `  4        \        P                  ! VP                  ^VP
                  ,          RR7      V n        \        P                  ! VP
                  VP                  RR7      V n        R# )r   Fr8   N)r=   r>   r@   rA   r   r   Úgate_up_projÚ	down_projrH   s   &&€r$   r>   ÚGLMMLP.__init__`   sZ   ø€ Ü‰ÑÔÜŸIšIØ×Ñ˜a $×"8Ñ"8Õ8¸uô
ˆÔô Ÿš 4×#9Ñ#9¸4×;KÑ;KÐRWÔXˆŽr'   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r   rQ   )rS   rT   )r"   r#   s   "€r$   r%   rm   g   s   ø€ ÷ /ñ /™RŸX™Xñ /r'   c                óŽ   € V P                  V4      p\        P                  ! V^RR7      w  r!V P                  \	        W!4      4      # )r   )ÚaxisrX   )ro   rS   Úsplitrp   r   )rI   rN   Úgates   && r$   rd   ÚGLMMLP.__call__g   s9   € Ø×Ñ˜aÓ ˆÜ—(’(˜1˜a bÔ)‰ˆØ�~‰~œf T›oÓ.Ð.r'   )rp   ro   rg   ri   s   @@r$   rk   rk   _   s    ù‡ € ÷Yó Y÷/÷ /ð /r'   rk   c                   óT   a a€ ] tR t^mt oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚGLMBlockc                ó    <€ V ^8„  d   QhRS[ /# r3   r5   )r"   r#   s   "€r$   r%   ÚGLMBlock.__annotate__n   s   ø€ ÷ 
ñ 
™Yñ 
r'   c                ó(  <€ \         SV `  4        \        V4      V n        \	        V4      V n        \        P                  ! VP                  VP                  R 7      V n
        \        P                  ! VP                  VP                  R 7      V n        R# )©ÚepsN)r=   r>   r1   Ú	self_attnrk   Úmlpr@   ÚRMSNormr   r   Úinput_layernormÚpost_attention_layernormrH   s   &&€r$   r>   ÚGLMBlock.__init__n   sf   ø€ Ü‰ÑÔÜ% dÓ+ˆŒÜ˜$“<ˆŒÜ!Ÿzšz¨$×*:Ñ*:À×@QÑ@QÔRˆÔÜ(*¯
ª
Ø×Ñ $×"3Ñ"3ô)
ˆÖ%r'   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rM   rR   )r"   r#   s   "€r$   r%   r{   w   sH   ø€ ÷ 
ñ 
á�8‰8ð
ñ ‘r—x‘xÕ ð
ñ ™�}ð	
ñ
 
�‰ñ
r'   c                ó¨   € V P                  V P                  V4      W#4      pW,           pV P                  V P                  V4      4      pWT,           pV# ©N)r   r‚   r€   rƒ   )rI   rN   rO   rP   ÚrÚhÚouts   &&&&   r$   rd   ÚGLMBlock.__call__w   sK   € ð �N‰N˜4×/Ñ/°Ó2°DÓ@ˆØ�EˆØ�H‰H�T×2Ñ2°1Ó5Ó6ˆØ�eˆØˆ
r'   )r‚   r€   rƒ   r   rf   rg   ri   s   @@r$   ry   ry   m   s   ù‡ € ÷
ó 
÷
÷ 
ò 
r'   ry   c                   óT   a a€ ] tR t^„t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚGLMModelc                ó    <€ V ^8„  d   QhRS[ /# r3   r5   )r"   r#   s   "€r$   r%   ÚGLMModel.__annotate__…   s   ø€ ÷ Hñ H™Yñ Hr'   c                óX  <€ \         SV `  4        \        P                  ! VP                  VP
                  4      V n        \        VP                  4       Uu. uF  p\        VR 7      NK  	  upV n
        \        P                  ! VP
                  VP                  R7      V n        R# u upi ))r4   r}   N)r=   r>   r@   Ú	Embeddingr   r   Úembed_tokensÚranger   ry   Úlayersr�   r   Únorm)rI   r4   Ú_rJ   s   && €r$   r>   ÚGLMModel.__init__…   sw   ø€ Ü‰ÑÔÜŸLšL¨¯©¸$×:JÑ:JÓKˆÔÜ49¸$×:PÑ:PÔ4QÓRÑ4Q¨q”x T×*Ñ4QÑRˆŒÜ—J’J˜t×/Ñ/°T×5FÑ5FÔGˆŽ	ùò Ss   ÁB'c                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# ©r   ÚinputsrP   rQ   rR   )r"   r#   s   "€r$   r%   r�   ‹   s5   ø€ ÷ ñ á—‘ðñ ™�}ðñ 
�‰ñ	r'   c                óü   € V P                  V4      pVf   R .\        V P                  4      ,          p\        W2^ ,          4      p\	        V P                  V4       F  w  rVV! W4V4      pK  	  V P                  V4      # r‡   )r’   Úlenr”   r
   Úzipr•   )rI   rš   rP   r‰   rO   ÚlayerÚcs   &&&    r$   rd   ÚGLMModel.__call__‹   so   € ð
 ×Ñ˜fÓ%ˆàŠ=Ø�FœS §¡Ó-Õ-ˆEä$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a˜qÓ!ŠAñ 0ð �y‰y˜‹|Ðr'   )r’   r”   r•   r‡   rg   ri   s   @@r$   r�   r�   „   s    ù‡ € ÷Hó H÷÷ ò r'   r�   c                   ój   a a€ ] tR t^�t oV3R lV 3R lltRV3R lR lltR t]R 4       tRt	Vt
V ;t# )	ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r3   r5   )r"   r#   s   "€r$   r%   ÚModel.__annotate__ž   s   ø€ ÷ Tñ T™Yñ Tr'   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# )Fr8   N)r=   r>   r4   r   r�   Úmodelr   r@   rA   r   r   Úlm_headrH   s   &&€r$   r>   ÚModel.__init__ž   sX   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ˜d“^ˆŒ
Ø×'×'Ð'ÜŸ9š9 T×%5Ñ%5°t·±ÈUÔSˆDŽLñ (r'   c                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# r™   rR   )r"   r#   s   "€r$   r%   r¤   ¦   s5   ø€ ÷ 
ñ 
á—‘ð
ñ ™�}ð
ñ 
�‰ñ	
r'   c                óÐ   € V P                  W4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# r‡   )r¦   r4   r   r’   Ú	as_linearr§   )rI   rš   rP   rŠ   s   &&& r$   rd   ÚModel.__call__¦   sX   € ð
 �j‰j˜Ó'ˆØ�9‰9×(×(Ð(Ø—*‘*×)Ñ)×3Ñ3°CÓ8ˆCð ˆ
ð —,‘,˜sÓ#ˆCØˆ
r'   c                óÆ   € VP                  4        UUu/ uF  w  r#R V9  g   K  W#bK  	  pppV P                  P                  '       d   VP                  RR4       V# u uppi )zself_attn.rotary_emb.inv_freqzlm_head.weightN)Úitemsr4   r   Úpop)rI   ÚweightsÚkÚvs   &&  r$   ÚsanitizeÚModel.sanitize²   s^   € à$Ÿ]™]œ_ô
Ù,‘T�QÐ0OÐWXÑ0XŒDˆAŠD™_ð 	ñ 
ð �9‰9×(×(Ð(Ø�K‰KÐ(¨$Ô/Øˆùó
s
   ”A¤Ac                ó.   € V P                   P                  # r‡   )r¦   r”   )rI   s   &r$   r”   ÚModel.layersº   s   € à�z‰z× Ñ Ð r'   )r4   r§   r¦   r   r‡   )r)   r*   r+   r,   r>   rd   r³   Úpropertyr”   r.   r/   rh   ri   s   @@r$   r¢   r¢   �   s9   ù‡ € ÷Tó T÷
ò 
òð ñ!ó ÷!ð !r'   r¢   )Údataclassesr   Útypingr   r   r   r   Úmlx.coreÚcorerS   Úmlx.nnr@   Úactivationsr   r<   r	   r
   r   Ú
rope_utilsr   r   ÚModuler1   rk   ry   r�   r¢   r(   r'   r$   Ú<module>rÀ      sŽ   ðõ "ß -Ó -å Ý å ß TÑ TÝ 'ð ô%�ó %ó ð%ô =#�2—9‘9ô =#ô@/ˆR�Y‰Yô /ôˆr�y‰yô ô.ˆr�y‰yô ô2!ˆB�I‰Iö !r'   