+
    TV-j+  ã                   óH  € ^ RI Ht ^ RIHtHt ^ RIHt ^ RIH	t	 ^ RI
t^RIHtHtHt ] ! R R]4      4       t ! R R]	P"                  4      t ! R	 R
]	P"                  4      t ! R R]	P"                  4      t ! R R]	P"                  4      t ! R R]	P"                  4      tR# )é    )Ú	dataclass)ÚAnyÚOptionalN)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attentionc                   óF   a € ] tR t^t o RtRtRtRtRtR t	V 3R lt
RtV tR# )Ú	ModelArgsNTc                óp   € V P                   f(   V P                  '       d   ^MV P                  V n         R # R # ©N)Únum_key_value_headsÚmulti_queryÚn_head©Úselfs   &Új/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/gpt_bigcode.pyÚ__post_init__ÚModelArgs.__post_init__   s,   € Ø×#Ñ#Ò+Ø,0×,<×,<Ð,<¡qÀ$Ç+Á+ˆDÖ$ñ ,ó    c                ó¶   <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[;R&   # )é   Ú
model_typeÚn_embdÚn_layerÚn_innerr   Ún_positionsÚlayer_norm_epsilonÚ
vocab_sizer   r   Úattention_biasÚmlp_biasÚtie_word_embeddings)ÚstrÚintÚfloatÚbool)ÚformatÚ__classdict__s   "€r   Ú__annotate__ÚModelArgs.__annotate__   s¦   ø‡ ‚ á�Oñ ñ �Kñ ñ �Lñ	 ñ
 �Lñ ñ �Kñ ñ Ññ ñ Ññ ñ �Oñ ñ Ñ#ñ ñ Ññ ñ Ññ ñ Ññ ñ Ñ$ò r   )r   )Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r   r   r   r    r!   r   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r'   s   @r   r
   r
      s/   ø‡ € ð  $ÐØ€KØ€NØ€HØ $ÐòN÷! ƒ r   r
   c                   óT   a a€ ] tR t^"t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )Ú	Attentionc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r
   )r&   r'   s   "€r   r(   ÚAttention.__annotate__#   s   ø€ ÷ ?ñ ?™Yñ ?r   c                óø  <€ \         SV `  4        VP                  ;V n        pVP                  ;V n        pVP                  '       d   ^MVP                  ;V n        pW#,          ;V n        pWE,          V n	        VR,          V n
        \        VR4      '       d   VP                  pMRp\        P                  ! W"^V P                  ,          ,           VR7      V n        \        P                  ! W"VR7      V n        R# )é   r   F©ÚbiasNg      à¿)ÚsuperÚ__init__r   Údimr   Ún_headsr   Ú
n_kv_headsÚhead_dimÚkv_dimÚscaleÚhasattrr   ÚnnÚLinearÚc_attnÚc_proj)r   r5   r>   r?   r@   rA   r   Ú	__class__s   &&     €r   r=   ÚAttention.__init__#   s½   ø€ Ü‰ÑÔàŸ™Ð$ˆŒ�3Ø!%§¡Ð,ˆŒ�wØ,0×,<×,<Ð,<¡qÀ$Ç+Á+ÐMˆŒ˜*à#&¥>Ð1ˆŒ˜à Õ+ˆŒà˜t•^ˆŒ
ä�4Ð)×*Ò*Ø!×0Ñ0‰Nà"ˆNä—i’i ¨1¨t¯{©{­?Õ%:ÀÔPˆŒÜ—i’i ¨~Ô>ˆŽr   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   ÚxÚmaskÚcacheÚreturn©ÚmxÚarrayr   r   )r&   r'   s   "€r   r(   r7   8   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r   c           	     óª  € VP                   w  rEpV P                  V4      p\        P                  ! WpP                  V P                  V P
                  ,           .RR7      w  r‰p
VP                  WEV P                  R4      P                  ^ ^^^4      pV	P                  WEV P                  R4      P                  ^ ^^^4      p	V
P                  WEV P                  R4      P                  ^ ^^^4      p
Ve   VP                  Wš4      w  rš\        W‰W£V P                  VR7      pVP                  ^ ^^^4      P                  WER4      pV P                  V4      # )r9   )Úaxis)rO   rC   rN   éÿÿÿÿ)ÚshaperG   rR   Úsplitr>   rB   Úreshaper?   Ú	transposer@   Úupdate_and_fetchr   rC   rH   )r   rM   rN   rO   ÚBÚLÚDÚqkvÚqueriesÚkeysÚvaluesÚoutputs   &&&&        r   Ú__call__ÚAttention.__call__8   s&  € ð —'‘'‰ˆˆaà�k‰k˜!‹nˆÜ "§¢Ø—(‘(˜DŸH™H t§{¡{Õ2Ð3¸"ô!
Ñˆ�vð
 —/‘/ !¨¯©°bÓ9×CÑCÀAÀqÈ!ÈQÓOˆØ�|‰|˜A $§/¡/°2Ó6×@Ñ@ÀÀAÀqÈ!ÓLˆØ—‘  d§o¡o°rÓ:×DÑDÀQÈÈ1ÈaÓPˆàÒØ ×1Ñ1°$Ó?‰LˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r   )rG   rH   r>   rA   rB   r?   r@   rC   ©NN©	r*   r+   r,   r-   r=   rd   r/   r0   Ú__classcell__©rI   r'   s   @@r   r2   r2   "   s   ù‡ € ÷?ó ?÷*#÷ #ò #r   r2   c                   óP   a a€ ] tR t^Tt oV3R lV 3R lltV3R lR ltRtVtV ;t# )ÚMLPc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r&   r'   s   "€r   r(   ÚMLP.__annotate__U   s   ø€ ÷ @ñ @™Yñ @r   c                ó
  <€ \         SV `  4        VP                  pVP                  p\	        VR 4      '       d   VP
                  pMRp\        P                  ! W#VR7      V n        \        P                  ! W2VR7      V n	        R# )r    Fr:   N)
r<   r=   r   r   rD   r    rE   rF   Úc_fcrH   )r   r5   r>   Ú
hidden_dimr    rI   s   &&   €r   r=   ÚMLP.__init__U   s_   ø€ Ü‰ÑÔà�k‰kˆØ—\‘\ˆ
Ü�4˜×$Ò$Ø—}‘}‰HàˆHä—I’I˜c°HÔ=ˆŒ	Ü—i’i 
°hÔ?ˆŽr   c                ó4   <€ V ^8„  d   QhRS[ P                  /# )r   rP   ©rR   rS   )r&   r'   s   "€r   r(   rm   b   s   ø€ ÷ 2ñ 2™RŸX™Xñ 2r   c                ój   € V P                  \        P                  ! V P                  V4      4      4      # r   )rH   rE   Úgeluro   )r   rM   s   &&r   rd   ÚMLP.__call__b   s"   € Ø�{‰{œ2Ÿ7š7 4§9¡9¨Q£<Ó0Ó1Ð1r   )ro   rH   rg   ri   s   @@r   rk   rk   T   s    ù‡ € ÷@ó @÷2÷ 2ð 2r   rk   c                   óT   a a€ ] tR t^ft oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚTransformerBlockc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r&   r'   s   "€r   r(   ÚTransformerBlock.__annotate__g   s   ø€ ÷ ñ ™Yñ r   c                óx  <€ \         SV `  4        VP                  V n        VP                  V n        \	        V4      V n        \        V4      V n        \        P                  ! VP                  VP                  R 7      V n        \        P                  ! VP                  VP                  R 7      V n        Wn        R# )©ÚepsN)r<   r=   r   r   r2   Úattnrk   ÚmlprE   Ú	LayerNormr   Úln_1Úln_2r5   ©r   r5   rI   s   &&€r   r=   ÚTransformerBlock.__init__g   sw   ø€ Ü‰ÑÔØ—k‘kˆŒØ—k‘kˆŒÜ˜d“OˆŒ	Ü�t“9ˆŒÜ—L’L §¡°$×2IÑ2IÔJˆŒ	Ü—L’L §¡°$×2IÑ2IÔJˆŒ	ØŽ	r   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# rL   rQ   )r&   r'   s   "€r   r(   rz   q   sH   ø€ ÷ 
ñ 
á�8‰8ð
ñ ‘r—x‘xÕ ð
ñ ™�}ð	
ñ
 
�‰ñ
r   c                ó¨   € V P                  V P                  V4      W#4      pW,           pV P                  V P                  V4      4      pWT,           pV# r   )r~   r�   r   r‚   )r   rM   rN   rO   ÚrÚhÚouts   &&&&   r   rd   ÚTransformerBlock.__call__q   sE   € ð �I‰I�d—i‘i “l DÓ0ˆØ�EˆØ�H‰H�T—Y‘Y˜q“\Ó"ˆØ�eˆØˆ
r   )r5   r~   r�   r‚   r   r   r   rf   rg   ri   s   @@r   rx   rx   f   s   ù‡ € ÷ó ÷
÷ 
ò 
r   rx   c                   óT   a a€ ] tR t^~t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚGPTBigCodeModelc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r&   r'   s   "€r   r(   ÚGPTBigCodeModel.__annotate__   s   ø€ ÷ Kñ K™Yñ Kr   c                ó  <€ \         SV `  4        Wn        VP                  V n        V P                  ^ 8”  g   Q h\        P
                  ! VP                  VP                  4      V n        \        P
                  ! VP                  VP                  4      V n	        \        VP                  4       Uu. uF  p\        VR7      NK  	  upV n        \        P                  ! VP                  VP                  R7      V n        R# u upi )r   )r5   r|   N)r<   r=   r5   r   rE   Ú	Embeddingr   Úwter   ÚwpeÚranger   rx   rˆ   r€   r   Úln_f)r   r5   Ú_rI   s   && €r   r=   ÚGPTBigCodeModel.__init__   s¯   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒØ�‰ Ô"Ð"Ð"Ü—<’< §¡°·±Ó=ˆŒÜ—<’< × 0Ñ 0°$·+±+Ó>ˆŒÜ7<¸T¿\¹\Ô7JÓKÑ7J°!Ô"¨×-Ñ7JÑKˆŒÜ—L’L §¡°$×2IÑ2IÔJˆŽ	ùò Ls   Â1Dc                ó4   <€ V ^8„  d   QhRS[ P                  /# ©r   Úinputsrs   )r&   r'   s   "€r   r(   rŽ   ‰   s   ø€ ÷ (ñ (á—‘ñ(r   c                óF  € VP                   w  r4V P                  V4      pVfI   R .\        V P                  4      ,          p\        P
                  ! \        P                  ! V4      4      pMT\        P
                  ! \        P                  ! V^ ,          P                  V^ ,          P                  V,           4      4      p\        WR^ ,          4      pWPP                  V4      ,          p\        V P                  V4       F  w  r‰V! WWV	R7      pK  	  V P                  V4      # )N)rO   )rW   r‘   Úlenrˆ   rR   rS   ÚnpÚarangeÚoffsetr   r’   Úzipr”   )
r   r™   rO   r\   r]   Úhidden_statesÚposition_idsrN   ÚlayerÚcs
   &&&       r   rd   ÚGPTBigCodeModel.__call__‰   sÎ   € ð
 �|‰|‰ˆàŸ™ Ó(ˆàŠ=Ø�FœS §¡›[Õ(ˆEÜŸ8š8¤B§I¢I¨a£LÓ1‰LäŸ8š8¤B§I¢I¨e°A­h¯o©o¸uÀQ½x¿¹ÐQRÕ?RÓ$SÓTˆLä$ ]¸!µHÓ=ˆàŸ™ ,Ó/Õ/ˆä˜DŸF™F EÖ*‰HˆEÙ! -¸QÔ?ŠMñ +ð �y‰y˜Ó'Ð'r   )r5   rˆ   r”   r   r’   r‘   r   rg   ri   s   @@r   rŒ   rŒ   ~   s    ù‡ € ÷Kó K÷(÷ (ò (r   rŒ   c                   ód   a a€ ] tR t^¢t oV3R lV 3R lltRV3R lR llt]R 4       tRtVt	V ;t
# )ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r4   r6   )r&   r'   s   "€r   r(   ÚModel.__annotate__£   s   ø€ ÷ Oñ O™Yñ Or   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# )Fr:   N)r<   r=   r5   r   rŒ   Útransformerr!   rE   rF   r   r   Úlm_headrƒ   s   &&€r   r=   ÚModel.__init__£   sX   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ*¨4Ó0ˆÔØ×'×'Ð'ÜŸ9š9 T§[¡[°$·/±/ÈÔNˆDŽLñ (r   c                ó4   <€ V ^8„  d   QhRS[ P                  /# r˜   rs   )r&   r'   s   "€r   r(   r¨   «   s   ø€ ÷ 
ñ 
á—‘ñ
r   c                óÐ   € V P                  W4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# r   )rª   r5   r!   r‘   Ú	as_linearr«   )r   r™   rO   r‰   s   &&& r   rd   ÚModel.__call__«   s\   € ð
 ×Ñ˜vÓ-ˆØ�9‰9×(×(Ð(Ø×"Ñ"×&Ñ&×0Ñ0°Ó5ˆCð ˆ
ð —,‘,˜sÓ#ˆCØˆ
r   c                ó.   € V P                   P                  # r   )rª   rˆ   r   s   &r   ÚlayersÚModel.layers·   s   € à×Ñ×!Ñ!Ð!r   )r5   r«   r   rª   r   )r*   r+   r,   r-   r=   rd   Úpropertyr²   r/   r0   rh   ri   s   @@r   r¦   r¦   ¢   s4   ù‡ € ÷Oó O÷
ò 
ð ñ"ó ÷"ð "r   r¦   )Údataclassesr   Útypingr   r   Úmlx.coreÚcorerR   Úmlx.nnrE   Únumpyrœ   Úbaser   r   r   r
   ÚModuler2   rk   rx   rŒ   r¦   © r   r   Ú<module>r¾      sŒ   ðõ "ß  å Ý Û ç TÑ Tð ôN�ó Nó ðNô(/#�—	‘	ô /#ôd2ˆ"�)‰)ô 2ô$�r—y‘yô ô0!(�b—i‘iô !(ôH"ˆB�I‰Iö "r   