+
    TV-jé  ã                   ól  € ^ RI Ht ^ RIHt ^ RIHtHtHtHt ^ RI	H
t ^ RIHt ^RIHt ^RIHtHtHt ^RIHt ] ! R R	]4      4       t ! R
 R]P.                  4      t ! R R]P.                  4      t ! R R]P.                  4      t ! R R]P.                  4      t ! R R]P.                  4      tR# )é    )Ú	dataclass)Úpartial)ÚAnyÚDictÚOptionalÚUnionN)ÚXieLU)ÚBaseModelArgsÚcreate_attention_maskÚscaled_dot_product_attention)Úinitialize_ropec                   ó4   a € ] tR t^t o RtRtV 3R ltRtV tR# )Ú	ModelArgsFNc                ó"  <€ V ^8„  d   Qh/ S[ ;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R	&   S[;R
&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[;R&   S[S[S[ S[S[S[ 3,          3,          ,          ;R&   # )é   Ú
model_typeÚhidden_sizeÚnum_hidden_layersÚintermediate_sizeÚmlp_biasÚnum_attention_headsÚattention_biasÚrms_norm_epsÚ
vocab_sizeÚnum_key_value_headsÚmax_position_embeddingsÚ
rope_thetaÚ	post_normÚqk_normÚtie_word_embeddingsÚrope_traditionalÚrope_scaling)ÚstrÚintÚboolÚfloatr   r   r   )ÚformatÚ__classdict__s   "€Úf/Volumes/fast/ai/experiments/ui-tars-smoke/.venv/lib/python3.14/site-packages/mlx_lm/models/apertus.pyÚ__annotate__ÚModelArgs.__annotate__   só   ø‡ ‚ á�Oñ ñ Ññ ñ Ññ	 ñ
 Ññ ñ �Nñ ñ Ññ ñ Ññ ñ Ññ ñ �Oñ ñ Ññ ñ !Ñ ñ ñ Ññ ñ �Oñ ñ �Mñ ñ  Ññ! ñ" Ñ"ñ# ñ$ ™4¡¡U©5±#¨:Õ%6Ð 6Õ7Õ8Ñ?ò% ó    © )	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r!   r"   Ú__annotate_func__Ú__static_attributes__Ú__classdictcell__)r(   s   @r)   r   r      s   ø‡ € ð" #ÐØ;?€L÷% ƒ r,   r   c                   óP   a a€ ] tR t^$t oV3R lV 3R lltV3R lR ltRtVtV ;t# )Ú
ApertusMLPc                ó    <€ V ^8„  d   QhRS[ /# ©r   Úargs©r   )r'   r(   s   "€r)   r*   ÚApertusMLP.__annotate__%   s   ø€ ÷ ñ ™Yñ r,   c                ó2  <€ \         SV `  4        \        P                  ! VP                  VP
                  VP                  R 7      V n        \        P                  ! VP
                  VP                  VP                  R 7      V n        \        4       V n
        R# )©ÚbiasN)ÚsuperÚ__init__ÚnnÚLinearr   r   r   Úup_projÚ	down_projr	   Úact_fn©Úselfr9   Ú	__class__s   &&€r)   r@   ÚApertusMLP.__init__%   si   ø€ Ü‰ÑÔÜ—y’yØ×Ñ˜d×4Ñ4¸4¿=¹=ô
ˆŒô ŸšØ×"Ñ" D×$4Ñ$4¸4¿=¹=ô
ˆŒô “gˆŽr,   c                óN   <€ V ^8„  d   QhRS[ P                  RS[ P                  /# )r   ÚxÚreturn)ÚmxÚarray)r'   r(   s   "€r)   r*   r;   /   s#   ø€ ÷ <ñ <™"Ÿ(™(ð <¡r§x¡xñ <r,   c                ó`   € V P                  V P                  V P                  V4      4      4      # ©N)rD   rE   rC   )rG   rK   s   &&r)   Ú__call__ÚApertusMLP.__call__/   s"   € Ø�~‰~˜dŸk™k¨$¯,©,°q«/Ó:Ó;Ð;r,   )rE   rD   rC   ©	r.   r/   r0   r1   r@   rQ   r3   r4   Ú__classcell__©rH   r(   s   @@r)   r6   r6   $   s   ù‡ € ÷ó ÷<÷ <ð <r,   r6   c                   óT   a a€ ] tR t^3t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚApertusAttentionc                ó    <€ V ^8„  d   QhRS[ /# r8   r:   )r'   r(   s   "€r)   r*   ÚApertusAttention.__annotate__4   s   ø€ ÷ 
ñ 
™Yñ 
r,   c                óD  <€ \         SV `  4        VP                  V n        VP                  V n        VP                  VP                  ,          V n        V P
                  R,          V n        \        P                  ! VP                  VP                  V P
                  ,          RR7      V n	        \        P                  ! VP                  VP                  V P
                  ,          RR7      V n
        \        P                  ! VP                  VP                  V P
                  ,          RR7      V n        \        P                  ! VP                  V P
                  ,          VP                  RR7      V n        \        P                  ! V P
                  VP                  R7      V n        \        P                  ! V P
                  VP                  R7      V n        \#        V P
                  VP$                  VP&                  VP(                  VP*                  4      V n        R# )g      à?Fr=   ©ÚepsNg      à¿)r?   r@   r   r   r   Úhead_dimÚscalerA   rB   Úq_projÚk_projÚv_projÚo_projÚRMSNormr   Úq_normÚk_normr   r   r!   r"   r   ÚroperF   s   &&€r)   r@   ÚApertusAttention.__init__4   sw  ø€ Ü‰ÑÔØ#'×#;Ñ#;ˆÔ Ø#'×#;Ñ#;ˆÔ à×(Ñ(¨D×,DÑ,DÕDˆŒØ—]‘] DÕ(ˆŒ
ä—i’iØ×Ñ˜d×6Ñ6¸¿¹ÕFÈUô
ˆŒô —i’iØ×Ñ˜d×6Ñ6¸¿¹ÕFÈUô
ˆŒô —i’iØ×Ñ˜d×6Ñ6¸¿¹ÕFÈUô
ˆŒô —i’iØ×$Ñ$ t§}¡}Õ4°d×6FÑ6FÈUô
ˆŒô —j’j §¡°D×4EÑ4EÔFˆŒÜ—j’j §¡°D×4EÑ4EÔFˆŒä#Ø�M‰MØ�O‰OØ×!Ñ!Ø×ÑØ×(Ñ(ó
ˆŽ	r,   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ©r   rK   ÚmaskÚcacherL   ©rM   rN   r   r   )r'   r(   s   "€r)   r*   rY   T   sH   ø€ ÷ #ñ #á�8‰8ð#ñ ‘r—x‘xÕ ð#ñ ™�}ð	#ñ
 
�‰ñ#r,   c           	     óZ  € VP                   w  rEpV P                  V4      V P                  V4      V P                  V4      r˜pV P	                  VP                  WEV P                  R4      4      P                  ^ ^^^4      pV P                  VP                  WEV P                  R4      4      P                  ^ ^^^4      pV	P                  WEV P                  R4      P                  ^ ^^^4      p	VeM   V P                  WsP                  R7      pV P                  WƒP                  R7      pVP                  W‰4      w  r‰M"V P                  V4      pV P                  V4      p\        WxW“V P                  VR7      p
V
P                  ^ ^^^4      P                  WER4      p
V P                  V
4      # )é   )Úoffset)rk   r^   rj   éÿÿÿÿ)Úshaper_   r`   ra   rd   Úreshaper   Ú	transposere   r   rf   ro   Úupdate_and_fetchr   r^   rb   )rG   rK   rj   rk   ÚBÚLÚDÚqueriesÚkeysÚvaluesÚoutputs   &&&&       r)   rQ   ÚApertusAttention.__call__T   sz  € ð —'‘'‰ˆˆaØ $§¡¨A£°·±¸A³ÀÇÁÈAÃ�vˆØ—+‘+Ø�O‰O˜A $×":Ñ":¸BÓ?ó
ç
‰)�A�q˜!˜QÓ
ð 	ð �{‰{˜4Ÿ<™<¨¨d×.FÑ.FÈÓKÓL×VÑVØˆq�!�Qó
ˆð —‘  d×&>Ñ&>ÀÓC×MÑMØˆq�!�Qó
ˆð ÒØ—i‘i ·±�iÓ=ˆGØ—9‘9˜T¯,©,�9Ó7ˆDØ ×1Ñ1°$Ó?‰LˆD�&à—i‘i Ó(ˆGØ—9‘9˜T“?ˆDä-Ø˜6°d·j±jÀtô
ˆð ×!Ñ! ! Q¨¨1Ó-×5Ñ5°a¸BÓ?ˆØ�{‰{˜6Ó"Ð"r,   )r]   re   r`   r   r   rb   rd   r_   rf   r^   ra   ©NNrS   rU   s   @@r)   rW   rW   3   s   ù‡ € ÷
ó 
÷@#÷ #ò #r,   rW   c                   óT   a a€ ] tR t^ut oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚApertusDecoderLayerc                ó    <€ V ^8„  d   QhRS[ /# r8   r:   )r'   r(   s   "€r)   r*   Ú ApertusDecoderLayer.__annotate__v   s   ø€ ÷ Yñ Y™Yñ Yr,   c                ó(  <€ \         SV `  4        \        V4      V n        \	        V4      V n        \        P                  ! VP                  VP                  R 7      V n
        \        P                  ! VP                  VP                  R 7      V n        R# )r[   N)r?   r@   rW   Ú	self_attnr6   ÚmlprA   rc   r   r   Úattention_layernormÚfeedforward_layernormrF   s   &&€r)   r@   ÚApertusDecoderLayer.__init__v   sd   ø€ Ü‰ÑÔÜ)¨$Ó/ˆŒÜ˜dÓ#ˆŒä#%§:¢:¨d×.>Ñ.>ÀD×DUÑDUÔ#VˆÔ Ü%'§Z¢Z°×0@Ñ0@Àd×FWÑFWÔ%XˆÖ"r,   c                óŽ   <€ V ^8„  d   QhRS[ P                  RS[S[ P                  ,          RS[S[,          RS[ P                  /# ri   rl   )r'   r(   s   "€r)   r*   r�   ~   sH   ø€ ÷ ñ á�8‰8ðñ ‘r—x‘xÕ ðñ ™�}ð	ñ
 
�‰ñr,   c                ó    € WP                  V P                  V4      W#4      ,           pW@P                  V P                  V4      4      ,           pV# rP   )rƒ   r…   r„   r†   )rG   rK   rj   rk   ÚhÚouts   &&&&  r)   rQ   ÚApertusDecoderLayer.__call__~   sC   € ð —‘˜t×7Ñ7¸Ó:¸DÓHÕHˆØ—(‘(˜4×5Ñ5°aÓ8Ó9Õ9ˆØˆ
r,   )r…   r†   r„   rƒ   r}   rS   rU   s   @@r)   r   r   u   s    ù‡ € ÷Yó Y÷÷ ò r,   r   c                   óT   a a€ ] tR t^‰t oV3R lV 3R lltRV3R lR lltRtVtV ;t# )ÚApertusModelc                ó    <€ V ^8„  d   QhRS[ /# r8   r:   )r'   r(   s   "€r)   r*   ÚApertusModel.__annotate__Š   s   ø€ ÷ Hñ H™Yñ Hr,   c                óX  <€ \         SV `  4        \        P                  ! VP                  VP
                  4      V n        \        VP                  4       Uu. uF  p\        VR 7      NK  	  upV n
        \        P                  ! VP
                  VP                  R7      V n        R# u upi ))r9   r[   N)r?   r@   rA   Ú	Embeddingr   r   Úembed_tokensÚranger   r   Úlayersrc   r   Únorm)rG   r9   Ú_rH   s   && €r)   r@   ÚApertusModel.__init__Š   s}   ø€ Ü‰ÑÔÜŸLšL¨¯©¸$×:JÑ:JÓKˆÔä49¸$×:PÑ:PÔ4Qó
Ù4Q¨qÔ T×*Ñ4Qñ
ˆŒô —J’J˜t×/Ñ/°T×5FÑ5FÔGˆŽ	ùò
s   ÁB'c                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# ©r   Úinputsrk   rL   rl   )r'   r(   s   "€r)   r*   r�   ’   s5   ø€ ÷ ñ á—‘ðñ ™�}ðñ 
�‰ñ	r,   c                óþ   € V P                  V4      pVf   R .\        V P                  4      ,          p\        W2^ ,          4      p\	        V P                  V4       F  w  rVV! W4VR7      pK  	  V P                  V4      # )N)rj   rk   )r“   Úlenr•   r   Úzipr–   )rG   r›   rk   rŠ   rj   ÚlayerÚcs   &&&    r)   rQ   ÚApertusModel.__call__’   so   € ð
 ×Ñ˜fÓ%ˆàŠ=Ø�FœS §¡Ó-Õ-ˆEä$ Q¨a­Ó1ˆä˜DŸK™K¨Ö/‰HˆEÙ�a¨!Ô,ŠAñ 0ð �y‰y˜‹|Ðr,   )r“   r•   r–   rP   rS   rU   s   @@r)   rŽ   rŽ   ‰   s    ù‡ € ÷Hó H÷÷ ò r,   rŽ   c                   ój   a a€ ] tR t^¤t oV3R lV 3R lltRV3R lR lltR t]R 4       tRt	Vt
V ;t# )	ÚModelc                ó    <€ V ^8„  d   QhRS[ /# r8   r:   )r'   r(   s   "€r)   r*   ÚModel.__annotate__¥   s   ø€ ÷ Tñ T™Yñ Tr,   c                óþ   <€ \         SV `  4        Wn        VP                  V n        \	        V4      V n        VP                  '       g5   \        P                  ! VP                  VP                  R R7      V n        R# R# )Fr=   N)r?   r@   r9   r   rŽ   Úmodelr    rA   rB   r   r   Úlm_headrF   s   &&€r)   r@   ÚModel.__init__¥   sY   ø€ Ü‰ÑÔØŒ	ØŸ/™/ˆŒÜ! $Ó'ˆŒ
Ø×'×'Ð'ÜŸ9š9 T×%5Ñ%5°t·±ÈUÔSˆDŽLñ (r,   c                ód   <€ V ^8„  d   QhRS[ P                  RS[S[,          RS[ P                  /# rš   rl   )r'   r(   s   "€r)   r*   r¥   ­   s5   ø€ ÷ 
ñ 
á—‘ð
ñ ™�}ð
ñ 
�‰ñ	
r,   c                óÐ   € V P                  W4      pV P                  P                  '       d(   V P                   P                  P	                  V4      pV# V P                  V4      pV# rP   )r§   r9   r    r“   Ú	as_linearr¨   )rG   r›   rk   r‹   s   &&& r)   rQ   ÚModel.__call__­   sX   € ð
 �j‰j˜Ó'ˆØ�9‰9×(×(Ð(Ø—*‘*×)Ñ)×3Ñ3°CÓ8ˆCð ˆ
ð —,‘,˜sÓ#ˆCØˆ
r,   c                ó  € VP                  4        FG  w  r#VP                  R 4      '       g   VP                  R4      '       g   K5  VP                  4       W&   KI  	  V P                  P                  '       d   VP                  RR4       V# )Úalpha_pÚalpha_nzlm_head.weightN)ÚitemsÚendswithÚsqueezer9   r    Úpop)rG   ÚweightsÚkÚvs   &&  r)   ÚsanitizeÚModel.sanitize¹   sd   € Ø—M‘M–O‰DˆAØ�z‰z˜)×$Ò$¨¯
©
°9×(=Ô(=ØŸY™Y›[�“
ñ $ð �9‰9×(×(Ð(Ø�K‰KÐ(¨$Ô/Øˆr,   c                ó.   € V P                   P                  # rP   )r§   r•   )rG   s   &r)   r•   ÚModel.layersÁ   s   € à�z‰z× Ñ Ð r,   )r9   r¨   r§   r   rP   )r.   r/   r0   r1   r@   rQ   r¸   Úpropertyr•   r3   r4   rT   rU   s   @@r)   r£   r£   ¤   s9   ù‡ € ÷Tó T÷
ò 
òð ñ!ó ÷!ð !r,   r£   )Údataclassesr   Ú	functoolsr   Útypingr   r   r   r   Úmlx.coreÚcorerM   Úmlx.nnrA   Úactivationsr	   Úbaser
   r   r   Ú
rope_utilsr   r   ÚModuler6   rW   r   rŽ   r£   r-   r,   r)   Ú<module>rÇ      s”   ðõ "Ý ß -Ó -å Ý å ß TÑ TÝ 'ð ô@�ó @ó ð@ô(<�—‘ô <ô?#�r—y‘yô ?#ôD˜"Ÿ)™)ô ô(�2—9‘9ô ô6!ˆB�I‰Iö !r,   