@@ -743,10 +743,6 @@ LLAMASERVER_CXXFLAGS := -I./tools/mtmd
743743# whisper objects
744744whispercpp_default.o : otherarch/whispercpp/whisper_adapter.cpp
745745 $(CXX ) $(CXXFLAGS ) -c $< -o $@
746- whispercpp_vulkan.o : otherarch/whispercpp/whisper_adapter.cpp
747- $(CXX ) $(CXXFLAGS ) $(VULKAN_FLAGS ) -c $< -o $@
748- whispercpp_cublas.o : otherarch/whispercpp/whisper_adapter.cpp
749- $(CXX ) $(CXXFLAGS ) $(CUBLAS_FLAGS ) $(HIPFLAGS ) -c $< -o $@
750746
751747# tts objects
752748tts_default.o : otherarch/tts_adapter.cpp otherarch/ttscpp/src/ttscpp.cpp otherarch/ttscpp/src/ttstokenizer.cpp otherarch/ttscpp/src/ttssampler.cpp otherarch/ttscpp/src/parler_model.cpp otherarch/ttscpp/src/dac_model.cpp otherarch/ttscpp/src/ttsutil.cpp otherarch/ttscpp/src/ttsargs.cpp otherarch/ttscpp/src/ttst5_encoder_model.cpp otherarch/ttscpp/src/phonemizer.cpp otherarch/ttscpp/src/tts_model.cpp otherarch/ttscpp/src/kokoro_model.cpp otherarch/ttscpp/src/dia_model.cpp otherarch/ttscpp/src/orpheus_model.cpp otherarch/ttscpp/src/snac_model.cpp otherarch/ttscpp/src/general_neural_audio_codec.cpp
@@ -760,16 +756,8 @@ music_default.o: otherarch/acestep/music_adapter.cpp
760756
761757# idiotic "for easier compilation"
762758GPTTYPE_ADAPTER = gpttype_adapter.cpp kcpp_backend.h model_adapter.h otherarch/otherarch.h include/llama.h otherarch/llama_v2.cpp otherarch/llama_v3.cpp otherarch/gptj_v1.cpp otherarch/gptj_v2.cpp otherarch/gptj_v3.cpp otherarch/gpt2_v1.cpp otherarch/gpt2_v2.cpp otherarch/gpt2_v3.cpp otherarch/rwkv_v2.cpp otherarch/rwkv_v3.cpp otherarch/neox_v2.cpp otherarch/neox_v3.cpp otherarch/mpt_v3.cpp
763- gpttype_adapter_failsafe.o : $(GPTTYPE_ADAPTER )
764- $(CXX ) $(CXXFLAGS ) $(FAILSAFE_FLAGS ) -c $< -o $@
765759gpttype_adapter.o : $(GPTTYPE_ADAPTER )
766760 $(CXX ) $(CXXFLAGS ) -c $< -o $@
767- gpttype_adapter_cublas.o : $(GPTTYPE_ADAPTER )
768- $(CXX ) $(CXXFLAGS ) $(CUBLAS_FLAGS ) $(HIPFLAGS ) -c $< -o $@
769- gpttype_adapter_vulkan.o : $(GPTTYPE_ADAPTER )
770- $(CXX ) $(CXXFLAGS ) $(VULKAN_FLAGS ) -c $< -o $@
771- gpttype_adapter_vulkan_noavx2.o : $(GPTTYPE_ADAPTER )
772- $(CXX ) $(CXXFLAGS ) $(FAILSAFE_FLAGS ) $(VULKAN_FLAGS ) -c $< -o $@
773761
774762kcpp_backend_failsafe.o : kcpp_backend.cpp kcpp_backend.h
775763 $(CXX ) $(CXXFLAGS ) $(FAILSAFE_FLAGS ) -c $< -o $@
@@ -798,7 +786,7 @@ fitparams: tools/fit-params/main.cpp tools/fit-params/fit-params.cpp common/arg.
798786 $(CXX ) $(CXXFLAGS ) -DGGML_USE_VULKAN $(filter-out % .h,$^ ) -o $@ $(LDFLAGS )
799787sdmain : $(OBJS_SDCOMMON ) $(OBJS_SDMAIN ) build-info.h ggml.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o llama.o chat.o llama-model.o console.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_FULL ) $(OBJS )
800788 $(CXX ) $(CXXFLAGS ) $(filter-out % .h,$^ ) -o $@ $(LDFLAGS )
801- whispermain : otherarch/whispercpp/main.cpp otherarch/whispercpp/whisper.cpp build-info.h ggml.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o llama.o chat.o llama-model.o console.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_FULL ) $(OBJS )
789+ whispermain : otherarch/whispercpp/main.cpp otherarch/whispercpp/whisper.cpp kcpp_backend.o build-info.h ggml.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o llama.o chat.o llama-model.o console.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_FULL ) $(OBJS )
802790 $(CXX ) $(CXXFLAGS ) $(filter-out % .h,$^ ) -o $@ $(LDFLAGS )
803791ttsmain : tools/tts/tts.cpp common/arg.cpp common/preset.cpp $(COMMON_DOWNLOAD_SRCS ) build-info.h ggml.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o llama.o chat.o llama-model.o console.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_FULL ) $(OBJS )
804792 $(CXX ) $(CXXFLAGS ) $(filter-out % .h,$^ ) -o $@ $(LDFLAGS )
@@ -926,44 +914,44 @@ koboldcpp_macos_failsafe: ggml.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o
926914 $(DEFAULT_BUILD )
927915
928916ifdef FAILSAFE_BUILD
929- koboldcpp_failsafe : ggml_v4_failsafe.o ggml-cpu_v4_failsafe.o ggml-ops-failsafe.o ggml-vec-failsafe.o ggml-binops.o ggml-unops.o ggml_v3_failsafe.o ggml_v2_failsafe.o ggml_v1_failsafe.o expose.o gpttype_adapter_failsafe .o kcpp_backend_failsafe.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_default.o tts_default.o music_default.o embeddings_default.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_FAILSAFE ) $(OBJS )
917+ koboldcpp_failsafe : ggml_v4_failsafe.o ggml-cpu_v4_failsafe.o ggml-ops-failsafe.o ggml-vec-failsafe.o ggml-binops.o ggml-unops.o ggml_v3_failsafe.o ggml_v2_failsafe.o ggml_v1_failsafe.o expose.o gpttype_adapter .o kcpp_backend_failsafe.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_default.o tts_default.o music_default.o embeddings_default.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_FAILSAFE ) $(OBJS )
930918 $(FAILSAFE_BUILD )
931919else
932920koboldcpp_failsafe :
933921 $(DONOTHING )
934922endif
935923
936924ifdef NOAVX2_BUILD
937- koboldcpp_noavx2 : ggml_v4_noavx2.o ggml-cpu_v4_noavx2.o ggml-ops-noavx2.o ggml-vec-noavx2.o ggml-binops.o ggml-unops.o ggml_v3_noavx2.o ggml_v2_noavx2.o ggml_v1_failsafe.o expose.o gpttype_adapter_failsafe .o kcpp_backend.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_default.o tts_default.o music_default.o embeddings_default.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_SIMPLE ) $(OBJS )
925+ koboldcpp_noavx2 : ggml_v4_noavx2.o ggml-cpu_v4_noavx2.o ggml-ops-noavx2.o ggml-vec-noavx2.o ggml-binops.o ggml-unops.o ggml_v3_noavx2.o ggml_v2_noavx2.o ggml_v1_failsafe.o expose.o gpttype_adapter .o kcpp_backend.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_default.o tts_default.o music_default.o embeddings_default.o clip_default.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_default.o ggml-repack.o $(OBJS_SIMPLE ) $(OBJS )
938926 $(NOAVX2_BUILD )
939927else
940928koboldcpp_noavx2 :
941929 $(DONOTHING )
942930endif
943931
944932ifdef CUBLAS_BUILD
945- koboldcpp_cublas : ggml_v4_cublas.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o ggml_v3_cublas.o ggml_v2_cublas.o ggml_v1.o expose.o gpttype_adapter_cublas .o kcpp_backend_cublas.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_cublas .o tts_default.o music_default.o embeddings_default.o clip_cublas.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_cublas.o ggml-repack.o $(CUBLAS_OBJS ) $(OBJS_FULL ) $(OBJS )
933+ koboldcpp_cublas : ggml_v4_cublas.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o ggml_v3_cublas.o ggml_v2_cublas.o ggml_v1.o expose.o gpttype_adapter .o kcpp_backend_cublas.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_default .o tts_default.o music_default.o embeddings_default.o clip_cublas.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_cublas.o ggml-repack.o $(CUBLAS_OBJS ) $(OBJS_FULL ) $(OBJS )
946934 $(CUBLAS_BUILD )
947935else
948936koboldcpp_cublas :
949937 $(DONOTHING )
950938endif
951939
952940ifdef HIPBLAS_BUILD
953- koboldcpp_hipblas : ggml_v4_cublas.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o ggml_v3_cublas.o ggml_v2_cublas.o ggml_v1.o expose.o gpttype_adapter_cublas .o kcpp_backend_cublas.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_cublas .o tts_default.o music_default.o embeddings_default.o clip_cublas.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_cublas.o ggml-repack.o $(HIP_OBJS ) $(OBJS_FULL ) $(OBJS )
941+ koboldcpp_hipblas : ggml_v4_cublas.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o ggml_v3_cublas.o ggml_v2_cublas.o ggml_v1.o expose.o gpttype_adapter .o kcpp_backend_cublas.o llama.o chat.o llama-model.o $(OBJS_SDTYPE ) whispercpp_default .o tts_default.o music_default.o embeddings_default.o clip_cublas.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_cublas.o ggml-repack.o $(HIP_OBJS ) $(OBJS_FULL ) $(OBJS )
954942 $(HIPBLAS_BUILD )
955943else
956944koboldcpp_hipblas :
957945 $(DONOTHING )
958946endif
959947
960948ifdef VULKAN_BUILD
961- koboldcpp_vulkan : ggml_v4_vulkan.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o ggml_v3.o ggml_v2.o ggml_v1.o expose.o gpttype_adapter_vulkan .o kcpp_backend_vulkan.o llama.o chat.o llama-model.o ggml-vulkan.o ggml-vulkan-shaders.o $(OBJS_SDTYPE ) whispercpp_vulkan .o tts_default.o music_default.o embeddings_default.o clip_vulkan.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_vulkan.o ggml-repack.o $(OBJS_FULL ) $(OBJS )
949+ koboldcpp_vulkan : ggml_v4_vulkan.o ggml-cpu.o ggml-ops.o ggml-vec.o ggml-binops.o ggml-unops.o ggml_v3.o ggml_v2.o ggml_v1.o expose.o gpttype_adapter .o kcpp_backend_vulkan.o llama.o chat.o llama-model.o ggml-vulkan.o ggml-vulkan-shaders.o $(OBJS_SDTYPE ) whispercpp_default .o tts_default.o music_default.o embeddings_default.o clip_vulkan.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_vulkan.o ggml-repack.o $(OBJS_FULL ) $(OBJS )
962950 $(VULKAN_BUILD )
963951ifdef NOAVX2_BUILD
964- koboldcpp_vulkan_noavx2 : ggml_v4_vulkan_noavx2.o ggml-cpu_v4_noavx2.o ggml-ops-noavx2.o ggml-vec-noavx2.o ggml-binops.o ggml-unops.o ggml_v3_noavx2.o ggml_v2_noavx2.o ggml_v1_failsafe.o expose.o gpttype_adapter_vulkan_noavx2 .o kcpp_backend_vulkan_noavx2.o llama.o chat.o llama-model.o ggml-vulkan-noext.o ggml-vulkan-shaders-noext.o $(OBJS_SDTYPE ) whispercpp_vulkan .o tts_default.o music_default.o embeddings_default.o clip_vulkan.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_vulkan.o ggml-repack.o $(OBJS_SIMPLE ) $(OBJS )
952+ koboldcpp_vulkan_noavx2 : ggml_v4_vulkan_noavx2.o ggml-cpu_v4_noavx2.o ggml-ops-noavx2.o ggml-vec-noavx2.o ggml-binops.o ggml-unops.o ggml_v3_noavx2.o ggml_v2_noavx2.o ggml_v1_failsafe.o expose.o gpttype_adapter .o kcpp_backend_vulkan_noavx2.o llama.o chat.o llama-model.o ggml-vulkan-noext.o ggml-vulkan-shaders-noext.o $(OBJS_SDTYPE ) whispercpp_default .o tts_default.o music_default.o embeddings_default.o clip_vulkan.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_vulkan.o ggml-repack.o $(OBJS_SIMPLE ) $(OBJS )
965953 $(VULKAN_BUILD )
966- koboldcpp_vulkan_failsafe : ggml_v4_vulkan_failsafe.o ggml-cpu_v4_failsafe.o ggml-ops-failsafe.o ggml-vec-failsafe.o ggml-binops.o ggml-unops.o ggml_v3_failsafe.o ggml_v2_failsafe.o ggml_v1_failsafe.o expose.o gpttype_adapter_vulkan_noavx2 .o kcpp_backend_vulkan_noavx2.o llama.o chat.o llama-model.o ggml-vulkan-noext.o ggml-vulkan-shaders-noext.o $(OBJS_SDTYPE ) whispercpp_vulkan .o tts_default.o music_default.o embeddings_default.o clip_vulkan.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_vulkan.o ggml-repack.o $(OBJS_SIMPLER ) $(OBJS )
954+ koboldcpp_vulkan_failsafe : ggml_v4_vulkan_failsafe.o ggml-cpu_v4_failsafe.o ggml-ops-failsafe.o ggml-vec-failsafe.o ggml-binops.o ggml-unops.o ggml_v3_failsafe.o ggml_v2_failsafe.o ggml_v1_failsafe.o expose.o gpttype_adapter .o kcpp_backend_vulkan_noavx2.o llama.o chat.o llama-model.o ggml-vulkan-noext.o ggml-vulkan-shaders-noext.o $(OBJS_SDTYPE ) whispercpp_default .o tts_default.o music_default.o embeddings_default.o clip_vulkan.o mtmd.o mtmd-helper.o mtmd-image.o ggml-backend.o ggml-backend-meta.o ggml-backend-reg_vulkan.o ggml-repack.o $(OBJS_SIMPLER ) $(OBJS )
967955 $(VULKAN_BUILD )
968956else
969957koboldcpp_vulkan_noavx2 :
0 commit comments