Bengkel Foundry Local - Bina Aplikasi AI Pada Peranti

Satu bengkel amali untuk menjalankan model bahasa pada mesin anda sendiri dan membina aplikasi pintar dengan Foundry Local dan Microsoft Agent Framework.

Apakah Foundry Local? Foundry Local ialah runtime ringan yang membolehkan anda memuat turun, mengurus, dan menghidangkan model bahasa sepenuhnya pada perkakasan anda. Ia mendedahkan API serasi OpenAI supaya mana-mana alat atau SDK yang menggunakan OpenAI boleh disambungkan - tiada akaun awan diperlukan.

🌐 Sokongan Pelbagai Bahasa

Disokong melalui Tindakan GitHub (Automatik & Sentiasa Terkini)

Lebih suka Klon Secara Tempatan?

Repositori ini merangkumi lebih 50 terjemahan bahasa yang secara signifikan meningkatkan saiz muat turun. Untuk klon tanpa terjemahan, gunakan sparse checkout:

Bash / macOS / Linux:
git clone --filter=blob:none --sparse https://github.com/microsoft-foundry/Foundry-Local-Lab.git
cd Foundry-Local-Lab
git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'
CMD (Windows):
git clone --filter=blob:none --sparse https://github.com/microsoft-foundry/Foundry-Local-Lab.git
cd Foundry-Local-Lab
git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"
Ini memberikan anda segala yang diperlukan untuk menyelesaikan kursus dengan muat turun yang lebih pantas.

Objektif Pembelajaran

Menjelang akhir bengkel ini anda akan dapat:

#	Objektif
1	Pasang Foundry Local dan uruskan model menggunakan CLI
2	Kuasai API Foundry Local SDK untuk pengurusan model secara programatik
3	Sambungkan ke pelayan inferens tempatan menggunakan SDK Python, JavaScript, dan C#
4	Bina saluran Penghasilan Ditambah Pencarian (RAG) yang kedudukan jawapan berdasarkan data anda sendiri
5	Cipta ejen AI dengan arahan berterusan dan persona
6	Orkestrasi aliran kerja multi-ejen dengan gelung maklum balas
7	Terokai aplikasi capstone produksi - Zava Creative Writer
8	Bina kerangka penilaian dengan set data emas dan penilaian LLM-sebagai-hakim
9	Transkripsi audio dengan Whisper - pertuturan-ke-teks pada peranti menggunakan Foundry Local SDK
10	Kompilasi dan jalankan model khusus atau Hugging Face dengan ONNX Runtime GenAI dan Foundry Local
11	Benarkan model tempatan memanggil fungsi luaran dengan corak panggilan alat
12	Bina UI berasaskan pelayar untuk Zava Creative Writer dengan penstriman masa nyata

Prasyarat

Keperluan	Perincian
Perkakasan	Minimum 8 GB RAM (16 GB disyorkan); CPU AVX2-mampu atau GPU yang disokong
Sistem Pengendalian	Windows 10/11 (x64/ARM), Windows Server 2025, atau macOS 13+
Foundry Local CLI	Pasang melalui `winget install Microsoft.FoundryLocal` (Windows) atau `brew tap microsoft/foundrylocal && brew install foundrylocal` (macOS). Lihat panduan mula untuk butiran.
Runtime Bahasa	Python 3.9+ dan/atau .NET 9.0+ dan/atau Node.js 18+
Git	Untuk mengklon repositori ini

Memulakan

# 1. Klon repositori
git clone https://github.com/microsoft-foundry/foundry-local-lab.git
cd foundry-local-lab

# 2. Sahkan Foundry Local telah dipasang
foundry model list              # Senaraikan model yang ada
foundry model run phi-3.5-mini  # Mulakan sembang interaktif

# 3. Pilih laluan bahasa anda (rujuk makmal Bahagian 2 untuk tetapan penuh)

Bahasa	Mula Cepat
Python	`cd python && pip install -r requirements.txt && python foundry-local.py`
C#	`cd csharp && dotnet run`
JavaScript	`cd javascript && npm install && node foundry-local.mjs`

Bahagian Bengkel

Bahagian 1: Memulakan dengan Foundry Local

Panduan makmal: labs/part1-getting-started.md

Apakah Foundry Local dan bagaimana ia berfungsi
Memasang CLI pada Windows dan macOS
Meneroka model - senarai, muat turun, jalankan
Memahami alias model dan port dinamik

Bahagian 2: Penyelaman Mendalam Foundry Local SDK

Panduan makmal: labs/part2-foundry-local-sdk.md

Mengapa menggunakan SDK berbanding CLI untuk pembangunan aplikasi
Rujukan penuh API SDK untuk Python, JavaScript, dan C#
Pengurusan perkhidmatan, melayari katalog, kitaran hidup model (muat turun, muat, nyahmuat)
Corak mula cepat: bootstrap konstruktor Python, init() JavaScript, CreateAsync() C#
Metadata FoundryModelInfo, alias, dan pemilihan model optima perkakasan

Bahagian 3: SDK dan API

Panduan makmal: labs/part3-sdk-and-apis.md

Menyambung ke Foundry Local dari Python, JavaScript, dan C#
Menggunakan Foundry Local SDK untuk mengurus perkhidmatan secara programatik
Penstriman penyelesaian sembang melalui API serasi OpenAI
Rujukan kaedah SDK untuk setiap bahasa

Contoh kod:

Bahasa	Fail	Penerangan
Python	`python/foundry-local.py`	Sembang penstriman asas
C#	`csharp/BasicChat.cs`	Sembang penstriman dengan .NET
JavaScript	`javascript/foundry-local.mjs`	Sembang penstriman dengan Node.js

Bahagian 4: Penghasilan Ditambah Pencarian (RAG)

Panduan makmal: labs/part4-rag-fundamentals.md

Apakah RAG dan mengapa ia penting
Membina pangkalan pengetahuan dalam ingatan
Pencarian tumpang tindih kata kunci dengan pemarkahan
Menyusun arahan sistem berasaskan data
Menjalankan saluran RAG penuh pada peranti

Contoh kod:

Bahasa	Fail
Python	`python/foundry-local-rag.py`
C#	`csharp/RagPipeline.cs`
JavaScript	`javascript/foundry-local-rag.mjs`

Bahagian 5: Membina Ejen AI

Panduan makmal: labs/part5-single-agents.md

Apakah ejen AI (berbanding panggilan LLM mentah)
Corak ChatAgent dan Microsoft Agent Framework
Arahan sistem, persona, dan perbualan berbilang giliran
Output berstruktur (JSON) daripada ejen

Contoh kod:

Bahasa	Fail	Penerangan
Python	`python/foundry-local-with-agf.py`	Ejen tunggal dengan Agent Framework
C#	`csharp/SingleAgent.cs`	Ejen tunggal (corak ChatAgent)
JavaScript	`javascript/foundry-local-with-agent.mjs`	Ejen tunggal (corak ChatAgent)

Bahagian 6: Aliran Kerja Multi-Ejen

Panduan makmal: labs/part6-multi-agent-workflows.md

Saluran multi-ejen: Penyelidik → Penulis → Penyunting
Orkestrasi berurutan dan gelung maklum balas
Konfigurasi berkongsi dan serah tangan berstruktur
Reka bentuk aliran kerja multi-ejen sendiri

Contoh kod:

Bahasa	Fail	Penerangan
Python	`python/foundry-local-multi-agent.py`	Saluran tiga ejen
C#	`csharp/MultiAgent.cs`	Saluran tiga ejen
JavaScript	`javascript/foundry-local-multi-agent.mjs`	Saluran tiga ejen

Bahagian 7: Zava Creative Writer - Aplikasi Capstone

Panduan makmal: labs/part7-zava-creative-writer.md

Aplikasi multi-ejen gaya produksi dengan 4 ejen khusus
Saluran berurutan dengan gelung maklum balas dipacu penilai
Output penstriman, carian katalog produk, serah tangan JSON berstruktur
Pelaksanaan penuh dalam Python (FastAPI), JavaScript (Node.js CLI), dan C# (konsol .NET)

Contoh kod:

Bahasa	Direktori	Penerangan
Python	`zava-creative-writer-local/src/api/`	Perkhidmatan web FastAPI dengan pengorkestrasi
JavaScript	`zava-creative-writer-local/src/javascript/`	Aplikasi CLI Node.js
C#	`zava-creative-writer-local/src/csharp/`	Aplikasi konsol .NET 9

Bahagian 8: Pembangunan Berpandukan Penilaian

Panduan makmal: labs/part8-evaluation-led-development.md

Bina kerangka penilaian sistematik untuk ejen AI menggunakan set data emas
Semakan berasaskan peraturan (panjang, liputan kata kunci, istilah dilarang) + penilaian LLM-sebagai-hakim
Perbandingan sebaris varian arahan dengan skor agregat
Memperluas corak ejen Penyunting Zava dari Bahagian 7 ke suite ujian luar talian
Laluan Python, JavaScript, dan C#

Contoh kod:

Bahasa	Fail	Penerangan
Python	`python/foundry-local-eval.py`	Kerangka penilaian
C#	`csharp/AgentEvaluation.cs`	Kerangka penilaian
JavaScript	`javascript/foundry-local-eval.mjs`	Kerangka penilaian

Bahagian 9: Transkripsi Suara dengan Whisper

Panduan makmal: labs/part9-whisper-voice-transcription.md

Transkripsi ucapan ke teks menggunakan OpenAI Whisper yang dijalankan secara setempat
Pemprosesan audio berpandukan privasi - audio tidak pernah meninggalkan peranti anda
Jejak Python, JavaScript, dan C# dengan client.audio.transcriptions.create() (Python/JS) dan AudioClient.TranscribeAudioAsync() (C#)
Merangkumi fail audio contoh bertema Zava untuk latihan praktikal

Contoh kod:

Bahasa	Fail	Penerangan
Python	`python/foundry-local-whisper.py`	Transkripsi suara Whisper
C#	`csharp/WhisperTranscription.cs`	Transkripsi suara Whisper
JavaScript	`javascript/foundry-local-whisper.mjs`	Transkripsi suara Whisper

Nota: Makmal ini menggunakan Foundry Local SDK untuk memuat turun dan memuatkan model Whisper secara program, kemudian menghantar audio ke titik akhir OpenAI yang serasi secara setempat untuk transkripsi. Model Whisper (whisper) disenaraikan dalam katalog Foundry Local dan dijalankan sepenuhnya pada peranti - tiada kunci API awan atau akses rangkaian diperlukan.

Bahagian 10: Menggunakan Model Tersuai atau Hugging Face

Panduan makmal: labs/part10-custom-models.md

Menyusun model Hugging Face ke format ONNX yang dioptimumkan menggunakan pembina model ONNX Runtime GenAI
Penyusunan khusus perkakasan (CPU, GPU NVIDIA, DirectML, WebGPU) dan kuantisasi (int4, fp16, bf16)
Membuat fail konfigurasi templat-bualan untuk Foundry Local
Menambah model yang disusun ke cache Foundry Local
Menjalankan model tersuai melalui CLI, REST API, dan OpenAI SDK
Contoh rujukan: penyusunan Qwen/Qwen3-0.6B dari awal hingga akhir

Bahagian 11: Panggilan Alat dengan Model Setempat

Panduan makmal: labs/part11-tool-calling.md

Membolehkan model setempat memanggil fungsi luaran (panggilan alat/fungsi)
Mendefinisikan skema alat menggunakan format panggilan fungsi OpenAI
Mengendalikan aliran perbualan panggilan alat berbilang giliran
Melaksanakan panggilan alat secara setempat dan mengembalikan keputusan kepada model
Memilih model yang tepat untuk senario panggilan alat (Qwen 2.5, Phi-4-mini)
Menggunakan ChatClient natif SDK untuk panggilan alat (JavaScript)

Contoh kod:

Bahasa	Fail	Penerangan
Python	`python/foundry-local-tool-calling.py`	Panggilan alat dengan alat cuaca/populasi
C#	`csharp/ToolCalling.cs`	Panggilan alat dengan .NET
JavaScript	`javascript/foundry-local-tool-calling.mjs`	Panggilan alat dengan ChatClient

Bahagian 12: Membangunkan UI Web untuk Penulis Kreatif Zava

Panduan makmal: labs/part12-zava-ui.md

Menambah antaramuka hadapan berasaskan penyemak imbas untuk Penulis Kreatif Zava
Menyajikan UI dikongsi dari Python (FastAPI), JavaScript (Node.js HTTP), dan C# (ASP.NET Core)
Menggunakan streaming NDJSON di penyemak imbas dengan Fetch API dan ReadableStream
Lencana status agen langsung dan penstriman teks artikel masa nyata

Kod (UI dikongsi):

Fail	Penerangan
`zava-creative-writer-local/ui/index.html`	Susun atur halaman
`zava-creative-writer-local/ui/style.css`	Gaya
`zava-creative-writer-local/ui/app.js`	Pembaca aliran dan logik kemaskini DOM

Penambahan backend:

Bahasa	Fail	Penerangan
Python	`zava-creative-writer-local/src/api/main.py`	Dikemas kini untuk menyajikan UI statik
JavaScript	`zava-creative-writer-local/src/javascript/server.mjs`	Pelayan HTTP baru membalut pengaturcara
C#	`zava-creative-writer-local/src/csharp-web/Program.cs`	Projek API minimal ASP.NET Core baru

Bahagian 13: Bengkel Lengkap

Panduan makmal: labs/part13-workshop-complete.md

Ringkasan segala yang telah anda bina merentasi semua 12 bahagian
Idea lanjut untuk memperluas aplikasi anda
Pautan ke sumber dan dokumentasi

Struktur Projek

├── python/                        # Python examples
│   ├── foundry-local.py           # Basic chat
│   ├── foundry-local-with-agf.py  # Single agent (AGF)
│   ├── foundry-local-rag.py       # RAG pipeline
│   ├── foundry-local-multi-agent.py # Multi-agent workflow
│   ├── foundry-local-eval.py      # Agent evaluation framework
│   ├── foundry-local-whisper.py   # Whisper voice transcription
│   ├── foundry-local-tool-calling.py # Tool/function calling
│   └── requirements.txt
├── csharp/                        # C# examples
│   ├── Program.cs                 # CLI router (chat|rag|agent|multi|eval|whisper|toolcall)
│   ├── BasicChat.cs               # Basic chat
│   ├── RagPipeline.cs             # RAG pipeline
│   ├── SingleAgent.cs             # Single agent (ChatAgent pattern)
│   ├── MultiAgent.cs              # Multi-agent workflow
│   ├── AgentEvaluation.cs         # Agent evaluation framework
│   ├── WhisperTranscription.cs    # Whisper voice transcription
│   ├── ToolCalling.cs             # Tool/function calling
│   └── csharp.csproj
├── javascript/                    # JavaScript examples
│   ├── foundry-local.mjs          # Basic chat
│   ├── foundry-local-with-agent.mjs # Single agent
│   ├── foundry-local-rag.mjs     # RAG pipeline
│   ├── foundry-local-multi-agent.mjs # Multi-agent workflow
│   ├── foundry-local-eval.mjs     # Agent evaluation framework
│   ├── foundry-local-whisper.mjs  # Whisper voice transcription
│   ├── foundry-local-tool-calling.mjs # Tool/function calling
│   └── package.json
├── zava-creative-writer-local/ # Production multi-agent app
│   ├── ui/                        # Shared browser UI (Part 12)
│   │   ├── index.html             # Page layout
│   │   ├── style.css              # Styling
│   │   └── app.js                 # Stream reader and DOM updates
│   └── src/
│       ├── api/                   # Python FastAPI service
│       │   ├── main.py            # FastAPI server (serves UI)
│       │   ├── orchestrator.py    # Pipeline coordinator
│       │   ├── foundry_config.py  # Shared Foundry Local config
│       │   ├── requirements.txt
│       │   └── agents/            # Researcher, Product, Writer, Editor
│       ├── javascript/            # Node.js CLI and web server
│       │   ├── main.mjs           # CLI entry point
│       │   ├── server.mjs         # HTTP server with UI (Part 12)
│       │   ├── foundryConfig.mjs
│       │   └── package.json
│       ├── csharp/                # .NET 9 console app
│       │   ├── Program.cs
│       │   └── ZavaCreativeWriter.csproj
│       └── csharp-web/            # .NET 9 web API (Part 12)
│           ├── Program.cs
│           └── ZavaCreativeWriterWeb.csproj
├── labs/                          # Step-by-step lab guides
│   ├── part1-getting-started.md
│   ├── part2-foundry-local-sdk.md
│   ├── part3-sdk-and-apis.md
│   ├── part4-rag-fundamentals.md
│   ├── part5-single-agents.md
│   ├── part6-multi-agent-workflows.md
│   ├── part7-zava-creative-writer.md
│   ├── part8-evaluation-led-development.md
│   ├── part9-whisper-voice-transcription.md
│   ├── part10-custom-models.md
│   ├── part11-tool-calling.md
│   ├── part12-zava-ui.md
│   └── part13-workshop-complete.md
├── samples/
│   └── audio/                     # Zava-themed WAV files for Part 9
│       ├── generate_samples.py    # TTS script (pyttsx3) to create WAVs
│       └── README.md              # Sample descriptions
├── AGENTS.md                      # Coding agent instructions
├── package.json                   # Root devDependency (mermaid-cli)
├── LICENSE                        # MIT licence
└── README.md

Sumber

Sumber	Pautan
Laman web Foundry Local	foundrylocal.ai
Katalog model	foundrylocal.ai/models
Foundry Local GitHub	github.com/microsoft/foundry-local
Panduan permulaan	Microsoft Learn - Foundry Local
Rujukan SDK Foundry Local	Microsoft Learn - SDK Reference
Rangka Kerja Ejen Microsoft	Microsoft Learn - Agent Framework
OpenAI Whisper	github.com/openai/whisper
ONNX Runtime GenAI	github.com/microsoft/onnxruntime-genai

Lesen

Bahan bengkel ini disediakan untuk tujuan pendidikan.

Selamat membina! 🚀

Penafian:
Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI Co-op Translator. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidakakuratan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan profesional oleh manusia adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.

Navigation Menu

Uh oh!

Bengkel Foundry Local - Bina Aplikasi AI Pada Peranti

🌐 Sokongan Pelbagai Bahasa

Disokong melalui Tindakan GitHub (Automatik & Sentiasa Terkini)

Objektif Pembelajaran

Prasyarat

Memulakan

Bahagian Bengkel

Bahagian 1: Memulakan dengan Foundry Local

Bahagian 2: Penyelaman Mendalam Foundry Local SDK

Bahagian 3: SDK dan API

Bahagian 4: Penghasilan Ditambah Pencarian (RAG)

Bahagian 5: Membina Ejen AI

Bahagian 6: Aliran Kerja Multi-Ejen

Bahagian 7: Zava Creative Writer - Aplikasi Capstone

Bahagian 8: Pembangunan Berpandukan Penilaian

Bahagian 9: Transkripsi Suara dengan Whisper

Bahagian 10: Menggunakan Model Tersuai atau Hugging Face

Bahagian 11: Panggilan Alat dengan Model Setempat

Bahagian 12: Membangunkan UI Web untuk Penulis Kreatif Zava

Bahagian 13: Bengkel Lengkap

Struktur Projek

Sumber

Lesen

Uh oh!

FilesExpand file tree

README.md

Latest commit

History

README.md

File metadata and controls

Bengkel Foundry Local - Bina Aplikasi AI Pada Peranti

🌐 Sokongan Pelbagai Bahasa

Disokong melalui Tindakan GitHub (Automatik & Sentiasa Terkini)

Objektif Pembelajaran

Prasyarat

Memulakan

Bahagian Bengkel

Bahagian 1: Memulakan dengan Foundry Local

Bahagian 2: Penyelaman Mendalam Foundry Local SDK

Bahagian 3: SDK dan API

Bahagian 4: Penghasilan Ditambah Pencarian (RAG)

Bahagian 5: Membina Ejen AI

Bahagian 6: Aliran Kerja Multi-Ejen

Bahagian 7: Zava Creative Writer - Aplikasi Capstone

Bahagian 8: Pembangunan Berpandukan Penilaian

Bahagian 9: Transkripsi Suara dengan Whisper

Bahagian 10: Menggunakan Model Tersuai atau Hugging Face

Bahagian 11: Panggilan Alat dengan Model Setempat

Bahagian 12: Membangunkan UI Web untuk Penulis Kreatif Zava

Bahagian 13: Bengkel Lengkap

Struktur Projek

Sumber

Lesen