In de afgelopen maanden hebben we bij Cmotions onze kennis en expertise uitgebreid op het gebied van low-code en no-code, met name door agents te bouwen en te implementeren met behulp van Microsoft Copilot Studio. In dit artikel willen we zowel de sterke punten als de beperkingen van Microsoft Copilot Studio bespreken als een platform voor het verbeteren van de productiviteit door middel van automatisering. Terwijl de naadloze integratie met andere Microsoft-producten en AI-gestuurde tools enorm potentieel biedt voor het stroomlijnen van workflows, benadrukken bepaalde technische uitdagingen, zoals gegevensindexering en precisie in ophalen, gebieden die verbetering behoeven. Bovendien zal deze discussie alternatieve oplossingen onderzoeken die de capaciteiten van Copilot Studio kunnen aanvullen of zelfs overtreffen bij het aanpakken van deze uitdagingen. Door een gebalanceerde beoordeling hopen we waardevolle inzichten te bieden voor bedrijven die efficiënte en innovatieve tools zoeken om hun operaties te optimaliseren.

1.    Wat is Microsoft Copilot Studio?

Microsoft presenteert Copilot Studio als een geavanceerd platform dat is ontworpen om productiviteit te verhogen door de integratie van AI-gestuurde tools in diverse workflows. Door naadloze integratie met andere Microsoft-producten faciliteert Copilot Studio de ontwikkeling van geavanceerde agents die operaties kunnen stroomlijnen, efficiëntie verbeteren en innovatie binnen organisaties stimuleren.

We hebben besloten de mogelijkheden van Copilot Studio te benutten om use-cases te creëren die taken automatiseren zonder uitgebreide programmeerkennis. Een belangrijke taak die veel tijd kost voor de verkoopafdeling van Cmotions is het genereren van nieuwe verkoopvoorstellen voor onze klanten. Daarom hebben we de opdracht gekregen om een agent te ontwikkelen die in staat is om verkoopvoorstellen te genereren met minimale invoer.

2.    Waarom Copilot Studio gebruiken?

Copilot Studio biedt verschillende voordelen voor bedrijven die hun workflows willen stroomlijnen en de operationele efficiëntie willen verbeteren. Wat betreft praktische toepassing blinkt Copilot Studio uit in taken zoals:

• • • Het afhandelen van repetitieve taken om consistente en hoogwaardige resultaten te garanderen.
    • Het stroomlijnen van workflows door AI-gestuurde tools te integreren in bedrijfsprocessen.
    • Het faciliteren van low-code/no-code ontwikkeling voor op maat gemaakte automatiseringsoplossingen.
    • Naadloze integratie met Microsoft-tools

Hoewel Copilot Studio een zeer capabele tool blijft met het potentieel om opmerkelijke voordelen te bieden, is het niet zonder uitdagingen. Tijdens ons gebruik ervan zijn bepaalde technische beperkingen naar voren gekomen, die verdere ontwikkeling en verfijning vereisen. Deze tekortkomingen benadrukken gebieden waar Copilot Studio zijn capaciteiten zou kunnen verbeteren om beter te voldoen aan de verwachtingen van gebruikers. Het aanpakken van deze problemen zal cruciaal zijn om de effectiviteit en betrouwbaarheid ervan in diverse workflows te maximaliseren. Dit artikel behandelt technische problemen met Copilot Studio en schetst oplossingen om ze te overwinnen in jouw toepassingen.

3.    Ontwikkelingspad voor de Sales Proposal Agent

Terug naar onze toepassing, de agent voor verkoopvoorstellen. Om een waardevolle verkoopagent te creëren, moet deze aansluiten bij eerdere voorstellen van onze verkoopafdeling van Cmotions, zowel qua inhoud als stijl. We moeten historische gegevens gebruiken om de agent te trainen in het geven van nauwkeurige, contextbewuste antwoorden en op maat gemaakte klantvoorstellen. Training met voorbeelden is essentieel voor consistentie en effectieve communicatie in zakelijke contexten. Dit verbetert niet alleen de kwaliteit van de voorstellen, maar verhoogt ook de efficiëntie van het verkoopproces door de noodzaak van handmatige tussenkomst en toezicht te verminderen.

We hebben een tabel gemaakt met scenario’s en benaderingen op basis van historische klantvragen. Bijvoorbeeld, als een klant een vraag heeft over AI-implementatie, hebben we de scope, aanpak en vereisten vooraf gedefinieerd (zie tabel hieronder). We verwachtten dat Microsoft Copilot Studio het document zou indexeren en relevante informatie op basis van gebruikersaanwijzingen aan de agent zou verstrekken. Echter, we stuitten op technische moeilijkheden bij het indexeren van de tabelgegevens.

4.    Wat is data indexing?

Om relevante inhoud in onze agent te integreren, is een efficiënte methode nodig om snel informatie op te halen uit uitgebreide collecties documenten en teksten. Indexering is essentieel om dit te bereiken. Copilot Studio organiseert gegevens met behulp van tools zoals Microsoft Graph, Dataverse en semantische indexering om grote datasets gestructureerd en effectief doorzoekbaar te maken.

Microsoft Graph is een API-platform dat verbinding maakt met Microsoft 365-services, waardoor integratie en interactie van gegevens tussen apps zoals Outlook, SharePoint, Teams en meer mogelijk wordt. Dataverse daarentegen is een cloudgebaseerde gegevensopslagdienst waarmee gebruikers gestructureerde en ongestructureerde gegevens veilig kunnen opslaan en beheren, ter ondersteuning van applicatieontwikkeling en datagestuurde operaties door naadloze integratie met Microsoft-tools en -diensten.

Deze tools transformeren inhoud in gevectoriseerde representaties van attributen, wat geavanceerd zoeken en reactie-mogelijkheden mogelijk maakt. Door verbinding te maken met opslaglocaties zoals SharePoint en gebruik te maken van GraphSearch, kan Copilot Studio datasets openen en doorzoeken. GraphSearch is een functie die verbinding maakt met opslaglocaties, zoals SharePoint, met behulp van Microsoft Graph om datasets te openen en doorzoeken.

Uitdagingen met precisie bij indexering zijn geconstateerd. Tests identificeerden mismatches in scenario’s en reikwijdtes, wat suggereert dat verbeteringen in gegevensinvoermethoden en de nauwkeurigheid van indexering nodig zijn om betrouwbare zoekresultaten te garanderen. Als u meer wilt weten over documentindexering, bekijk dan de volgende source.

We hebben technisch onderzoek uitgevoerd om de beste oplossing voor onze agent te vinden. We hebben verschillende bestandsformaten en invoermethoden getest met de indexering van Microsoft, maar ontdekten dat het moeite heeft om bestanden nauwkeurig te indexeren en correct te reageren op klantvragen.

5.    Aanpakken

We hebben aanvankelijk ons CSV-bestand met de scenariotabel opgeslagen in SharePoint, zodat de agent toegang kon krijgen tot gegevens via een SharePoint-URL en GraphSearch. Ondanks de toegang toonden tests aan dat de semantische index van de agent onnauwkeurig was. Het verwarde scenario’s en koppelde ze aan onjuiste scopes, vereisten en aanpakken. Bijvoorbeeld: de agent koppelde het gebruikersverzoek aan scenario 2 en stelde aanpak B voor, maar voegde ten onrechte vereisten S en scope Z toe, die bij scenario 3 horen. Daarom hebben we alternatieve methoden onderzocht.

Zoals het leek, ging de tabelstructuur verloren toen de CSV-gegevens werden verwerkt en geïndexeerd met behulp van GraphSearch op het bestand in SharePoint, waardoor de interne gegevens verkeerd werden geïnterpreteerd. We kozen ervoor om een alternatief bestandstype te testen om de indexering te verbeteren. Onze secundaire aanpak omvatte het converteren van het CSV-bestand naar een Docx-formaat, in de verwachting dat de agent doorlopende tekst effectiever zou verwerken dan tabulaire bestanden. Helaas leverde deze methode niet de gewenste nauwkeurigheid in de resultaten op.

Vanwege eerdere mislukkingen besloten we de gegevens lokaal te leveren. Deze methode bouwt een andere semantische index op door documenten te doorzoeken in de Dataverse-omgeving en gebruik te maken van een retrieval-augmented generative techniek. Retrieval-augmented generative techniek houdt in dat vooraf geïndexeerde documenten worden gebruikt om generatieve modellen aan te vullen, waardoor de relevantie en nauwkeurigheid van reacties worden verbeterd; in dit geval werd het toegepast om lokaal opgeslagen documenten in de Dataverse-omgeving te doorzoeken en contextueel rijke outputs te bieden.

Wanneer gebruikersinvoer een semantische gelijkenis van 80% of meer had met het documentscenario, waren de resultaten nauwkeurig. Dissimilaire invoer leidde echter tot onjuiste outputs. Hierdoor waren geen van deze aanpakken geschikt voor dit project. Om de agent aan te passen aan aangepaste gegevens, is het essentieel dat deze relevante interne gegevens kan ophalen. Verschillende oplossingen binnen Copilot Studio resulteerden niet in nauwkeurige, hoogwaardige reacties van onze agent. Daarom moesten we op zoek naar andere opties.

6.    Optimale aanpak: Azure AI Foundry voor indexering

Azure AI Foundry werd geselecteerd voor de gegevensindexering van de agent vanwege de geavanceerde semantische zoekmogelijkheden en robuuste, schaalbare infrastructuur. In tegenstelling tot eerdere methoden verwerkte Azure AI Foundry naadloos gebruikersinvoer in verschillende scenario’s, wat de nauwkeurigheid en prestaties van de agent aanzienlijk verbeterde. Door deze oplossing te integreren naast Microsoft Copilot Studio en Power Automate, bereikte het project een opmerkelijke verbetering in de kwaliteit en efficiëntie van reacties, waardoor zelfs complexe scenario’s met precisie werden aangepakt.

Hoewel Microsoft Copilot Studio uitblinkt in automatiseringstaken en gestroomlijnde workflows biedt, werd het duidelijk dat alleen op deze tool vertrouwen niet volledig aan de behoeften van het project zou voldoen. In plaats daarvan bleek de combinatie van Azure AI Foundry, Microsoft Copilot Studio en Power Automate de optimale oplossing te zijn. Deze geïntegreerde aanpak zorgde voor nauwkeurige gegevensindexering, robuuste semantische zoekmogelijkheden en verbeterde nauwkeurigheid bij het aanpakken van genuanceerde scenario’s, wat uiteindelijk de algehele prestaties en kwaliteit van het project verbeterde. Zoals ons voorbeeld laat zien, is een goede evaluatie en het zoeken binnen de Azure-stack naar de best presterende manier om een agent op te zetten essentieel voor kwaliteitsresultaten. Een groot voordeel van Microsoft Copilot Studio is dat het ons in staat stelt om snel werkende prototypes te bouwen; voor prestaties op bedrijfsniveau is het echter vaak nodig om geavanceerdere tools aan de oplossing toe te voegen.