Optimizing IT Infrastructure for AI-Driven Workflows

Welcome to the Hitchhiker’s Guide to IT, brought to you by Device42. On this show, we explore the ins and outs of modern IT management and the infinite expanse of its universe.

So buckle up and get ready to explore the ever changing landscape of modern IT management.

Hello, and welcome to the Hitchhiker’s Guide to IT, where we explore the latest trends shaping IT infrastructure and operations. I’m your host, Michelle Dawn Mooney. And today, we are diving into how AI is transforming IT environments from data centers to customer interactions. As AI driven workloads grow, IT leaders must rethink storage, workload management, and security to ensure scalability, compliance, and efficiency.

We’ll also explore how AI powered customer interactions impact infrastructures readiness and data privacy, and what IT teams can do to secure real time AI interactions while maintaining operational control. Joining us for this conversation is Yuval Perlov, CTO of K2Vue, who will share his insights on preparing IT infrastructure for AI driven workflows, optimizing hybrid environments, and ensuring data protection in AI powered operations. Yuval, thank you so much for joining me. Appreciate you being here today.

Thank you, Michelle. Happy to be here.

If you don’t mind, before we kind of dive into the questions, can I ask you to give us a brief bio if you can?

Yes. Sure. So, I started writing code for computers. I think it was the fourth grade. So ever since I’ve been writing code, and, at some point, people started paying me for to do it. So it was was really high really nice change.

I’ve worked in the telecom segment for a while for a company called the TTi, then a short while in eBay, a few other startups, and now with the K2VU.

Wow. Yuval, in the fourth grade writing code, pretty impressive to start. So clearly, we have the right person here for this conversation. So let’s get into the conversation at hand. We’re talking about optimizing IT infrastructure for AI driven workflows. So how is AI changing IT infrastructure, particularly in data centers, real time processing, and then workload balancing?

Yeah. So I I think AI, is a challenging, prospect for a lot of, IT organizations, especially when you talk about data and data readiness for AI, and transitioning to the cloud versus on premise.

So first, if you’re a cloud company, then transitioning to AI is a bit easier because you’ve already, you’re already consuming technologies that, can hyperscale.

Companies that are not, find that maybe now is a good time to transition or at least to go with a hybrid approach.

That brings a lot of privacy and security concerns, of course, especially when it comes to AI.

And the next level after that, after you find your infrastructure that can carry the AI workloads is how do I get data that, works for AI.

And getting your data landscape escape in order for AI is a huge task, if it caught you unprepared.

So, definitely interesting times for a lot of, IT managers.

Absolutely. And there are quite a few variables there as well. So what adjustments should IT leaders make to storage, compute resources, and hybrid cloud environments in order to support AI driven operations?

Right. So I think it it it’s a lot of dimensions, and they all, they all affect each other.

So if your privacy dictates that you cannot use the cloud, then your whole approach should be how do I get these brand new technologies on premise? And that comes with huge challenges of obtaining machines with high end GPUs, of getting, the right models to work for you, how to plan and and scale your operation in that regard.

If you’re transitioning to the cloud, that comes with a lot of, privacy concerns.

Can you send, and ship data from your databases to the cloud?

Is that, how do you deal with PIIs?

And that’s, of course, it’s the easiest path for those organizations that can go to the cloud that are not restricted by compliance or or security to that extent.

And then but once you go to the cloud, the costs become, something you have to manage very, very closely.

So all that together put puts IT organizations in a in a situation where they have to decide on their path forward. They cannot stay on the fence any longer. They have to, commit to to one way or the other. Cloud versus on premise, for instance, is a big, pivoting decision.

Right. And you mentioned cost. And, of course, you know, we’re talking about business here, so the bottom line is crucial. So I wanna talk about scaling infrastructure for AI workflows.

What are the biggest challenges in preparing IT operations for AI driven workflows?

Yeah. So I think the first challenge, funnily enough, doesn’t have to do with the infrastructure. It has to do with why you’re using AI in the first place.

So, if your workloads have a significant ROI return on on your investment, if if there is a path where it’s clear how why you’re doing, what you’re doing with AI, then the other side of the equation, scaling up the infrastructure kind of makes sense, and you can explain it.

And if you’re not going with a strong use case, that impacts your business and bottom line, and you’re experimenting, and you went from experiment, an experiment that looked really nice to a working prototype, to something you put in production and kind of stumble, to the next step every time, you might find yourself with a prohibitive cost because you didn’t start up start out with a with a strong use case to begin with. So I think that’s the first thing, is to have a very clear goal and clear return on your AI projects.

And and the second is, making sure that you’re using the right technology, the right LLMs, the right hardware, and and the right flexibility, I would say.

There there’s several approaches you can take. You can use an, for instance, an LLM service, use it as a service.

And then the cost is is a bit higher, but you get a lot of flexibility.

You can get machines, and provision them on provision provision them on the cloud, which makes it, maybe a bit more efficient, but you’re committing to a lot of workload.

Or you can buy machines and instead of rent them buying them and provision them on premise.

Those are expensive. But if you’re going with a very strong use case, you might be, able to expand them away, and then that’s maybe the more most efficient and most most secure way to get, AI in your organization.

But the the upfront cost, of course, is very high.

Yeah.

And I guess the one thing that we can all agree on is that there’s always going to be a lot of change here. Right? Because you’re seeing the updates and the upgrades. So I wanna look into that a little bit. So how can IT leaders ensure that their infrastructure remains scalable, of course efficient, and then cost effective as AI adoption grows.

Yeah. I think you’ve hit on the most, on the biggest advantage of going cloud or service or or service oriented consumption model Because then all the, challenges of, upgrading the technology, shifting away from one technology to the next, that all becomes part of, of of the problem.

Google, Amazon, Microsoft are solving for you or OpenAI or, or Entropica, if if you’re using it directly as a service from them. So that becomes, a problem that they solve, and you just need to make sure you’re using the best technology for your, for your, for your current problem. And as they evolve, you can evolve with them. If you’re provisioning, hardware on premise, your upfront cost might be high.

Maybe it’s, cheaper to run it on a day to day. And then down the line, you’re going to have to upgrade all that, technology. And the way things are moving today, the it’s moving so fast. You might find yourself, in a couple of years having to replace your entire, stack. So that’s a risk.

And, I I would say the the prudent strategy, if you can get away with it, with your compliance and the and the strategic needs is to go with the cloud. And and and, you can offset some of those risks with a on premise, kind of a hybrid approach where you’re doing some of the things on premise, the most secure things that need to happen on premise, and then you offload, the rest of your workloads to the, cloud providers.

And that’s, maybe the most prudent approach.

And this is a a way to mitigate some of that risk without taking on the full, full infrastructure on your end.

When you talk about risks, one of the biggest that comes to mind for a lot of people is security. As AI adoption expands, what are the key data privacy challenges that IT leaders are facing right now?

Right. So if you look at a lot of use cases, and I’m not talking about the use case where an employee wants to ask GPT a question, and get an answer. I’m talking about use cases that involve the core enterprise data, such as customer interaction, infrastructure planning.

All that requires deep, knowledge of of, enterprise data accessible by the, by by the AI. Now that’s a huge risk. Right? And and you have to give the AI the right amount of data. Right? If you give too little, you’re not going to get great answers.

The the example we always start with is you have a customer interaction, customer is complaining about something. It’s a it could be a telecom company and, the Internet doesn’t work. It can be a a commerce site and the the invoice is wrong.

They have a complaint, and the only way to address that complaint is by accessing enterprise data and making that available to an LN. Right? It it just doesn’t know the answer if it doesn’t have access to the data.

And that data, of course, contains a lot of sensitive information. That’s that’s that’s the risk side of it.

And you don’t wanna give too little access to the LLM because then it has very little flexibility on how it how it can answer. Right? If if I didn’t anticipate the question that the customer is asking and I didn’t make, that data available to the LLM, it cannot answer. And worse than that, LLMs always answer. They just give bad information, which is a, yeah, you just can’t get them to to shut up.

And and the other side of it is, you don’t wanna give them too much information because they can get confused. They their context is limited. So you have to give, the the you may you have to make the enterprise data accessible to the LLM in just the right amount, and that’s extremely challenging.

And it’s compounded by the, by the security factor.

So so there’s a lot of techniques to deal with that.

First, having entire LLM on premise. Right? You can do that. And then it’s not a shared resource. It’s not accessible to any other parties. Everything resides in your organization.

The then, then you have the hardware risks and the upfront commitments and dealing with all that, technology. And there’s also there are also technologies that are not available on premise. Right? If you wanna use the cutting edge models from, from OpenAI, they’re just not available for you to run on your own hardware.

So you need to consume it as a service.

If you once you consume it as a service, you start sending you’re you’re starting to send PII data to the cloud, per personal identifying information of your customers, and that’s a that’s a huge risk.

One of the technique one technique is to make only, don’t send huge data, just the right amount of data, not too much, because then your security, your security risk is higher. And the second thing we we do and recommend is to mask the data. So we we take the data, and before we send it to the, LLM, we replace all identifying information with fake data. And then on the way back, when we get a nice answer for the LLM, we replace the data back. Alright? And sometimes it’s really, really simple. You know, just every time you see, the word Michelle, just replace it with the word Yuval and everything, just works.

It becomes very tricky when it when you’re talking about multilingual, applications. So maybe it’s spelled differently. And maybe the end user, the customer just typed something they weren’t supposed to type.

And now you’re sending that data, to the LLM.

Knight versus Iyer, you’re complaining about a bill.

They’re saying, you know, you haven’t paid your bill. You have to pay it. So that’s that’s, an okay interaction. And then the customer just types the types in the credit card. And now the credit card is completely exposed. Nobody expected him to do that, but, people do strange things. And now you have a credit card, going into systems.

It’s a highly regulated piece of information and shouldn’t get into all those systems. And what what we do is we use masking techniques that identify this information before it’s sent to the LLMs. And we also use smaller, simpler models on premise to mask the data.

So think of it as a as a a child LLM.

Doesn’t know the the real answer, cannot look at very complex data and, and and, and do complex chain of thoughts, but it can identify a credit card in a in a in a in in some text and replace it with a with a few random letters or or mask it. And this way, you can go with the local LLM that runs on cheaper hardware just to mask the data before you ship it to the cloud. So you have different technologies working in tandem, to get the best of both worlds.

Something tells me that the Yuval version of the child LLM would still be more proficient than the average because you pretty much have known your stuff for quite a while.

You know, I’m just kind of processing everything that you said there because, you know, there there’s just so much to take into account. So next question, how can organizations then leverage AI to automate compliance for IT asset management and then protect that sensitive data in real time? Because as you mentioned with that example of the credit card information going out, what do you do?

Yeah. And and it’s a it’s a challenge, and and and there there are no, still at this point, silver bullets.

AI can get it wrong. AI is not as fast as as we would wish it to be. So if you want to protect real time data at high speeds, that could be challenging.

The the the idea of using these, techniques of, of masking and also introducing some simple algorithms that work together with a with an LLM.

That’s a that’s an approach we see in the market a lot, starting out.

Again, snow this technology hasn’t been around for enough time to be in in a in a robust production environment, but we do see, projects starting to take shape and, and hit production.

Again, it’s a it’s all about training your LLMs, making sure you’re looking at the right APIs, the right points, and masking the, the data at risk, using, LLMs.

Let’s dive a little deeper with customer service because you mentioned that AI powered customer service, as we know, is becoming more and more common. How does this impact IT infrastructure requirements?

Right. And and I I think this may be one of the most, interesting parts for me and for k two view.

We the the way, LLMs work today is you cannot dump all the information you have about a customer or about your organization in general and just hope it’s going to be fine, and they’re going to be able to answer.

And you need some semantic layer, some layer of of data that puts the, the all the information you know about a specific, customer or specific business entity. It doesn’t have to be customer, but customer is the best example we have.

Puts it in context so the LLM knows what the information means.

And and this idea of, giving it all the information and, and having having an answer, it’s it we’re still not there. So we have to be very, careful in the way we break down processes where there’s a customer interaction and an l and an LLM. And and the way this is is shaping up now is it’s almost as a a three layer discussion. There’s an agent framework, that manages and orchestrates the the LLM and the and customer interaction.

And the way it works is the customer asks a question. What what, why is why isn’t my Internet working?

And the way agent frameworks leverage leverages the LLM, it tells the LLM, okay, this is my customer question, and this is the database. This is everything I know about, all the information types I have about a customer.

Not the actual information, but, you know, what kind of in what kinds of information, I I know about a customer. And it asks the LLM to match those two. So from all the information points I have about a customer and the customer question, what information is relevant?

And then the LLM, takes just that one question, not the entire, question. It doesn’t try to answer the customer’s question why the internet is not working. All it says is in order to answer those question, I need information about invoices. Maybe they have unpaid invoices, and, maybe there’s infrastructure issues. These these are the types of information that might help me. And then the agent framework gives the LLM access just to that type of information.

And through that, the LLM can then answer, give an educated guess of why why the Internet is not working because you haven’t paid your last invoice or because, there there’s a, there’s an outage in your area. And this dance of back and forth, it looks like, it’s it’s completely transparent from the end user. Right? The end user doesn’t know what’s going on behind the scenes. They’re just getting the answer. But there’s a whole conversation that happens up that tries to break down this customer question, the IT infrastructure, and the way the data is laid out, on the over the IT infrastructure and kind of map the two and try to give, and tries to give a a good answer.

And the more flexibility we give the LLM to kind of work on the, traverse that data, the more we can answer unforeseen questions.

The strange thing about customers or people in general is that it’s very hard to tell in advance what they’re going to ask. And if we’re, trying to make just the day just the right data points anticipating what they might ask, we we might, miss a lot. But this approach of giving the LLM access to the data as the conversation dictates is is a very, powerful approach.

And for that, you need very robust and very, very clean data that represents your customer.

And and I think if we look at it from, from the IT side, this is where the challenge is and is going to be in the coming years. How do I take all the data I have in my enterprise, and leverage it so an AI can make sense of it and and and use it for customers, customer interactions while doing it in real time and, and maintaining security and privacy.

And that requires very clean data.

And, again, you can take your existing infrastructures and clean them or what many, IT organizations are doing. They’re putting a semantic layer on top of the data. So something, a layer that explains where data resides in the organization, and how you fetch it in real time.

To take that one step further then, what best practices should IT leaders follow to secure real time AI interactions while protecting that sensitive data?

Right. So, again, it goes back to the two main approaches is one, mask the data in transit between, DLLM and the customer interaction or keep everything on premise.

What what we see a lot, in the in the last year or two is organization putting a very, a central layer that deals with compliance issues around AI. So instead of, having every project fend for itself, and every data scientist figure out compliance issues and privacy issues, etcetera.

What they do is they put a layer between applications and and and the, actual, AI, services.

And this layer is where they focus all their attention around compliance.

There’s data guardrails that go into that layer. So which data can, can go, can go can pass back and forth, which types of data.

It also it’s also guardrails about content, what content can or cannot be transmitted. So so it’s data guardrails, content guardrails, and and also other compliance issues such as data profiling, data cleanliness, etcetera. And this this approach, and we see it, especially in larger companies, it it’s a very it’s a it’s a costly, project.

But after you take care of that, your AI projects can move much faster. Right? You don’t need for every AI project to rethink the idea of, okay. How do I get compliance? Which data points can or cannot, or or can I can I or cannot send to the cloud?

You’re kind of committing to your data scientists that once you go through that layer, you’re okay. And it’s now the the the corporate’s responsibility to make sure that, you’re compliant.

I I see it more in the EU when there where there’s some, regulations around the use of AI. And so it kind of pushes organizations to put that layer in, to make sure they’re compliant, with the with formal regulations.

But it’s a good idea overall, and, it’s a very, strong approach, to have that one layer where all your AI interactions go through, and where you can keep compliance and, and security.

When it comes to managing AI workloads across hybrid and multi cloud environments, to put it in layman’s terms, I guess you could say there’s a lot going on. Right? There’s a lot to to go into everything that we’re talking about here and and so much more than we don’t have time to talk about. So what strategies should organizations use to balance performance, security, of course, cost when managing AI driven workloads in hybrid and multi cloud environments?

The interesting thing is that as as we see more technologies, come in, the the cost keeps going down. And and, theoretically, you could just move to the next LLM version or to the next model that’s cheaper to operate.

The issue is that once you have something working, if you switch the model and just go with between OpenAI and Entropic or, or llama three, or or or llama, things break.

The the AI is, still not at the point where you can just replace one AI with another, and they’re all equally intelligent and just get the work done. There’s a lot of fine tuning and adjustments that go into these, agent frameworks to match it to a very particular model.

And being able to move between technologies, and move fast means that you have to have this, not only a good framework, but also a good verification, approach.

The thing about AI is it’s not so easy to test, because it’s not, the answers it gives are not are not linear.

There there are a lot of good answers to the same questions, and evaluating whether an agent an agent you’ve developed works well over time is is a challenge.

The more you invest in these, verification technologies, the faster you can move between technologies as well because then you have an approach to changing something, moving between one model to the next, and being able to easily verify whether whether or not it breaks your, your system or whether, whether they’re still usable.

Are the answers still polite enough for for my customers? Are they correct?

Are they short or long?

So there’s a lot of dimensions you need to be able to, to measure.

And the faster you’re able to do that and the more automated these processes, the faster you can move between technologies and, and more leverage you have managing costs and and progressing with the the technology.

So the the the the idea of developing a solution, but also a very strong way to verify that solution over time and do a regression test for it. That’s a, that that’s a key to moving faster and managing cost and scale, etcetera.

Beyond customer service, what are some AI applications that are already being used in IT infrastructure, such as predictive analytics for hardware failures or maybe automated IT asset tracking?

Yeah. I I think in the IT environment, the most solution I’m most interested in is, is ticketing systems. And it sounds a bit boring. It’s just ticketing.

But answering tickets is a is a big part of a of IT spend and a big part of, the IT organization’s day to day work.

And very interestingly, it’s where LLMs shine. So there are a lot of machine learning techniques, of course, and machine learning is an area that developed over time, for a long time now.

The big breakthrough are, large language models, and large language models are not really great at, looking at large large, datasets and predicting how they’re going to change over time, they’re very good at predicting the next word that needs to be said in a conversation. Right? They’re they’re very good with language. Their dataset and the the dataset they’ve been trained on is not, the failure rates of, of computers.

It’s the, behavior of language. And taking that back to, to ticketing systems, ticketing systems are all about language. Right? These are two people, interacting. Someone has a problem. Someone needs to solve that problem.

And there, it’s an amazing opportunity, for LLMs to to bring immense value both in analyzing what’s happening in the ticketing system. So looking at answers and verifying that they’re correct and make sense, that, they’ve been answered in the right amount of time, in the right tone that was, that the organization can set, taking it up to the next level.

Is it maybe the ticket is fine, but the customers, in general, is not happy. Right? There’s an undertone of, of, short answers, and the customers, doesn’t seem to be to be happy. So it can be sentiment on the ticket level or sentiment on the customer level.

And it can also be an automatic, reply to tickets because now a a because the AI can bring in a lot of information as well as knowledge bases and synthesize that into an answer, we can not just verify, that tickets were handled correctly, but maybe also assist and even, yeah, give a complete answer and a complete, life cycle for a ticket. So and since every IT organization is the is dealing with tickets, I think it’s a great start to leverage, LLMs and kind of understand their power, understand the limitations, and see how they can, help in the in the organization. That’s, it’s it’s a great use case, and, we’ve been working on that for some time now.

So as we wrap up, Yuval, what are the most impactful AI driven automation tools that IT leaders should be considering today?

Right.

So so I think we touched on the main ones, customer interaction, ticketing systems.

There’s also HR use cases that are that that we see starting to pop up.

Those are the main ones.

And if they’re taking to the extreme, we’re not there yet, but over time, we’re probably gather. If they’re if they’re taken to the extreme, they can bring, immense return on those investments, by cutting costs, by improving quality.

That’s that’s where I would go.

We’ve covered a lot of territory. Any final thoughts that you would like to have our audience here before we close things out, Yubal?

Yes. Sure. It’s a challenging time.

The LMs bring a lot of power, but there’s a lot of pieces still missing.

In the survey we did recently, we looked at the challenges, our customers are facing, And we saw that getting data, real time data from the IT infrastructure, wanna ask a question, a general, question. Sometimes you wanna look at the knowledge base of of static information.

Those are areas that are covered pretty well, with the with recent techniques.

Getting enterprise data and fusing it with the LLM, that’s a huge challenge for, for IT and for, for the, evolutions in in this, technology.

And what we’ve been doing, with our customers is getting that data in real time, in a secure manner, and making it available to the LLM, which, is is a huge challenge. And it’s a lot of, it covers a lot of the areas where the return on investment, in these technologies is significant.

And that’s gonna do it for this episode of the hitchhikers guide to IT. A big thank you to Yuval Perlov for sharing his expertise on scaling IT infrastructure for AI driven workloads and securing AI powered operations. Yirlaw, thank you so much for your time. Appreciate you being here today.

Thank you, Risha.

And And wanna thank all of you for tuning in and listening. If you found today’s discussion insights, well, be sure to subscribe for more conversations on the latest IT infrastructure trends. And for more information on how device forty two can help you gain visibility and control over your IT assets and operations, you can visit their website. I’m your host, Michelle Dawn Mooney.

We hope to connect with you on another podcast soon.