What makes an experiment successful?

What makes an experiment successful?
What makes an experiment successful?

I would like to share some insights from our Toyota Kata Bootcamp on how we can design, test and learn from an experiment.  

The Bootcamp Simulation

Before we start, let me give a quick overview of the simulation we’re using in our Bootcamp. The simulation is a value stream consisting of: 

  • One Customer 
  • Two sub-assembly lines 
  • One final assembly 
  • One QC-station 
  • One material handling station 
  • One Teamleader 
  • One or two production technicians 

The customer is placing orders for one of five different type of products, normally every 30 seconds with an expected delivery time of four minutes.

Each of the five products is built from “Plus Plus” pieces in different colors. 

So, let's jump directly into the action!  

Designing experiments

One of the obstacles identified as something preventing the team reaching the target condition was that the pieces were hard to count for the material handling person. 

The current need is to count and deliver 20 pieces, 10 of each color, to the sub-assembly station on a regular basis.   

The learner, together with the team, agreed on the first experiment to remove this obstacle. 

As you can see, the next step they wanted to build a fixture for counting 10 pieces and try it for three random parts (i.e. three cycles). 

The expected outcome was to have the correct number of pieces every time and without the material handler counting each piece. It was also expected that each cycle should take between 10 to 15 seconds to complete for the material handler.  

In the video below you can see the last part of the experiment. The fixture is the white, very simple box on the table. The hypothesis was that only 10 pieces should fit within the box.

So, what was the outcome? Looking at the facts the team could see the following; 

  • The cycle time was 16.4, 24.3 and 21.9 seconds 
  • All three cycles had the wrong number of pieces 
  • Pieces fell to the floor four times   

The outcome was far from what was expected as you can see.  

Is this then a failed experiment?  

Of course not!  

Extract learnings

The main purpose of an experiment is to learn, and we learn from good results as well as from not so good results.  

Just from this fairly small experiment there were some really good learning points for the team; 

  • The fixture was not good since it didn't secure the right number of pieces 
  • The way we move the pieces from from the table to the container was not sufficient since four pieces ended up on the floor 
  • The material handling person really felt less stress if there is no need to count each piece! 

The main learning was that a fixture is a really good idea, since it will make it easier for the material handling person to do the job. However, the fixture must be much better than the first prototype.  

So, the next experiment will be to built a new type of fixture. How that experiment went I can tell you about another time!  

Thanks for your time. I hope it gave you some new reflections - and if you have any comments to it, I would love to hear them. 

Have a great day,


Pictures from the training


About the author

Fredrik Fjellstedt is Senior Enabler in Business Through People ApS.

TWI and Kata Summit Europe 2020