WPS8420 Policy Research Working Paper 8420 Designing Pension Systems with Coherent Funded Private Pillars Including Issues for Notional Defined Contribution Schemes William Price Finance, Competitiveness and Innovation Global Practice April 2018 Policy Research Working Paper 8420 Abstract This paper reviews the factors that should guide the design should also focus on these outcomes and then work out of private funded pensions to create a complete pension how best to mitigate the risks to achieving them over time. system alongside a notional defined contribution—or These issues are relevant in relation to any public pillar, but public—component. It argues that a mix of public and notional defined contribution (NDC) systems bring clarity private pensions is the most effective option to deliver the and transparency to policy makers in the benefit formula. best combination of pension outcomes. Pension design The NDC payout formula can offer insights for how to should start with a vision for five core outcomes: coverage, improve the payout options in funded pillars. The clarity on adequacy, sustainability, efficiency, and security. Thinking the NDC formula also means that the joint distribution of through these outcomes helps guide choices for market public and private pensions can be modeled. This is import- structure, benefit type, contributions, investment strategy, ant because the precise NDC formula may have implications and other factors. As well as technical design, the governance, for optimal investment strategies for private pensions, given, scale, and expertise of pension funds are critical for good for example, the negative correlation between real per capita investment and other outcomes. Regulators and supervisors GDP growth and equity market returns over long periods. This paper is a product of the Finance, Competitiveness and Innovation Global Practice. It is part of a larger effort by the World Bank to provide open access to its research and make a contribution to development policy discussions around the world. Policy Research Working Papers are also posted on the Web at http://www.worldbank.org/research. The author may be contacted at willprice@worldbank.org. The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent. Produced by the Research Support Team Designing pension systems with coherent funded  private pillars including issues for NDC schemes  William Price1 JEL Code: C63; D15; G11; G17; G18; G23; J11; J26; J46  Keywords: pensions, pension funds, retirement income, forecasting, simulations, stock market,  bond market, government bonds, equity markets, annuities  1  This Working Paper was developed as part of a wider project on Notional Defined Contribution (NDC) pensions,  where  the  final  results  will  be  published  as  a  chapter  in  a  book  titled  “NDC  Schemes:  Facing  the  Challenges  of  Marginalization and Polarization in Economy and Society“, edited by Professor Robert Holzmann, Professor Edward  Palmer and Professor Stefano Sacchi. The author is very grateful for comments received on earlier drafts by the  editors and participants at the ‘NDC III” conference in October 2017 and particularly to Professor Nick Barr, and to  comments received from World Bank colleagues, in particular, Fiona Stewart and Mitchell Weiner. All errors and  omissions remain the responsibility of the author.  1. Introduction  This  paper  reviews  the  factors  that  should  guide  the  design  of  private  funded  pensions  to  create  a  complete pension system alongside a Notional Defined Contribution (NDC) component. It argues that a  mix of public and private pensions is most effective to deliver the best combination of pension outcomes.  Corner solutions that rely solely on public pensions (whether NDC or not) or just private pensions (whether  Defined  Benefit,  Defined  Contribution  or  hybrid)  have  no  obvious  examples  of  sustainable  success  in  either developed or developing countries. This paper provides references to current and past practice in  different  regions  and  globally  so  that  the  interested  reader  can  see  the  different  mixes  of  pension  solutions in countries across the world. But documenting in detail who has done what tends to crowd‐out  a focus on how and why different approaches are implemented. The design principles set out below are  for some well‐known in theory but are often not followed in practice. So, the paper aims to (re)state them  succinctly and clearly to (re)establish some simple but powerful principles for the benefit of pension policy  makers.    The paper first sets out the criteria by which to judge success or failure of a pensions system ‐ coverage,  adequacy  and  sustainability  alongside  its  efficiency  and  security.  It  then  highlights  the  wide  range  of  (overlapping) risks to which pension pillars are subject. Evaluating the success of a system is difficult if  there are no metrics of success against which to judge it (including the distribution of outcomes by income  and gender). The next section then considers the design of a private pension pillar across two dimensions.  The first design question looks at the way in which private pensions will need to be delivered – using the  concept  of  the  pension  value  chain  or  market  structure  to  highlight  the  key  issues  and  options.  This  approach is particularly important to tailor best practice to different country and labor market contexts –  particularly levels of formality and informality. The value chain also helps to draw out the importance of  the governance of private pensions – and helps to craft solutions that can work with different levels of  governance in the public and private sectors. Finally, the process helps to tailor pension system design to  the  level  of  development  of  an  economy  and  the  financial  market  –  and  whether  it  meets  the  ‘pre‐ conditions’ for the successful delivery of private pensions. In some cases, the first‐best theoretical option  may need to be replaced by a second‐best option that will be more effective.    The  second  set  of  design  questions  then  look  at  the  more  ‘traditional’  elements  of  benefit  design,  contribution levels, eligibility and payout phase. In an ideal world, the future income to be delivered by a  pension system would look at the joint distribution from the combined NDC and private pillar. There are  many  modeling  tools  that  focus  on  a  single  pillar,  but  the  joint  distribution  can  be  overlooked.  NDC  systems allow a clearer identification of potential outcomes in that they are (in theory) less prone to ad‐ hoc  adjustments  and  pre‐election  changes  than  traditional  defined  benefit  public  pension  pillars.  The  precise NDC rule may have important implications for optimal investment strategies in private pensions –  something  that  governing  bodies  of  pension  funds  and  pension  regulators  should  consider  in  their  approaches. For example, in many countries real per capita GDP growth (which can feature in NDC rules)  is negatively correlated with the real growth of equity markets. So, an NDC rule linked to per capita GDP,  sitting alongside a private pension pillar in which there are equity investments, may combine uncorrelated  forms of risk. The policy maker needs to think through whether these correlations, negative or positive,  are desirable or not. Finally, it is important that design coherence flows to the regulatory and supervisory  approach  so  that  they  can  also  focus  on  how  best  to  achieve  the  long‐run  outcomes.  Although  not  discussed  in  detail,  creating  the  institutional  framework  early  in  the  process  is  obviously  important  to  ensure that the regulator and supervisor can be up and running before the first contributions are paid. A  2    robust program management or ‘Mission Office’ greatly assists the delivery of the reforms, so that great  designs are not lost by poor implementation.    2. Using long‐run pension outcomes to guide decision‐making on private pensions  Before introducing the key outcomes, it is necessary to identify the different parts of a pension system  and highlight the parts or pillars and the risks to which they are exposed. Public pension provision comes  broadly in the form of ‘zero pillars’ ‐ poverty alleviating payments paid out of government revenues that  do not require contributions ‐ and ‘first’ pillars that are typically mandatory and can have the full range of  benefit  options  but  are  often  Defined  Benefit.  Many  first  pillars  are  Pay‐As‐You‐Go  where  current  contributions fund current pensions, but there are a number that are at least part funded. Examples range  from the CCSS in Costa Rica,2 the Social Security and National Insurance Trust in Ghana, and Vietnam Social  Security (VSS). Such arrangements are very rare in Europe – where many countries are very reliant on  large Pay As You Go (PAYG) public pillars with systems that are in great need of diversification (EU White  Paper 2012). The NDC debate focusses on this ‘first pillar’. It introduces a mechanism that does not fund  the  benefits  in  advance  but  aims  to  avoid  the  build‐up  of  unsustainable  Defined  Benefit  promises  by  altering pensions in payment with changes in factors such as longevity (if politics do not intervene).   Figure 1: Different pensions pillars have different functions and face common and unique risks   Sources of retirement Risks affecting payout size consumption Zero Pillar – poverty prevention Fiscal, Intergenerational, Longevity First Pillar – public contributory – Fiscal, Intergenerational / Political, consumption smoothing Longevity, Labor Market, GDP Second Pillar– mandatory private Capital Market (Inv returns/costs), contributory DB, DC or hybrid Labor participation, Longevity Third Pillar- private contributory Capital Market: Investment/Costs DB, DC or hybrid Labor market/individual myopia Fourth Pillar: Financial assets Economic Growth, Instability Fourth Pillar: Family transfers Family size/wealth/culture/location Fourth Pillar: Housing / Physical Housing market, labor income Labor Income & Own- Labor Market, Agricultural market consumption Longevity and inflation risk is pervasive Source: Author                                                                 2  Caja Costarricense de Seguro Social.  3    Decisions on private pensions typically focus on the second and third pillars. Terminology varies globally  where many European countries characterize the second pillar as employer provided, and the third pillar  as individual pensions. In the World Bank framework, the key dividing line is whether the pensions are  mandatory (second pillar) or voluntary (third pillar). In this framework, an employer could be involved in  the  second  pillar  or  the  third  pillar.  The  boundary  line  between  mandatory  and  voluntary  pensions  is  blurring with the use of auto‐enrollment ‐ as introduced in the UK, New Zealand and Turkey ‐ where it is  typically mandatory for an employer to offer a pension and place workers into the pension, but employees  can opt out. A common feature across all such pensions is that  they involve the investment of assets.  There are many ways in which these assets can be invested – from in‐house investment, full outsourcing  to fund managers, or a mix of the two. This is discussed in more detail in Section 3. Moreover, there are a  range of organizations that control the contribution collection and investment strategy decisions. These  range from public sector institutions, arms‐length not‐for profits such as provident funds or employer‐ sponsored trusts to fully private pension fund management companies. Section 3 outlines the pros and  cons of these arrangements and provides some guidance for making the best choice in different contexts.    However, the terminology can sometimes get in the way. Many of the issues identified in this paper in  terms  of  good  design  for  ‘private’  pensions  would  apply  equally  to  a  ‘public’  pension  fund  that  was  investing  assets  to  meet  either  a  Defined  Benefit  liability  or  with  a  Defined  Contribution  structure.  A  country  that  had  an  NDC  pillar  plus  a  funded  ‘public’  pension  plan  is  still  effectively  bringing  together  notional and real assets to jointly provide retirement income. The only real difference is the institutional  setup, where the choice of ‘public’ or ‘private’ should depend on which arrangements are likely to be  secure strong governance, scale and expertise – as discussed in more detail below.    Deciding on the ‘best’ or ‘optimal’ make up of private pensions in combination with a given NDC (or other  form) of public pension provision requires criteria against which to judge various options. This paper uses  five key outcomes – as set out in work on Outcomes Based Assessments (Price, Ashcroft and Hafeman  2016) which builds on earlier work such as International Patterns of Pension Provision II (World Bank 2012)  and Holzmann and Hinz (2005). The five outcomes are3:   Efficiency – relating to costs, investment returns and labor market impact of pensions design. Pension  provision  faces  numerous  market  failures.  This  means  the  ‘competitive’  market  can  deliver  sub‐ optimal  outcomes  (Impavido,  Lasagabaster  and  Huitron,  2010).  Failures  relate  to  the  ability  of  consumers to understand the products and make informed decisions (Benartzi and Thaler, 2007), to  the quasi‐utility nature of pension delivery given the huge economies of scale in administration and  investment  management,  through  to  the  well‐documented  examples  of  mis‐selling  scandals  in  multiple  jurisdictions  (UK,  Financial  Services  Authority  and  Financial  Conduct  Authority,  India  Insurance, Mexico, Chile). These factors make it important to think clearly about the full pension value  chain and the role of government, providers, employers and members. Transparency is an important  element of any good system, but a simple focus on disclosure will not be sufficient to ensure members  get the best outcomes. Good governance is profoundly important to ensure members get the best  net of fee returns they can – and indeed good governance is relevant to all the outcomes in one form  or another (Ashcroft and Franzen, 2017).                                                                3  There are other ways to break down the outcomes – for example as in the work of the Melbourne‐Mercer Global  Index (ACFS and Mercer 2013) and the Global Aging Institute (Jackson and others 2013), or work by the American  Academy of Actuaries (Forward‐Thinking Task Force. 2014).   4      A critical feature for effective pension systems that is often ignored is an explicit focus on reducing  the total cost of delivery, including a clear target for total costs that do not enhance returns. In a world  where real returns are likely to be only 3%‐4% in the long‐run, having a fee level of 1% means that  total fees are taking 25%‐33% of returns. This is not only a question of the level of profits made by  private  providers,  since  high  sales  and  marketing  costs  and  wasted  setup  costs  with  high  rates  of  switching can mean that high fees co‐exist with low profits. But best practice should be to work from  a  long‐run  objective  of  delivering  high  net  of  fee  returns  including  through  rigorous  cost  and  fee  control and use this to drive system design. The objective is not low fees on their own, but to minimize  costs and fees that do not increase coverage, contributions or investment returns. As discussed in  Section 3 there are many attractions to a central clearing house model with centralized administration  and investment management contracted at scale – however, there are cases where the governance  or the technology or delivery capacity make such arrangements difficult.     Sustainability  –  relating  to  the  funding  of  public  or  private  defined  benefit  promises,  but  also  the  affordability  of  given  contributions  by  employers  and  employees.  Private  pensions  that  involve  Defined Benefit promises underwritten by employers clearly add another dimension to sustainability.  Payout phases delivered by insurance companies mean that a pension policy maker needs to have  confidence in the sustainability of the insurance regime. Where this confidence is lacking, or annuity  markets are not well developed, other pension payouts can help deliver income. Political sustainability  should also be a central focus since pension systems need to be maintained across multiple electoral  cycles. This places a premium on using cross‐party pension reviews to build consensus. Clarity on what  each  pillar  of  the  system  can  and  cannot  deliver  is  critical  to  anchor  expectations  and  help  avoid  unrealistic expectations – supported by simple clear messages, rather than attempting to turn people  into pension experts.     Adequacy – relating to the level of pension income – both at the point of retirement (or drawdown)  as well as at later ages. A pension pillar should deliver in its own right, but ultimately it operates in  combination  with  other  sources  of  retirement  income.  Governments  directly  impact  the  level  of  income  either  through  direct  contributions  or  through  providing  incentives  such  as  tax  relief  or  matching. The distribution by income and by gender is especially important for assessing outcomes –  particularly  if  scarce  tax  resources  are  used  to  provide  incentives  which  can  often  benefit  higher  income workers if not well‐targeted. The rules for a ‘zero’ pillar, if it exists, or any base level of income  guaranteed to all in old‐age by virtue of citizenship is also clearly important in considering the size and  shape of a private pension pillar.     Coverage – relating to the percentage of the relevant populations that are contributing and receiving  pensions – with coverage of informal workers possibly the single biggest challenge in global pensions  (Bosch and others, 2013).  Again, the distribution by income and gender is important to understand  so that projections for the ‘average’ worker do not mask large inequalities in future outcomes that  will call into question the success and legitimacy of the pension system. In the past many countries  with occupational Defined Benefit pensions had long ‘vesting’ rules where workers had to work for 5  or even 10 years to receive pension rights. This leads to lower pensions for women who tend to have  shorter and more broken career histories. Hence an ambition for broad coverage with gender equality  would then lead to a need for low or no vesting periods – which is a natural feature of most Defined  Contribution  pension  arrangements.  Likewise,  rules  on  annuitization  of  income,  or  the  sharing  of  pension  rights  on  death  or  divorce  will  also  affect  gender  equality  ‐  since  again  in  most  countries  female labor market participation tends to be lower than for men and pension contributions reflect  5    this labor market experience. This gender inequality is particularly stark in some regions – e.g. the  Middle East and North Africa region (Price, Pallares‐Miralles, DeMarco and Attia, 2017).     Security – relating to the security of assets, the reliability of promised pensions and the central role  of a regulator and supervisor. This is critical for all private pensions, but consideration should also be  given to whether an NDC system should be subject to external scrutiny as well. It is essential that  public  confidence  is  created  and  maintained  for:  the  robustness  of  the  formula  for  the  notional  returns; assurance that the inputs (such as changes in mortality or wage rates) are accurate; and that  there is effective management of other issues such as cost control. It is important in the sequencing  of  private  pension  reforms  that  sufficient  time  is  given  to  create  or  improve  the  regulator  and  supervisor and ensure it is effective before the first contributions are made. Failure to allow enough  time to get the regulator up and running can lead to significant problems for new pension pillars – for  example as seen in the reforms in Ghana from 2008 which have taken years to correct. It can also  contribute to the implosion of reforms, as in Mexico’s 1992 ‘SAR’ reforms which failed initially and  then had to be revisited in 1997. Section 4 includes a discussion of some key supervisory issues.    The  5  outcomes  presented  above  clearly  interact.  A  country  could  aim  for  a  higher  level  of  adequacy  simply by increasing contribution rates to DC private pensions or the contribution amount credited to the  notional account. But in combination with contributions to public sector pensions this could make the  labor  market  inefficient  as  employers  and  workers  try  to  avoid  contributions.  It  can  make  the  system  unsustainable because contributions take too large a share of employer profits, or government revenue.  A country may be aiming to rapidly expand coverage of private pensions but will need to target incentives  more effectively. It could use matching or a tax credit rather than simple tax relief but with a cap on total  incentives so that broad coverage is not unaffordable. This effect has been seen for example in the UK  where tax relief for private pensions was available for up to GBP1.8 million before the financial crisis, but  has been progressively scaled back as governments had to take decisions about the best use of scarce  public resources.    The policy development process should focus on making viable and consistent choices. There is no point  in setting a goal for adequacy as 50% of average earnings, but then having a contribution rate of 3%. It is  not viable to have a goal for coverage of 80% of the labor force if the formal sector is only 20% and the  proposed delivery of private pensions is via employers, or only via institutions with links to the formal  economy. Similarly, a goal for 80% coverage is not plausible if policy makers will only introduce a voluntary  pension  pillar,  rather  than  a  mandatory  or  quasi‐mandatory  pillar  (see  Figure  2  for  a  description  of  different pension pillars). Similarly, there is no credibility in asserting that all assets in private pensions are  secure from fraud and error if there is no regulator and supervisor and no requirement to use a custodian.  The discussion about what a country may want to achieve and the logical impact of that ambition for  policy design can highlight unrealistic ambitions. This is important in relation to political sustainability and  whether the intended outcomes are realistic. There is a danger that policy makers (or providers) can over‐ promise on potential outcomes to sell reforms or encourage people to join a system, and then face the  consequences of disappointment when those promises do not materialize.    A focus on multiple pension pillars is not simply to provide a menu of options from which to choose the  ‘best’ pillar. The focus is because relying on a single pillar is a very risky strategy – not least because the  6    different pillars have different strengths and weaknesses. No country relying on a single pillar will deliver  good performance against the five key outcomes. Over‐reliance on a public pillar will create issues with  sustainability, particularly in the case of Defined Benefit plans as seen in the case of many (but not all)  European countries. Over‐reliance on private pensions funded with contributions will fail to deliver good  coverage  of  retirement  income  across  the  whole  population.  Chile  in  1981  and  Mexico  in  1997  both  shifted from effectively wholly public to a wholly private system of pension provision. For both it has been  necessary to re‐create core elements of public pensions to ensure sufficiently broad coverage of income  in old age and alleviate old‐age poverty (Chile in reforms starting in 2008 and Mexico in a series of reforms  starting with the ‘70 y Mas’ reforms). As the demonstrations in Chile in 2017 show, however, retro‐fitting  some public provision to complement private provision may not avoid problems created over previous  decades – particularly the mismatch between the technical design of a system and the public expectations  of what it would deliver in terms of their retirement income.  Figure 2: Different Pension Pillars to deliver retirement income     ‘Negative Pillar’: A truly holistic framework needs to ensure asset building is not undermined by excessive  secured and unsecured debt which is not part of asset building (e.g. housing, businesses, education). If  debt is not controlled, then efforts to build pension wealth will be offset by increasing personal debt. Source: World Bank as amended by author     Even if someone could design the ‘perfect’ pillar this creates the risk of a single point of failure. A fully  public  pillar  is  always  susceptible  to  changes  in  government  policy  that  can  dramatically  and  instantly  impact accrued rights and pension payouts. Politics obviously impact private pensions as well. The Global  Financial Crisis led to some ‘reversals’ of pension reforms where privately invested assets in the name of  7    the workers were effectively nationalized by governments in Poland, Hungary and Argentina – who used  the assets for governmental purposes while maintaining promises for future pension income (Price and  Rudolph,  2013).  As  far  as  the  author  is  aware  there  were  no  examples  of  employer  sponsored  (trust‐ based) pensions that were appropriated by governments – although in Ireland the government did impose  a  small  levy  on  the  assets  of  occupational  pensions  –  akin  to  a  limited  form  of  `wealth  tax  –  and  governments do make changes to the regulatory, legal and tax environment that can impact benefit levels.  Pension policy needs to deliver over a 40‐80‐year period. Given the certainly of shocks and changes over  such a period, a diversified approach to delivering retirement income is a sound policy.    For the reader interested in which choices different countries have made, a good global survey is provided  by  International  Patterns  of  Pension  Provision  II  (Pallares‐Miralles  and  Whitehouse  2012),  and,  for  a  smaller set of countries, by the OECD’s Pensions At A Glance. International comparisons of saving for old  age have been developed by the ‘FINDEX’ index and can be found in work by Demirguc‐Kunt and others  (2015,  2016).  Recent  in‐depth  regional  reviews  of  history  and  current  practice  include:  The  Inverting  Pyramid for Europe and Central Asia (Arias and Schwarz, 2013); Live Long and Prosper for East Asia Pacific  (O’Keefe and others, 2016); Pension Systems in Southeast Asia (ADB 2013);  Pensions at a Glance Latin  America and Caribbean (2014); Pension Patterns and Challenges in Sub Saharan Africa (Dorfman, 2015);  and for the 22 members of the Arab League, a review of Trends and Policy Reforms (Price and others,  2017). For longevity comparisons, there is the UN’s World Population Prospects (UNDESA, 2015), and for  long‐run  international  comparisons  of  asset  returns  in  22  countries  since  1900,  the  London  Business  School, Credit Suisse Global Investment Year Book (Dimson, Marsh and Staunton, 2016).     There are many organizations that provide regular international comparisons in the form of a league table  that  can  provide  some  comparative  information,  such  as  the  Melbourne  Mercer  Global  Pension  Index  (Mercer, 2016) or the Global Aging Index (2013, 2015). Reducing a pension system to a single number is  obviously aimed at creating debate and discussion – but the reports are perhaps even more useful for the  in‐depth discussion of the characteristics of each country. In recent years, the World Bank has partnered  with the OECD and IOPS annual pension statistics exercise with the aim of making its coverage increasingly  comprehensive. It is worth highlighting a note of caution with any regional or international comparison of  pension systems. It is a heroic effort to keep up with the number of changes in a typical pension system,  to be sure that administrative data sources are accurate, the latest surveys are representative, or to do  full  justice  to  the  complexities  and  nuances  below  broadly  comparable  descriptions.  So,  they  can  and  should be used to look at big picture trends and areas for development, but it is important to validate the  data and conclusions with a thorough technical review of a country when developing reforms.    3. The first design question for how to deliver private pensions  Before getting to questions of contribution rates, accruals, investment strategy and payout phases it is  important  to  have  a  rigorous  focus  on  each  part  of  the  pension  value  chain.  How  will  individuals  and  employers be identified, enrolled, make contributions, have their accounts created and managed, their  investment  strategies  developed  and  executed  and  finally  their  pension  income  distributed?  This  is  important because pension markets – particularly those that cover most people in a country – are created  deliberately and by policy action rather than emerging spontaneously. It is certainly the case that there  are forms of voluntary provision in many countries at all stages of development that are the outcome of  8    individual decisions – usually resulting from the decisions of (large) individual firms and often due to union  bargaining. But even in these cases the coverage very rarely extends beyond 10% of the labor market and  is often far lower. Those countries that do have coverage above 10% from purely voluntary occupational  pensions (e.g. the UK, Canada, the US) have very active political debates about the need to expand private  pension coverage. Therefore, if the answer to the question on the desired coverage level is for something  above 10%, then the policy maker will need to do far more than create legislation to allow the sale of  pensions with some form of tax‐preferred status and rules that lock in assets until a person reaches a  certain age.    Individual  voluntary  pension  provision  –  or  the  ‘third  pillar’  ‐  is  very  often  structured  as  a  product  purchased  by  individuals  from  a  private  provider  as  a  ‘normal’  financial  product.  Providers  are  often  insurance companies, or dedicated pension fund management companies – and are often themselves part  of larger financial services groups. This can be a sensible and important first step in a journey to building  all the necessary pillars of pension provision. Albania, for example, founded its third pillar in 2009 at a  time when there were certainly not the pre‐conditions for a move to a mass market second pillar, whether  via compulsion or auto‐enrollment. Turkey in 2003 is a similar example.     This  third  pillar  model  certainly  allows  pension  products  to  be  rapidly  and  freely  available.  However,  translating availability into coverage can be very tough. These third pillar pensions have a value‐chain that  is more akin to the sales of insurance products – relying on a network of sales agents and competition  between  many  vertically‐integrated  providers.4  Interestingly,  a  new  survey  by  the  International  Association of Insurance Supervisors (IAIS) and International Organization of Pension Supervisors (IOPS)  has shown that around 50% of the value of insurance company life insurance business comes directly from  pension  markets,  where  in  many  cases  the  large  size  of  the  business  in  the  first  place  is  due  to  a  government mandate.5     Moreover,  when  a  country  wants  to  expand  coverage,  the  market  structure  of  the  ‘many  firms‐many  buyers’ vertically integrated financial group does not translate well to delivering the best outcomes for a  mass  market  product.  This  need  not  matter  if  there  is  a  clear  understanding  of  the  issue  and  a  commitment to start a mass market approach using a different market structure. But once the third pillar  is well‐established policy makers face the problem of politically influential incumbent providers who may  well resist the development of a different approach – particularly one that might break the link between  provider and individual customer that can be an important part of improving outcomes as set out below.  New approaches can be developed, but the experience of the UK in developing auto‐enrollment reforms  shows  that  even  well‐developed  proposals  by  an  effective  pension  commission  that  generated  broad  political consensus faced very strong resistance from many incumbents. This led to 2 separate reviews  into the proposals made for auto‐enrollment in 2007 and 2010, both of which had the potential to derail  or significantly undermine the reforms that have now added an extra 7 million savers (out of some 30                                                               4  Insurance provision is almost never compulsory in the way that pension contributions are often mandated or quasi‐ mandated – except for car insurance, some forms of personal liability insurance, and in the case of Turkey mandatory  earthquake insurance. Rules set by mortgage lenders can sometimes make home insurance effectively compulsory  as well as some form of life cover, but this is not universally the case, and there is typically no check once a mortgage  is provided that the cover remains in place.  5  IAIS and IOPS 2017 forthcoming.  9    million workers) and significantly cut costs for the median saver. A more effective approach to developing  the right pension market structure for a country is to use the pension value chain (see Figure 3) to think  through each stage of the delivery of a pension product and to match the design of the private pension  market to the vision for the outcomes to achieve and the role of other pillars as set out in Section 2 above.  Figure 3: Stages of the Pension Value Chain  2. Recordkeeping  1. Membership and   3. Governance and  4. Investment  and account  5. Pay‐out phase payment channels investment management management 3.1 Membership and payment channels  A central question is how members will join a pension plan and how they will make their payments. The  key message here is to make it as simple as possible for a member to join a pension and to make their  payments, and to ensure that there is a segmented strategy that matches the enrollment channel to the  nature  of  the  labor  market.  If  the  labor  market  is  highly  formal,  then  using  the  employer  as  an  administrative channel to enroll members and make payments is a natural (and efficient) initial option.  This does not mean the employer should necessarily be the entity choosing the pension provider – which  is discussed below. But it does mean that if there is already a functional mechanism whereby employers  already pay social security contributions for the workers and deduct tax and social security contributions  from the workers’ gross wage then adding an extra requirement to channel a flow of income to a pension  provider  can  be  effective.  Informal  labor  markets  are  typically  viewed  as  a  feature  of  developing  economies – where a lot of innovation is taking place as outlined below – but the development of the ‘gig  economy’  or  the  ‘uberization’  of  the  labor  market  mean  that  many  developed  country  policy  makers  would be well‐advised to study how to maintain coverage in the face of these challenges (Secunda, 2017)  – or indeed how to use new approaches to extend coverage to the self‐employed who are often excluded.    Such structures work for an NDC model too. However, in labor markets that are highly informal, this route  does  not  exist  for  many  workers.  There  are  no  labor  contracts,  regular  income  and  no  tax  and  social  security payments. In these circumstances, it makes sense to have many channels through which a person  can join a pension and make payments. This may be through a self‐help group or micro‐finance institution  or a professional group. Modern Identification (ID) and Information Technology (IT) mean that there are  now more options – and even traditional options can be more efficient in terms of costs, fraud and error  (Bhardwaj and Khanna, 2017).6                                                               6  In Mexico, for example, the government and regulator have partnered with 7,000 retail companies to allow workers  to make direct payments to their pension provider at the point of sale by providing their unique national ID and  biometric confirmation via a finger print (Brodersohn and Palacios, 2017). The process is fully digital and paperless.  In India, the National Pension System can be accessed digitally and paperlessly online, via providers in branches and  in recent pilots via village‐level point of sale systems (also used to distribute the small state pension in some states),  again with the provision of a unique ID and biometric confirmation (Saksena, 2017).  10    3.2 Record Keeping and Account Management  Once a person is enrolled into a pension system and making payments, there is a need to keep records  for all payments and maintain their account balance (Barr and Diamond, 2009). In Defined Benefit (DB)  systems the record keeping can be simpler than Defined Contribution (DC) systems because a DB system  is organized around a benefit formula focused on wages and years of service. Even this can be challenging  for many countries – particularly those that developed systems in the pre‐digital era. NDC models need  to have more robust arrangements still. Finally, DC systems need to keep track of each contribution, the  assets  into  which  they  were  invested  and  the  returns  to  be  allocated  to  the  individual.  As  highlighted  below, some DC systems essentially run a single strategy for all workers, which is the simplest approach  administratively, whereas others have potentially hundreds of choices at the individual level – which is  the  most  complex  administratively  (as  well  as  having  other  drawbacks  in  terms  of  the  ability  of  an  individual to make good choices when faced with so many options).    The key message of the first design choice in terms of enrollment and payments is to make it as simple  and  as  ubiquitous  as  possible  to  join  and  contribute.  The  message  of  this  section  on  administration  is  perhaps the opposite. The ability to manage records and accounts for 40 years (or 60 if the payout phase  is included) is very unlikely to be widely distributed in an economy. The ‘traditional’7 employer sponsored  pension plan can have many advantages, particularly with large employers, if there are resources for good  governance, delivering expertise and having a long‐term horizon that is focused on the members’ best  interest. But many employers, particularly those that are small and medium sized, do not have the time,  inclination or expertise to deliver this additional value. Moreover, many workers will have multiple jobs  over  their  working  life  so  the  question  of  how  to  ensure  that  their  pension  contributions  can  be  aggregated and not lost in multiple small pots remains, whether they move to or from a small or a large  employer.    In  addition  to  the  logistical  and  technical  challenges  to  running  a  pension  administration  operation  in  many  different  institutions,  the  profound  economies  of  scale  in  pension  administration  (Bikker,  2013)  mean that many small‐scale providers will add to the cost without providing additional benefit.  For this  reason, the notion of a single administrative clearinghouse has gained popularity – particularly since the  successful reforms in Sweden since 1992 (Palmer, 2000). There are many ways to deliver such a system.  Some countries, including Sweden and New Zealand, use their tax authorities to act as the collection and  administration agency. Others, such as India, run a competitive tender for a private company to deliver  the services of a Central Record Agency (CRA). A critical feature is not just the technical specifications and  the achievement of economies of scale in costs – but also the control on the fees paid. In Mexico, the  different  pension  fund  management  companies  have  established  a  clearinghouse  among  themselves                                                               7   Traditional  is  in  quotes  because  not  all  countries  or  indeed  regions  share  the  concept  of  large‐scale  employer  provision. That said, in many countries not thought of as having an employer tradition – e.g. Mexico or Turkey ‐ there  are in fact many large employers both public and private that do provide pensions. That said, for any large‐scale  mass  enrollment  employers  are  important,  even  if  not  following  the  approach  seen  in  some  of  the  best‐known  pension systems such as the Netherlands, Australia, UK and Canada. The key question is whether the employer or  group of employers is large enough to provide the economies of scale and resources to have high quality governance  and expertise needed to deliver good outcomes. In these cases, a hybrid model might be preferred with a centralized  or  limited  number  of  administrators,  or  enforced  inter‐operability,  alongside  the  continuation  of  large  scale  employer providers. Multiple institutions can add some useful diversity to the investment market and allow greater  tailoring of pension provision to particular groups of workers.  11    known as PROCESAR. But this does not feed automatically to lower prices because the companies control  the entity. In the case of India, the regulator PFRDA recently tendered for a second CRA because the long‐ term contract with the initial provider locked in higher prices than were currently feasible. While it did  undoubtedly  save  costs,  and  lead  to  a  more  efficient  solution,  the  regulator  needs  to  be  proactive  to  ensure that this is true continually. A critical feature of this option is that the public‐sector tax provider is  able to operate at low cost (e.g. around 10 basis points a year for administration in Sweden). There are  very many countries where this is not the case – as documented for example in Sluchynskyy (2014). His  analysis shows that some of the public‐sector providers deliver good value, but many do not – and do not  provide anywhere near the level of fees that should be acceptable in a well‐run pension system.    While these issues of administration are always critical in deciding on private pensions, the existence of  an NDC public pillar implies that there needs to be an individualized account identification and tracking  system. To the extent that this has already been set up and is working successfully it obviously provides  an  infrastructure  that  could  be  used  for  the  administration  of  private  pension  accounts  –  albeit  with  additional  requirements  such  as  the  custody  of  assets  and  (typically)  daily  valuations  of  individual  accounts. There is a spectrum of administrative complexity from a pure final salary DB plan, through to a  career average plan that requires annual salary data though to a pure DC individual account. The NDC  infrastructure  though  could  be  leveraged  to  exploit  economies  of  scale  and  synergies,  particularly  in  countries with scarce capacity. As well as efficiency gains, there are also likely to be transparency and  clarity gains for those designing the system as it makes it much easier to show combined pension accounts  and  forecasts  of  combined  retirement  income.  That  said,  modern  DB  systems  now  have  more  of  the  capabilities of an individual account system compared to their predecessors where benefit calculations  may have waited for retirement or another form of exit. Transparency for members from NDC may be  more theoretical given that many will find it very difficult to really understand issues such as indexing and  longevity factors – and may not even appreciate that there are genuinely no assets backing their account.    However, the clearinghouse model may not be preferred in a situation with concerns over governance  since  it  presents  a  single  point  of  failure  in  the  pension  regime.  It  may  also  not  be  preferred  if  the  government and regulator have doubts about the ability to deliver a major IT reform. However, in either  of these scenarios one might question whether the country has achieved the pre‐conditions necessary for  the  launch  of  a  major  new  pension  reform  (Holzmann,  2009).  That  said,  in  the  UK’s  auto‐enrollment  reforms the task of checking that employers were fulfilling their duties – which is performed by the tax  office  in  Sweden  and  New  Zealand  ‐  was  given  to  the  UK  Pension  Regulator  who  outsourced  the  IT  component to a private provider. This was due to a lack of capacity in the tax authorities at the time of  the development of the reforms. If the reforms had started now, then a different decision might have  been taken. The key point is that the very large economies of scale that exist can be secured by a number  of internal and external routes – mirroring the picture on asset management, as discussed below.    The final objection to some form of centralization of accounts so that a unique account can follow a worker  throughout their life ‐ and ensure that all contributions are aggregated in a single pot – is that it is either  anti‐competitive or is an unfair policy for existing pension providers who offer such services. It is certainly  the case that moving account administration from current pension providers can break the link between  them and the customer, which is something about which the private providers will be very worried. An  intermediate  position,  which  avoids  stripping  out  all  the  administration  functions  from  the  current  12    providers  is  to  require  interoperability  between  systems  and  the  maintenance  of  a  single  account  to  ensure lowest costs and reduce the chance of lost or orphan assets. It is worth noting that the benefits of  the ‘blind account’ system in Sweden are also due to fee reductions imposed on 2nd pillar providers.    3.3 Governance and Investment Strategy  Governance and organizational design is one of the most important elements in delivering good pensions  (Clark and Urwin, 2008, Ambachtsheer, 2016). The key issues relate to the legal structure of the pension  fund including issues such as the separation between a governing body that focuses on long‐run strategy  (including investment strategy) and an (expert) management team that has the freedom to take decisions  to implement the strategy. In relation to investment, the full board would be involved in agreeing on the  long‐run investment strategy as set out in the Statement of Investment Principles (along with a Statement  of Investment beliefs). This will include issues such as the long run objective for the strategy and strategic  asset allocation. There will be clear differences between a Defined Benefit and a Defined Contribution  pension fund – but perhaps not as much as in the past as techniques like asset‐liability management used  in DB funds are seen to help create a more disciplined approach in DC funds so that they focus on their  long‐run  retirement  income  function  rather  than  shorter‐term  investment  returns.  For  the  reader  interested in the background to the governance debate, Franzen and Ashcroft (2017) is a useful overview.    There are a very wide range of institutional designs that have been used internationally, particularly in  relation to the investment strategy for the member contributions. Options range from control by a public  sector body (Norway’s Pension Fund Global for example which is a department of the Ministry of Finance);  an arms‐length institution such as a Social Security Agency, Provident Fund or a specific pension delivery  body (for example the Kosovo Pension Saving Trust, Malaysia’s Employees Provident Fund or the UK’s  National  Employment  Saving  Trust  or  NEST);  private  fund  managers  and  employer‐sponsored  pension  funds with very strict investment regulations (e.g. India’s NPS particularly for the public sector workers in  the early years of the system, or Mexico’s AFOREs8 in the early years when there were very restrictive  investment limits and almost 100% allocation to government bonds, or Turkey’s Pension Foundations);  and  finally  private  fund  managers  and  employer‐sponsored  funds  with  either  no  quantitative  limits  or  much looser ones  e.g. Chile, Mexico’s AFOREs now with greater latitude in the investment regulations, or  India’s NPS now with similarly greater latitude after successive relaxation of the investment limits or most  UK, US private providers). The latter category includes countries with ‘prudent person’ style investment  regulations which give the governing body broad authority to make decisions on investment allocations.9    3.3.1 Individual choice of asset allocation  Sitting alongside these decisions on who decides the investment strategy in general is the issue of whether  individual choice is allowed. Some countries have a single strategy for all members (in the same way the  NDC  formula  offers  only  one  option).  In  other  countries  there  is  choice  for  additional  voluntary  contributions. Default option with some limited additional choices, or a default strategy with potentially  hundreds of choices are also common. In the individual pension market there is often a process whereby  a potential client will be taken through options by an adviser who recommends an asset allocation that                                                               8  Administradora de Fondos para el Retiro.  9  The OECD carries out a useful annual survey of global investment regulations for pension funds.  13    matches the members’ attitude to risk. However, there is not much evidence to support the view that the  typical  member  can  really  understand  the  options  (Clark  2018,  forthcoming)  or  that  levels  of  financial  education  are  in  general  sufficient  in  any  country  to  give  confidence  that  members  can  navigate  the  choices in relation to pensions (Mitchell and Lusardi, various). This is an area where the sales agent can  have a great influence – and can make members ‘choose’ the product that benefits the agent, not the  member (Halan and Sane, 2016). Some countries have effectively removed sales agents from the process  or banned the payment of commissions to agents because it skews their recommendations and behavior  (e.g. UK following the Retail Distribution Review).     For all these reasons, as well as well documented behavioral barriers to ‘optimal’ decision making, modern  pension  policy  is  very  focused  on  developing  good  default  options  for  members.  Sweden  is  a  good  example of a country that invested very significant resources in the early years of the Premium Pension  System (the 2.5% Defined Contribution pillar that sits on top of the NDC pillar) to encourage members to  make individual decisions about their preferred pension provider and strategy. Ultimately these efforts  were not judged to be effective and the quasi‐government / not‐for‐profit default fund known originally  as AP7 (referring to the ‘AP’ range of institutions involved in the investment management of different  elements of the Swedish pensions system) gained greater prominence. Over 90% of people now ‘choose’  the default fund. In the UK, the default fund offered by NEST (the new not‐for‐profit provider created as  part of the auto‐enrolment reforms) has seen over 99% of members move into the default fund and 90%+  is common in many different types of pension funds.    The literature on pension performance highlights that governance of the fund is often a highly significant  factor  in  determining  the  performance  –  along  with  the  scale  and  cost  effectiveness  of  the  institution  (CommonWealth Partners and World Bank, 2017 forthcoming). Perhaps uniquely in global markets, it is  the not‐for‐profit providers (such as HOOPP in Canada) who tend to come out as the most effective in  rigorous comparisons of different providers (Impavido and others, 2010; Murray Review, 2014; Heale and  Martiniello, 2017).    However,  as  with  the  discussion  on  administration,  centralization  and  the  clearinghouse  model,  it  is  important  to  be  sure  that  a  country  has  enough  independence  from  political  interference  to  allow  independent governance to sustain the benefits of the model. Politics may always have some influence  on institutions, but the key is whether there is sufficient independence to allow a focus on the best long‐ run interests of members to be the main driver of the pension fund. If the law mandates that 100% of  assets  are  invested  domestically  then  a  pension  fund  that  was  otherwise  governed  independently  is  obviously constrained by politics relative to the unconstrained asset allocation it may otherwise choose.  This is not a static issue – since countries are able to move from extensive political involvement to a model  of independent governance over time. Political interference can be through directed investment in certain  firms all the way through to nationalization of the assets of private pension funds. Reversals in pension  reforms seen after the Global Financial Crisis highlight that the most efficient approach can fail to create  the  most  secure  option  because  quasi‐government  structures  may  be  more  easily  unpicked  or  even  nationalized (Hungary, Poland) than those that are more separated – particularly if contributions to social  security  are  partly  diverted  to  private  pensions  but  other  sources  of  funding  do  not  replace  the  consequential gap (Price and Rudolph, 2013). As far as we know there were no examples of employer  sponsored pensions run as separate entities that were ‘reversed’ in the crisis. Recent reforms to introduce  14    auto‐enrollment in Turkey for example, maintained a greater role for existing private pension providers  partly to keep a clear separation between the public and private pillars. The market structure was still  changed importantly by introducing auto‐enrollment, routing decisions via the employers to reduce the  role  of  sales  agents  and  switching  at  the  individual  level  and  enhancing  the  role  and  effectiveness  of  default employment strategies.    3.3.2 Investment strategy in private pensions and the potential impact of the NDC rule  This section has so far identified a range of important considerations for developing private pension pillars  that are relevant whatever the form of the public pension pillars. But the creation of an NDC pillar requires  the creation of the NDC formula that will create the return on the notional capita. There are many options  – and this section highlights the importance of modeling the likely joint distribution of outcomes between  the NDC and funded pillars. If the NDC system is based on a GDP growth rate, or has a wage indexation or  price indexation formula, how is that correlated with likely returns from different investment strategies?  Are  asset  prices  positively  or  negatively  correlated  with  the  formula  driving  the  NDC  payout?  This  is  relevant both to the accumulation phase of private pensions but also to the decumulation phase. How do  the payout rules for private pensions (annuity, re‐pricing or variable annuity, phased withdrawal or lump  sum)  interact  with  the  NDC  income  formula  –  and  other  pension  pillars  –  such  as  ‘Social  Pensions’  providing minimum income for all?     This issue is  highlighted by the fact  that a well‐established,  but often forgotten, feature  of real equity  market returns is that they tend to be negatively correlated with real per capita GDP growth.  The result  was established in Dimson, Marsh and Staunton’s “Triumph of the Optimists” using data from 1900 to  2000  and  subsequent  updates  of  their  Global  Investment  Returns  Year  Book.  This  result  goes  against  simple intuition for many people, but as explored in detail in Ritter (2005, 2012) there are in fact sound  reasons for the result. They help to shed light on the nature of equity market returns – and the importance  of good corporate governance in helping to ensure that companies return cashflows to shareholders if  they do not have rigorously evaluated investment projects that will yield a positive net present value.    The result for 19 developed countries between 1900 and 2011 is a correlation between real returns on  equities and growth of real per capita GDP that is minus 0.39. That is, if someone was seeking the highest  real returns on equities when choosing between a sample of countries in 1900 they would have done best  if they had chosen the countries that subsequently had the lowest growth in per capita GDP rather than  those that had the highest growth. This result is shown in Figure 4. The ‐0.39 correlation is for real equity  returns in local prices. If US dollars are used then the correlation is still negative at ‐0.32 (Ritter, 2012).                  15    Figure 4: Developed country correlations for real GDP growth rates and real equity prices 1900‐2011    Source: Ritter 2012    An obvious question is whether this is just a feature of developed countries. Using the same data set but  for a shorter run of years given the later emergence of equity markets in developing countries, the same  negative  correlation  exists.  Analysis  of  15  large  emerging  markets  between  1988  and  2011  found  a  negative correlation of minus 0.41.  These results are shown in Figure 5.    Figure 5: Developing country correlation of real GDP growth rates and real equity prices 1988‐2011    16      However, if one takes aggregate GDP growth rather than per capita GDP growth, then the correlation is  positive. Aggregate GDP growth however, does not abstract from the impact of population growth, with  the intuition for the positive correlation being in simple terms that the growth of population is akin to  existing owners of capital getting extra customers. Per capita GDP growth, by adjusting for population  growth, focuses on growth driven by productivity. The development of new and better ways to produce  goods and services is as likely to come from new entrants, which may even harm the profits of existing  owners of capital. In addition, over time in a broadly competitive market, the gains from productivity were  competed away (Ritter, 2012).     So, determining the ‘right’ investment strategy for the private pension pillar in an NDC system should take  into account whether there was a per capita GDP term or just an aggregate GDP term in the NDC formula.  Likewise, but not shown here for space, where there are NDC formulas that use the growth of wages it is  important to investigate the correlations between the growth of the notional assets and the real assets in  the funded pillars to determine likely future retirement income. A key takeaway is that these issues should  be investigated during the design phase of an NDC pillar. But even for countries where the NDC formula  is already set, the regulator of private pension funds and the governing bodies of those funds should both  be taking an interest in how the precise NDC formula might impact the optimal investment strategy for  their members. It would be an interesting exercise for a future paper to see if current NDC countries see  any systematic differences in the investment allocations of their private pension pillars, to the extent that  the issue has been internalized by any major fund. This regular investigation of how to create improved  investment allocations mirrors the importance of ensuring that pension funds invest in assets with the  best expected contribution to the long‐run retirement income of their members. Pension regulators can  sometimes encourage the opposite (through guarantees, relative and short‐term return measures and  allowing excessive switching).    3.4 Investment Execution  Once an investment strategy has been determined the issue is then to execute it. The range of options  here mirror those above with the investment strategy – from wholly in‐house public‐sector or not‐for‐  profit options to fully outsourced private fund managers. The governance of the overall process and the  monitoring  of  the  implementation  remains  critical  to  deliver  good  value  for  money  for  the  members.  Moreover, the political environment can also play a key role in determining the ‘right’ approach.    The  US’s  Thrift  Savings  Plan  delivers  Defined  Contribution  pension  benefits  for  Federal  Government  workers. It is probably the world’s most efficient fund, with total costs to members for administration and  investment  of  under  5  basis  points  a  year.  This  is  partly  driven  by  huge  economies  of  scale  in  administration. But it is also driven by the entirely passive investment execution that is a requirement of  its legal provisions. This requirement was imposed by the US Congress as a way of preventing any form of  political control over the direction of its investments (Long, 2018 forthcoming). A very different country  and  context  has  identified  a  similar  type  of  mechanism.  The  Kosovo  Pension  Saving  Trust  (KPST)  was  established as a funded DC pillar to provide the major source of retirement income for future Kosovan  Pensioners. It was founded in a post‐conflict environment, with no domestic capital market to speak of.  The  governing  board  of  the  KPST  includes  three  foreign  members  as  a  way  of  bringing  international  expertise, but also helping to reduce the impact of any domestic political interference. The board of the  17    KPST  determines  the  investment  strategy  and  is  then  required  to  execute  via  external  fund  managers  selected by competitive tender. The fund managers deliver the mandates at scale for the KPST rather than  having any relationship with the individual members. Finally, and importantly, the KPST has a requirement  to keep costs to a minimum and a target to progressively reach 50 basis points a year as a share of assets  under management (Zalli, 2018 forthcoming). These options are useful examples for countries who may  have  fears  that  in‐house  investment  management  by  public  sector  or  arms‐length  bodies  such  as  provident funds may be susceptible to political control.    However, the most robust internationally benchmarked evidence tends to suggest that the best net‐of‐ fee returns come from the in‐house management and execution of investment by very large not‐for‐profit  funds of the type found in Canada, the Netherlands and in Australia’s superannuation funds (Heale and  Martiniello, 2017). As highlighted above, these structures cannot be replicated in all places. But they do  appear  to  be  able  to  deliver  an  enhanced  alignment  of  interests  between  the  pension  fund  and  the  investment managers, and can save significant costs. The longer the investment chain, the higher the costs  and the higher the potential for weaker alignment. Heale and Martiniello (2017) show that a fund of hedge  funds  structure  can  cost  over  400  basis  points  a  year  extra  compared  with  the  in‐house  execution  of  similar structures – and lead to significant under‐performance in real returns net of fees. A recent case  study  on  major  Canadian  providers  showed  how  their  approach  developed  over  the  past  20‐30  years.  There was often an initial reliance on outsourcing investment, or unsatisfactory experiences with in‐house  management. As governance and expertise increased, in‐house capabilities improved, and a number of  funds set about to successfully bring in (previously outsourced) management in‐house, with an enhanced  net of fee performance as a result (CommonWealth partners, 2017). So even if this is the desired long‐ term structure it may be necessary to build slowly towards it.    3.5 Payout phase – administrative arrangements  A pension system is only complete when it has started to pay out an income in retirement.10 To do this  requires good quality account administration (see above) so that accumulated balances can be returned  to the members. It also requires the basic administrative capability to ensure proof of (continuing) life and  the minimization of fraud and error – which is sometimes performed by the pension fund if it pays the  pension  and  sometimes  by  an  insurance  company  if  pension  payouts  are  transferred  to  an  insurance  company. There is perhaps too little attention on the administrative requirements of the payout phase  compared to the accumulation phase. An NDC pillar by design integrates the two phases and can provide  useful insights for private pensions. When administrative systems are not well‐developed, the process to  choose and receive a pension can take many months and even longer. In many countries it will be simple  to make payments directly into bank accounts electronically and automatically. There is substantial merit  in using the most effective payments channel so that it is simple and low cost for a person to receive  pension payments in old age. Low cost is partly determined by any bank charges for transferring funds.                                                               10  The term “annuity” is not used in the same way in every country. Note that the terminology around payouts and  annuities  can  be  very  confusing.  In  some  countries  products  are  marketed  as  annuities  that  provide  a  way  to  accumulate assets to be taken as a lump sum when the person retires. In other countries the lump sum payout would  indicate  the  opposite  of  an  annuity  which  is  thought  of  as  a  stream  of  income  payments  not  a  one‐off  cash  distribution. In this paper we aim to link the payout category to the income stream it creates – hence an annuity  pays an income until death in the standard form and a phased or systematic withdrawal allows periodic payments  but no guarantee of income until death.  18    But it is also important in terms of the ‘shoe‐leather’ costs of find access to an ATM or a financial provider.  The financial inclusion revolution is making these issues simpler to solve – and can also help to reduce  fraud and error. Issues relating to the type of payout product are covered in Section 4.    4. The second set of design questions – what type of pension to deliver  Once a country is clear about what it wants private pensions to achieve in terms of additional outcomes  to public pensions and has thought through the most effective market structure and governance to deliver  pensions, it also needs to consider ‘traditional’ issues of benefit design, eligibility and payout rules. These  areas are clearly not all mutually exclusive. A good policy design and public consultation process will allow  iteration  and  adaptation  in  design.  But  a  central  message  of  this  paper  is  that  the  process  should  be  coherent and logically consistent. A country should not promise its people no risk, certain outcomes and  high benefits and then choose a Defined Contribution private pension pillar with limited expertise and  weak governance over investments. Equally, a country should  not follow a global trend  –  for example  choosing ‘pure DC’ private pensions with all the risk taken by individual members – if there are viable risk‐ sharing options that might have been discarded in the rush to avoid the implications of final salary Defined  Benefit plans with fully guaranteed benefits.    In terms of benefit structure, the best way to think about the suitability for the private pension pillar is to  include  the  existing  provision  on  the  public‐sector  side.  Many  countries  that  are  described  as  having  ‘moved from DB to DC’ in truth have only seen this trend among private pensions. The UK and US, for  example,  who  have  both  seen  a  30‐year  process  of  most  employer  sponsored  Defined  Benefit  plans  (particularly in the private sector) close first to new entrants and then to future accruals from existing  participants. However, both retain substantial Defined Benefit public sector pillars. The US first pillar being  particularly important for the vast majority of workers in retirement (Burtless, 2014) – whereas the UK  has a relatively modest first pillar by international standards (OECD, 2016).    Another element in determining the ‘right’ benefit structure is to be very precise on the actual terms of  the pension. A DB pension can mean a formula based on total years of work, with a long vesting period,  calculated on final salary and guaranteed against wage inflation for deferred members and then against  price inflation for pensions in payment. This is very expensive to deliver, has negative impacts on gender  equality  through  the  vesting  rules  and  greatly  enhances  the  impact  of  wage  inequality.  Moreover,  anchoring to inflation and wages makes it very difficult to adjust to shocks in the return on investments.  However, a Defined Benefit formula can also be much more flexible – focusing on career average salary  to deal with inequality, have low or no vesting rules to aid gender equality, and only allow indexation of  benefits if there are sufficient funds to pay for it. Likewise, a pure DC formula that places all the risk on  the member can lead to very large differences in retirement income purely by virtue of the start and end  year of a person’s contributions (Canon and Tonks, 2004). This can easily be modified to improve its risk‐ sharing properties. As above, nominal or real capital guarantees can be considered – with best practice to  use a backstop fund for the guaranteed elements (Antolin, 2012).     Contribution levels are of course central to the final pension outcome for defined contribution plans, as  is the ‘density of contributions’ e.g. the total number of payments made over a working life. In developed  19    economies with formal labor markets the density of contributions tends to be close to 100% for each year  of  employment  and  then  lower  due  to  periods  out  of  the  labor  market.  But  in  countries  with  greater  informality,  and  with  workers  in  seasonal  employment  everywhere,  they  may  find  it  very  difficult  to  contribute 12 months a year. Hence modeling the likely payout from a 5% contribution as a share of wages  should build in scenarios for likely payouts for those with less than 100% contribution record. The current  debates  about  the  performance  of  the  Chilean  system  are  partly  driven  by  the  realization  that  many  workers have far less than ‘official’ projections – because many simple projections assume a worker will  contribute the whole time. Even if there are many other variants presented, the full implications may be  lost on workers – whether the implications of a failure to contribute should be obvious or not. Working  out the ‘right’ level of contributions can be greatly assisted by models to project pension payouts from  private  pensions  (OECD  2012,  IOPS  2014,  Dowd  and  Blake,  2013,  Sane  and  Price,  2018).  They  provide  useful  tools  for  how  much  to  contribute  and  the  implications  of  different  investment  strategies.  As  highlighted above, a useful development if these models are used in the context of an NDC system, is to  model the joint distribution of outcomes from the investment strategy in the private pensions and the  NDC formula.    The final issue in this brief overview of the nature of the pension product relates to the payout phase.11  Without specifying the payout phase, it is not  possible to state  clearly the outcomes  that  the  pension  system is seeking to achieve. Many private pension systems are better described as saving accumulation  systems rather than retirement income systems. This is because they allow members to withdraw money  from the pension pot for other purposes such as health, education and housing, and then withdraw the  full amount of money at retirement in a lump sum. A multi‐purpose accumulation vehicle can be well‐ designed – as in  the  Malaysia and  Singaporean examples with some assets  permanently identified for  retirement and some proportion allocated for access to health, housing or education if needed. But early  access is often not well‐designed and can lead to significant leakage. The Society of Actuaries in the US  for example has estimated that some 40% of US retirement assets leak before retirement – principally  because workers can take the full accumulated pot when they change employer.    However,  the  potentially  attractive  benefit  design  in  Malaysia  during  the  accumulation  phase  has  traditionally been followed by a tendency to take 100% of the money as a lump sum at ‘retirement’. While  practice is changing, one survey showed that 70% of people had used all their retirement assets within 10  years of retirement (EPF, 2004). Clearly this is not ideal. There is no guarantee that this will happen given  the experience of Australia which allows 100% lump sums to be taken and where most workers do not  spend all the money within 10 years of retirement (ASIC, 2017). But for all the reasons that mechanisms  like mandatory or auto‐enrollment pensions and investment defaults work – it is prudent to mandate that  a percentage of pension assets go into an income generating product.                                                                   11  This section does not go into great detail on all the different annuity options which can be found in a range of  publications – for example Rocha and others (2011), or Brown, J. R., O. Mitchell, J. Poterba, and M. Warshawsky.  2001. “The Role of Annuity Markets in Financing Retirement”. MIT Press, Cambridge.  20    4.1 Adapting the NDC payout formula for use in the funded pillars  The NDC formula used to generate the retirement income in Sweden in fact provides an attractive way  for  countries  to  deliver  income  guaranteed  until  death  for  their  citizens  without  the  need  for  well‐ functioning annuity markets (Price and Inglis, 2017). An adapted form is used in Sweden’s second pillar to  provide a second stream of income until death in addition to the NDC pillar. The periodic repricing of the  income  paid  from  the  accumulated  assets  as  investment  returns  are  known  and  mortality  forecasts  updated removes the need for the regulatory capital to back the promised income in a traditional single  premium  annuity.  It  also  overcomes  the  psychological  barrier  people  face  when  spending  40  years  building their assets and then having to pass them all to an insurance company in one block to gain an  annuity. This issue is compounded by the insurance companies often not exploiting the illiquidity premium  that comes from having access to a source of capital that cannot be withdrawn (Rocha and Thorburn,  2007). Another recent and innovative example in the payout space is UK NEST’s initiative to combine a  phased withdrawal with a deferred annuity.     An NDC pillar by providing an income until death (along with any basic minimum pension) may mean that  the absence of annuity‐like options in the private pillar is less serious for old‐age poverty. It may also allow  a simplification of the task for private pensions by focusing on the first 10 or 15 years of retirement that  gives  a  fixed,  and  potentially  manageable,  target  for  many  people,  with  the  public  pillar  and  NDC  increasingly taking over as people age. One way to increase the coherence of this type of arrangement is  for public pensions to start at a relatively low level in the early years of retirement as people rely more on  private savings, but for the public component to ramp up in the latter stages of old age when private  assets have been drawn down and there are fewer people to cover and hence potentially lower costs.  Since the wealthy are more likely to reach old age, the higher public pension would need to be taxed to  ensure equity. This would further enhance the cost savings relative to the standard model of a payout  that  is  anchored  by  the  income  paid  at  retirement  (see  Price  and  Inglis,  2017  for  a  more  detailed  investigation of this idea).    Other  forms  of  payout  outside  a  traditional  annuity  include  phased  or  systematic  withdrawal  options.  These do not provide the guarantee of income until death, but can be a simple and effective way to move  beyond a ‘lump sum’ pension system to one that focusses on delivering income. Moreover, in systems  such as Australia which deliver a relatively high level of income from the public pillar, there is an argument  that there is less of a need for an additional source of income until death, particularly if there is universal  public  health  provision.  However,  even  in  Australia  the  government  itself  has  taken  the  view  that  the  current arrangements do not maximize potential outcomes and is developing a comprehensive retirement  income product or ‘MyRetirement’ option (Murray Review, 2014, Productivity Commission, 2016).    4.2 Regulation and Supervision  A  final  area  in  this  survey  of  issues  to  consider  when  developing  a  private  pension  pillar  relates  to  regulatory and supervisory arrangements. The argument for the power of coherence made throughout  this paper is important here too. In many discussions the case would be made that regulators should be  risk‐based – and implement risk‐based supervision (RBS). The central idea is that an entity needs to focus  their resources on the areas that create the greatest risks rather than spend time on areas that do not  reduce risk. The checking of daily investment limits in regulations is an example of a low‐value added task  21    since  most  are  likely  to  be  resolved  by  the  systems  in  the  investment  manager  which  will  leave  only  persistent breaches needing to be fixed.    Many regulators have adopted risk‐based supervision (IOPS, 2014), and there are many useful techniques  for off‐site and on‐site supervision. But before starting to use the techniques of RBS it is vital to set out  the  aim  or  objective  to  which  the  risks  are  relevant  to  avoid  the  process  of  risk‐based  supervision  potentially being driven by the techniques, or second‐order issues rather than always being rooted in how  the  regulator  can  best  contribute  to  the  achievement  of  the  long‐run  outcomes  set  out  for  pensions.  Bringing these concepts together is important because the risks that should be focused upon are those  that risk the achievement of the long‐run outcomes. The choices between inherently different activities  within  a  regulator  from  on‐site  supervision  through  to  communication  and  education  can  be  more  coherently decided within a framework which considers their contribution to the long‐run outcomes –  even if the measures of success are sometimes focused on intermediate indicators. A methodology that  unites the outcomes with risk based supervision, knowns as Outcomes and Risk Based Supervision, has  been  developed  by  Price,  Hafeman  and  Ashcroft  (2016).  The  recently  revised  OECD  Core  Principles  of  Private  Pension  Regulation  (2016)  now  have  as  the  first  line  the  clear  statement  that  the  focus  of  regulation should be on achieving the 5 long‐run outcomes highlighted above.    The focus on risk based supervision is sometimes applied too narrowly to mean just the work of off‐site  and on‐site supervision. It is more helpful for RBS to be understood as how to organize the combined  focus of (secondary) regulation and supervision. With this clarification, the best approach is one where  the regulator and supervisor use the choice of instruments that will best reduce the risks. For the risk of  fraud  that  will  reduce  assets  and  hence  reduce  adequacy  there  are  few  measures  as  important  as  mandating the use of custodians – as well as a focus on the overall governance of an organization. In other  areas, particularly with large, well‐run organizations, greater flexibility can be given so that the regulator  can focus on the weakest institutions. A key insight of risk based supervision is that a focus on what is  strictly  in  the  law  can  lead  to  wasted  effort  on  some  areas  and  a  failure  to  be  proactive  to  address  emerging risks in other areas. In some ways, the concepts mirror a theme within the International Social  Security Association’s (ISSA) principles for good governance of social security institutions – namely that  those  running  such  institutions  need  to  be  ‘dynamic’  in  terms  of  identifying  and  addressing  emerging  problems.  NDC  arrangements  could  benefit  from  being  included  in  supervisory  scope  to  enhance  accountability, transparency and trust.    The issues discussed above are far more important than a focus on structures – whether a supervisor is  specialized or integrated with other sectors such as insurance and securities – where there is no clear  pattern globally in terms of integrated, hybrid, specialized or functional regulators.12  The Global Financial  Crisis highlighted that structure did not dominate outcomes, since all models had examples of successes  and failures. Rather than structure, the key to dealing successfully with the challenges of regulation had  more to do with the ‘ability to act’ in terms of having the legal powers and resources, and the ‘willingness  to act’ in terms of having the independence, quality of staff and behavioral characteristics needed to take  tough but proportionate decisions necessary for an effective regulator (Vinals and Fiechter, 2010).                                                                12  Masciandaro and Quintyn, CEPR Policy Insights No 30, 2009.  22    A final note is worth adding on the importance of getting the implementation of policy right. The approach  outlined  above  deliberately  places  a  high  priority  on  understanding  the  ‘nuts  and  bolts’  of  the  way  in  which a pension system works. These are central, rather than incidental, to good outcomes. Policy makers  should ensure their teams have sufficient understanding of operational issues, including on ID and IT, and  on the program management skills to implement major policy and operational change. Taking this broad  and deep view can be an important way to mitigate the risks of project failure (OGC, 2012). Moreover,  the  implementation  of  major  pension  reforms  should  be  seen  as  major  program  of  work  –  and  run  accordingly. The role of the program or mission office in pension reforms in the UK and New Zealand’s  auto‐enrollment reforms and in India’s world record setting financial inclusion initiatives is instructive for  potential reformers (Ryder and Pande, 2017).    5. Conclusions  The role of private pensions in a country with an NDC pillar is important, as in all systems. No single pillar  can bear the full weight of delivering retirement income. Diversification in pension pillars is a more robust  strategy than a single pillar approach for both economic and political reasons. The first stage of pension  design  should  be  to  consider  the  long‐run  outcomes  a  policy  maker  is  seeking  to  achieve.  This  is  an  iterative  process  –  since  not  all  levels  of  income  (or  adequacy)  will  be  possible  with  a  given  level  of  contributions depending on the benefits formula employed. There are 5 core outcomes that should be  considered  at  this  stage  –  namely  coverage,  adequacy,  sustainability,  efficiency  and  security.  Thinking  through these outcomes also helps to clarify and hone down the possibilities for the design of the market  structure and other parameters such as benefit type, contributions, investment strategy and supervisory  arrangements.  The  governance,  scale  and  expertise  of  pension  funds  of  all  types  are  critical  to  good  investment  strategy  and  execution.  The  outcomes  that  drive  overall  system  design  should  then  flow  through to the regulator and supervisor. Their risk based approach should be driven by reducing the risks  to achieving the long‐run outcomes to which they can contribute. All these issues are relevant in relation  to any public pillar, but NDC systems bring the benefit of clarity and transparency in the benefit formula  with  automatic  adjustments  that  mean  they  are  more  likely  to  be  sustainable  over  time  than  typical  defined  benefit  rules  for  public  pensions  –  if  of  course  they  are  enforced.  The  NDC  formulas  may  be  usefully explored to provide lifetime income products for the private sector that may be easier to deliver  than traditional single‐priced life annuities. The NDC formula also potentially makes it possible to model  the joint distribution of public and private pensions with greater precision. Such modeling is important  because  small  differences  in  NDC  formulas  may  have  significant  impacts  on  the  optimal  investment  strategy in private pensions. One example of this is the negative correlation in the long run between real  per  capita  GDP  growth  and  real  equity  markets,  as  opposed  to  a  positive  (or  no)  correlation  between  aggregate  GDP  and  equity  markets.  As  in  all  elements  of  pension  design,  long‐run  outcomes  and  coherence matter. In countries where the NDC formula is based on average wages or the wage bill, it will  be correlations between these metrics and potential investment portfolios that need to be modeled –  something that could be the subject of future work.        23    References  ACFS  (Australian  Center  for  Financial  Studies)  and  Mercer.  2013.  “Melbourne‐Mercer  Global  Pension Index.” Mercer, London.  Bateman,  H,  Eckert,  C,  Iskhakov,  F,  Louviere,  J,  Satchell,  S  and  Thorp,  S  2013,  Default  and  1/N  Heuristics in Annuity Choice, School of Risk and Actuarial Studies Working Paper 2014/1.    Bernartzi,  S.,  and  Thaler,  R.,  “Heuristics  and  Biases  in  Retirement  Savings  Behavior”  Journal  of  Economic Perspectives—Volume 21, Number 3—Summer 2007—Pages 81–104  Bikker,  J.  2013.  “Is  There  an  Optimal  Pension  Fund  Size?  A  Scale‐Economy  Analysis  of  Administrative  and  Investment  Costs.”  De  Nederlandsche  Bank  Working  Paper  376  (April),  De  Nederlandsche Bank, Amsterdam.  Bosch,  M.,  A.  Melguizo,  and  C.  Pages.  2013.  “Better  Pensions,  Better  Jobs:  Towards  Universal  Coverage in Latin America and the Caribbean.” Inter‐American Development Bank, Washington.  Clark, G.L., and R. Urwin. 2008. “Making Pension Boards Work: The Critical Role of Leadership.”  Rotman Journal of International Pension Management 1 (1): 38–45.  Davis, J., Aliaga‐Díaz, R., Thomas, C., and Tolani R. 2013 “The outlook for emerging market stocks  in a lower‐growth world”, The Vanguard Group, Valley Forge Pa.  Demirguc‐Kunt, A., Klapper, L., and Panos, G. 2016. “Saving for Old Age.” Working Paper 7693,  World Bank, Washington, DC.  Demirguc‐Kunt,  A.,  Klapper,  L.,  Singer,  D.,  and  Van  Oudheusden  P.  2015  “The  Global  Findex  Database  2014:  Measuring  Financial  Inclusion  around  the  World”  World  Bank  Policy  Research  Working Paper 7255, Washington DC.  Dimson,  E.,  Marsh,  P.,  and  Staunton,  M.  “Triumph  of  the  Optimists:  101  Years  of  Global  Investment  Returns”, 2002, Princeton University Press, Princeton  Dimson,  E.,  Marsh,  P.,  and  Staunton,  M  (2005)  in  The  Global  Investment  Returns  Yearbook,  London  Business School and ABN Amro.  Dimson,  E.,  Marsh,  P.,  and  Staunton,  M  (2012)  in  The  Global  Investment  Returns  Yearbook,  London  Business School and Credit Suisse, London 2012  Dowd, K. and Blake, D. 2013 “Good Practice Principles in Modelling Defined Contribution Pension Plans”  Discussion Paper PI‐1302, The Pensions Institute Cass Business School, September 2013 ISSN 1367‐580X  Finseraas, H., Jakobsson, N., Svensson, M. (2017) “Do knowledge gains from public information  campaigns  persist  over  time”  Results  from  a  survey  experiment  on  the  Norwegian  pension  reform”, Journal of Pension Economics and Finance, Vol 16, Issue 1, January 2017, CUP, UK  Forward‐Thinking  Task  Force.  2014.  “Retirement  for  the  AGES:  Building  Enduring  Retirement‐ Income Systems.” American Academy of Actuaries, Washington, DC.  Government of India (2015) “Report of the Committee to recommend measures for curbing mis‐ selling  and  rationalising  distribution  incentives  in  financial  products”,  Ministry  of  Finance,  Government of India, India 2015  24    Harrison, D.  (2012) “Treating DC  scheme  members fairly in retirement?” Pension Institute  and  National Association of Pension Funds, UK, 2012  Holzmann, R. 2009 “Aging populations, pension funds, and financial markets: regional perspectives and  global challenges for central, eastern, and southern Europe” World Bank Group, Washington DC.  Ibbotson,  R.,  and Chen, P. 2003. “Long‐Run Stock Returns: Participating in the Real  Economy”.  Financial Analysts Journal 59(1): 88–98.  Impávido, G., Lasagabaster, E., & García‐Huitron, M. 2010. “New policies for mandatory defined  contribution pensions: Industrial organisation models and investment products”. Washington, DC:  The World Bank.  IOPS Toolkit for Risk‐based Pensions Supervisors. 2014. IOPS, https://www.iopsweb.org/toolkit/ Modules:  0 – Introduction; 1 – Preparation; 2 ‐ Quantitative Risk Assessment Tools; 3 ‐ Identifying Risks; 4 ‐ Risk  Mitigants and Risk Scoring; and 5 ‐ Supervisory Response.  Jackson, R., and T. Peter, and N. Howe. 2013.“The Global Aging Preparedness Index: Second Edition”  CSIS/Jackson National Life Insurance Company/Rowman & Littlefield, Washington, DC  LCP  (2016)  “Pension  De‐risking  2016:  Buy‐ins,  Buy‐outs  and  Longevity  Swaps”,  Lane  Clark  and  Peacock, UK 2016.  Mullainathan,  S.  and  Shafir,  E.  2013.  “Scarcity:  Why  Having  Too  Little  Means  So  Much”  Times  Books, New York 2013   OECD  Core  Principles  of  Private  Pension  Regulation,  Organisation  for  Economic  Cooperation  and  Development (OECD), 2016.  Palmer,  E.  2000  “The  Swedish  Pension  Reform  Model:  Framework  and  Issues”,  SP  Discussion  Paper 23086, World Bank, Washington DC.  Price, W. 2017 “Pensions  Payouts: Practical Proposals for Policy”, University  of San  Martin Del  Porres, Peru 2017.  Price, W., Ashcroft, J. and Hafeman, M. 2016 “Outcomes‐Based Diagnosis and Assessments for  Private Pensions: A Handbook”, Washington DC: World Bank Group  Price, W., Ashcroft, J. and Inglis, E. 2016 “Outcome Based Assessments for Private Pensions: Methodology  with a Case Study for Costa Rica”, World Bank, June 2016.  Price, W., Pallares‐Miralles, M. Demarco, G, and Attia, H. 2017. “Arab pension systems: trends,  challenges and options for reforms”. Washington, DC: World Bank Group.  Ritter, J., 2005. “Economic growth and equity returns”, Pacific‐Basin Finance Journal 13 (2005) 489  – 503  Ritter,  J.,  2012.  “Is  Economic  Growth  Good  for  Investors?”  Ritter,  Jay  R.  Journal  of  Applied  Corporate Finance, September 2012, Vol.24(3), pp.8‐18  Rocha, R., D. Vittas, and H.P. Rudolph. 2011. “Annuities and Other Retirement Products: Designing  the Payout Phase.” World Bank, Washington, DC  Rofman, R., I. Apella, and E. Vezza, eds. 2013. Beyond Contributory Pensions: 14 Experiences in  Latin America. Washington, DC: World Bank.  25    Sane,  Renuka;  Price,  William  J..  2018.  Simulating  Pension  Income  Scenarios  with  penCalc  :  An  Illustration for India's National Pension System. Policy Research Working Paper; No. 8304. World  Bank,  Washington,  DC.  Secunda,  P.  “The  Increasing  Use  of  Pooled  Retirement  Funds  in  Gig  Economies”, forthcoming  TPR (2015) “Regulatory guidance DB to DC transfers and conversions” The Pensions Regulator, UK  Vinals,  J.,  Fiechter,  J.,  Narain,  A.,  Elliott,  J.,  Tower,  I.,  Bologna,  P.,  and  Hsu,  M.  “The  Making  of  Good  Supervision: Learning to Say No”, IMF Staff Position Paper SPN/10/08, 2010, IMF Washington DC.  Young, A. 1995. “The Tyranny of Numbers: Confronting the Statistical Realities of the East Asian Growth  Experience,” Quarterly Journal of Economics (1995).  26