Strong Cities, Strong Communities  

National Resource Network

Program Evaluation

U.S. Department of Housing and Urban Development | Office of Policy Development and Research 

Visit PD&R’s website 

huduser.gov 

to find this report and others sponsored by HUD’s Office of Policy Development and Research (PD&R). 

Other services of HUD User, PD&R’s research information service, include listservs, special interest reports, bimonthly publications (best practices, significant studies from other sources), access to public use databases, and a hotline (800-245-2691) for help accessing the information you need. 

Strong Cities, Strong Communities 

National Resource Network  

Program Evaluation 

Prepared for 

U.S. Department of Housing and Urban Development 

Prepared by 

Brett Theodos  

G. Thomas Kingsley  

Eric Burnstein  

Sara McTarnaghan  

Christina Plerhoples Stacy  

Ruth Gourevitch 

September 2018 

Acknowledgments  

The Urban Institute wrote this report under contract to the National Resource Network and 

Enterprise Community Partners, with funding from the U.S. Department of Housing and 

Urban Development (HUD). We are grateful to them and to all our funders, who make it 

possible for the Urban Institute to advance its mission.  

The views expressed are those of the authors and should not be attributed to the Urban 

Institute, its trustees, or its funders. Funders do not determine research findings or the 

insights and recommendations of Urban Institute experts. Further information on the Urban 

Institute’s funding principles is available at www.urban.org/support. 

A special thanks to three people at the National Resource Network who shepherded this 

study from the beginning: David Eichenthal at Public Financial Management (PFM), Patrick 

Jordan at Enterprise Community Partners, and Neil Kleiman at New York University 

Wagner Innovation Labs. Thanks also to Tina Dudley and Nina Bennett at Enterprise 

Community Partners for providing us much of the program data we used for this research 

and connecting us with interviewees. We are grateful to current and former staff at HUD and the White House Council on Strong Cities, Strong Communities who supported this work: 

Patrick Pontius, Kate Dykgraaf, Mark Linton, Kate Reynolds, and Kheng Mei Tan.  

We acknowledge the insights and time that many interviewees shared with us that provided 

the foundation for this research. This includes staff from representatives from several 

localities participating in the program, a set of national stakeholders, and the technical 

assistance organizations: PFM, Enterprise Community Partners, HR&A Advisors, and Jobs 

for the Future. Finally, we appreciate comments that our technical reviewer, Nancy Pindus, 

provided that greatly improved the report. 

We also add a special mention to Tom Kingsley, a coauthor, mentor, friend, and esteemed 

colleague who contributed substantively to this research and will be greatly missed. 

Disclaimer 

The contents of this report represent the views of the authors and do not necessarily reflect the views or policies of the U.S. Department of Housing and Urban Development or the U.S. 

government. 

Contents 

Executive Summary ................................................................................................................. iii  

Chapter 1: Introduction and Background .................................................................................. 1  

Chapter 2: The National Resource Network ........................................................................... 10  

Chapter 3: The Evaluation ...................................................................................................... 16  

Chapter 4: Engagement Eligibility, Outreach, Intake, and Assessment ................................. 24  

Chapter 5: Engagements Deployment .................................................................................... 37  

Chapter 6: Analysis of Engagement Workability, Outputs, and Outcomes ........................... 54  

Chapter 7: National Resource Network Supporting Activities ............................................... 66  

Chapter 8: Implications and Lessons Learned ........................................................................ 73  

Authors.................................................................................................................................... 78  

Statement of Independence ..................................................................................................... 78  

References ............................................................................................................................... 79  

Appendix A: Methodology ..................................................................................................... 83  

Appendix B: Interview Guides ............................................................................................. 100  

Strong Cities, Strong Communities National Resource Network Program Evaluation 

ii 

Executive Summary 

The National Resource Network (NRN) is a collaboration of nonprofit, academic, and 

private-sector institutions working with the federal government to revitalize the nation’s 

economically distressed communities. Unlike previous federal programs targeted at 

revitalizing distressed communities, NRN is part of a broader urban strategy that seeks to 

work across federal agencies and break down programmatic silos at both the federal and 

local levels and tailor solutions to local needs and circumstances rather than prescribing a one-size-fits-all approach. The NRN was created to fill an identified gap, with program 

designers observing that federal technical assistance is typically dedicated to a particular funding stream, program, or compliance reporting and does not often address the 

comprehensive challenge of economic development. The NRN aims to foster collaborative 

partnerships between local stakeholders, including those from the municipal and state 

government and from businesses, nonprofits, anchor institutions, faith-based communities, 

and other public, private, and philanthropic groups. 

To accomplish these goals, the NRN deployed teams of private- and public-sector experts 

with the goal of working with cities on the ground to implement locally identified projects and initiatives that will deliver economic benefits. These engagements were meant to 

promote overall economic development and relieve fiscal stress, and they were meant to be 

responsive to the priorities local governments identified. The local government or 

governments and NRN staff (a consortium of private firms) jointly developed the assistance 

plans, and wherever possible, the plans were meant to include formal collaboration with local stakeholders outside of government. A set of secondary activities supported these direct 

assistance programs, including a technical assistance clearinghouse and resource library, a 311 for Cities service in which local governments can send questions to the consortium and 

receive advice and a peer-to-peer network. In every engagement, the local government or 

governments had to provide or raise 25 percent of the funds for the project. 

Since its inception in 2013 and until December 2016, the NRN undertook 36 engagements. 

These engagements ranged from narrow to expansive—from creating a plan for a new 

fountain in the town square to developing a comprehensive antipoverty initiative. Within the nine engagements that we sampled for this evaluation, the investments ranged from $66,000 

to $480,670 and took from 3 months to 1 year. 

How Did We Evaluate NRN? 

To complete a process and outcome evaluation of the program, we undertook interviews, site 

visits, and document reviews. We undertook interviews with key local government staff and 

the technical assistance providers both before and after each engagement in our sample. We 

then evaluated these data using an iterative process of coding, reviewing, sharpening, sorting, focusing, and discarding information until it was organized into key findings. Our evaluation focused on the direct engagements, although it does include a brief overview of the NRN’s 

supporting activities as well. Because of the lack of an identifiable set of counterfactual communities to serve as a control group and the wide variety of goals between engagements, 

a causal impact analysis was not feasible. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

iii 

We report basic information on all NRN engagements but take a deeper look at the following nine engagements in this evaluation: Baltimore, MD (school redevelopment, intensive); 

Meridian, MS (downtown development, moderate); Miami, FL (housing and neighborhoods, 

intensive); Providence, RI (financial management, moderate); Richmond, CA (financial 

management, moderate); the Salinas, CA, region (workforce development, moderate); Waco, 

TX (economic development, intensive); Wilkes-Barre, PA (downtown development, light); 

and Yuba City, CA (workforce development, moderate). 

Our key research questions included the following. 

•  Were the topics selected for the engagements consistent with the goals of the NRN 

and the expressed needs of the participating cities? 

•  Were the engagements well planned and carried out effectively and according to 

plan? 

•  Did the engagements meet their stated goals and yield short-term benefits that would 

otherwise have been unlikely to attain? 

•  Did the engagements yield valuable longer-term benefits that would not have been 

attained as a matter of course? 

•  What lessons can be drawn from the NRN experience that could benefit economically 

distressed, low-capacity cities generally in the United States? 

Who Ran NRN? 

The NRN consortium is made up of five organizations: (1) Enterprise Community Partners; 

(2) Public Financial Management; (3) HR&A Advisors; (4) the International City/County 

Management Association (ICMA); and (5) New York University’s (NYU’s) Robert F. 

Wagner School of Public Services. The first three of these firms have long histories in 

providing several types of technical assistance (TA) to local governments, and they staffed many of the TA engagements with individual cities under NRN. They also staffed the 

development of the peer-to-peer network and assisted with responses to assistance requests 

posed under the 311 for Cities service. ICMA undertook the work related to the technical 

assistance clearinghouse and, later, the NRN Resource Library. NYU developed the policy 

recommendations for understanding the NRN engagements, as they progressed against the 

broader evolution of urban policy in the United States. As a component of the larger Strong Cities, Strong Communities (SC2) initiative, the SC2 Council further oversees and funds 

NRN through a cooperative agreement with HUD. 

How Did the Engagements Work? 

The NRN together with the SC2 Council deemed cities eligible if they had a population of 

40,000 or more and at least one of the following criteria:  

•  An annual average unemployment rate of 9 percent or more (initially based on U.S. 

Bureau of Labor Statistics data released for 2013, and when data for 2014 became 

available, cities could qualify based on either year). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

iv 

•  A noncollege poverty rate of 20 percent or more (based on the 2010–2012 American Community Survey). 

•  A population decline of 5 percent or more between 2000 and 2010. 

In addition, a city could be eligible if it did not meet the previous criteria, but it had a limitation in core local government capacity because of a downgraded bond rating, a failure to balance its budget for 2 or more years since 2008 or a reduction of government workforce of 10 percent or more during the previous 3 years. 

Once verified as eligible, nine cities were selected as “beta” sites—initial tests for the NRN 

process. After these beta sites, all other cities went through an intake process that involved individual e-mails to eligible cities. Outreach to cities also involved the leveraging of prior relationships with eligible cities to make direct contacts. Aside from the beta sites, each city then submitted a request for assistance. 

Engagements began with an assessment that involved an initial call with the city (or group of cities) and then background research on what a plan for the engagement might entail. After a second call with the city or cities to review this initial plan, NRN staff visited the site and met with an array of stakeholders, both inside the government and out. After the site visit, the NRN staff created a presentation and internal debrief for other NRN staff and created a final recommendation for the engagement. Local government staff had the opportunity to review 

and suggest changes to the engagement plan. Once agreement was reached between local 

government staff and NRN, NRN created a final assessment report, engagement plan, and a 

memorandum of understanding between the city or cities and the NRN team for all parties to 

sign. 

Engagement recipients were then matched to appropriate TA providers based on the scope of 

work, and the engagements began. The depth of the engagements varied widely in length and 

resources, but all involved some onsite presence of TA providers and remote work. 

What Outcomes Were Achieved? 

Overall, both local representatives and NRN team members viewed NRN engagements as a 

success. Both groups strongly believed that the engagements provided a valuable service, 

which the sites would not have otherwise been able to access. In fact, when asked whether 

the work done in the engagements would have occurred in the absence of the NRN program, 

nearly all respondents—NRN team members, local government representatives, and other 

local stakeholders—indicated that they believed that their city would not have been able to accomplish the tasks. 

Although the engagements did not always match the plans that the sites first requested, city stakeholders were generally happy with the resulting focus of the engagements. The 

recipients also generally felt that the assessment process helped them to refine and solidify the specific form and nature of the engagement. 

In general, the NRN provided engaged cities with a tangible, primary deliverable that was on time and met recipients’ expectations, although a few of these products did not receive 

positive feedback from local representatives. Several sites and NRN teams also reported 

positive near-term outcomes that were attributable to the engagement, such as better 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

v 

collaboration between local government representatives and community partners and immediate changes in budgeting and policy priorities that led to better budgeting outcomes. 

A few sites have also achieved some longer-term outcomes, such as significant investment in the downtown areas and new national partnership and collaborations. However, some sites 

expressed concerns about the sustainability of these changes, explaining in some instances 

that projection tools developed for their use by the NRN may be too advanced for the 

capacity of their staff, may be poorly constructed, or may not be in line with current 

priorities. 

The engagements were generally viewed as successful. The NRN was intended to assist 

cities in a mix of engagements and significant peer network activity. During the course of 

this study, 36 engagements were completed or on track for completion. Several additional 

engagements are continuing to come online after our study period, and other cities were 

served through light touch approaches like 311 for Cities. 

Although the TA engagements are the primary activity of the NRN—and the focus of this 

evaluation—the NRN also provided a variety of other resources and services to the engaged 

sites that they used to varying degrees. Respondents generally referred to the clearinghouse as a good opportunity to find resources on what other locations were doing, but most the sites in our sample did not use this resource. The sample sites did use the NRN-funded national 

meetings and smaller group activities to discuss ongoing work in locations related to the 

NRN and share advice on topics related to economic development, public management, and 

finance. 

What Can We Learn From NRN? 

The NRN offers a new approach for the federal government to assist a set of distressed 

American cities. The sample of NRN engagements examined in this study produced a 

number of valued short-term products and related benefits that furthered local interests. 

Although we cannot pin down the causes of the outcomes, given the limits of this type of 

evaluation, several factors rise to the top. 

We believe the initial assessments enabled the engagements to be more thoroughly and 

collaboratively planned between both the site and the TA providers than traditional 

consulting arrangements, increasing the probability that the assistance would be workable 

and match the true needs, desires, and capacities of the local governments and communities. 

A second factor was the emphasis given through NRN to collaboration between not only 

various municipal departments but among the local government, civic leaders, and other 

stakeholders outside of the government. 

A third factor was the NRN context, or the fact that these engagements operated as a part of a high-level and coordinated federal initiative (SC2) made a difference. 

As of this writing, there is no agreement at the federal level to add funding to the existing NRN cooperative agreement. There has been, in the past, strong bipartisan support for the 

basic ideas behind the SC2 initiative (that is, the three themes of breaking down 

programmatic silos, tailoring solutions to real needs and circumstances, and fostering 

collaborative partnerships). If interest in a broader program with these aims continues, should 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

vi 

the NRN engagement approach be a part of it? The NRN engagements were not perfect, of course, but they worked well overall considering the possibilities for these types of 

endeavors. Indeed, the NRN is identifying philanthropic support to continue its work. 

Further research along several lines is warranted. To start, it would be valuable to explore why a relatively large share of qualified cities did not respond to the requests for assistance. 

Related to this exploration, if NRN work continues and demand outstrips its ability to supply support, targeting warrants further investigation. Although the eligibility criteria are 

defensible, they are proxies for the real attributes of underlying need the NRN is trying to address. As a result, more research could be conducted to understand which cities are best 

positioned at the intersection of need, interest, and availability to see through an NRN 

engagement. 

Beyond exploring these factors, as alluded to previously, it would be of considerable value to track the engagements over a longer period. Further empirical case study work—either 

quantitative or qualitative—could be conducted to investigate outcomes or impacts of 

interventions in a specific site. Evaluating community change efforts is challenging, and 

many design elements must be considered, but some good examples exist, and promising 

practices are available to researchers (Theodos and Firschein, 2015). 

Finally, more research would be beneficial that evaluated different approaches, explicitly 

comparing their effectiveness. It would be worthwhile to better understand the benefits of 

NRN vis-à-vis approaches like community solutions teams, traditional city-focused 

consulting, and university-based public extension work.

Strong Cities, Strong Communities National Resource Network Program Evaluation 

vii 

Introduction and Background 

Introduction and Background 

This report examines the evaluation of the National Resource Network (NRN). The NRN was 

birthed as a major component of the Strong Cities, Strong Communities Initiative (SC2). SC2 is an assistance program designed to help distressed cities address their central economic 

development and fiscal problems. It began with targeted assistance to several pilot cities starting in 2011. Building off lessons from those pilots and other research, the NRN is a sizeable support network that aids a much broader range of cities. This evaluation assesses NRN performance 

from October 2013 (its start date) through December 2016. 

Structure of the Report  

This report is divided into eight chapters. The first three offer background information about context, SC2, the NRN, and the evaluation. The remaining chapters provide the results of the evaluation and interpret its findings.  

Chapter 1: Introduction and Background.  The remainder of this chapter explains the SC2 

concept and its evolution. It begins by examining the context in which new programs were 

formulated in the late 2000s—the challenges U.S. cities face and the problems with traditional federal assistance programs designed to address them. It then reviews the programmatic 

framework that was designed in response, including the role and concept of SC2. Finally, it describes the initial activities of SC2—the “community solution team engagements” undertaken in the pilot cities.  

Chapter 2: The National Resource Network.  This chapter provides a basic description of the NRN. It opens with an overview explaining the NRN’s purposes, basic activities, and how it was carried out. It then goes into more depth on the NRN consortium, describing the group of firms that operated the NRN, how they were organized, and how they managed the work. 

Chapter 3: The Evaluation.  Here, we explain the design of this evaluation and how it was conducted in the field. A section on our approach and the type of evaluation that was possible in this context is presented first. We then review the questions that guided the research and our approach to selecting the sample of technical assistance engagements in nine sites that were the empirical basis for the largest part of the evaluation. The remainder of the chapter explains methods employed in each element of the evaluation work program. 

Chapter 4: Engagement Eligibility, Outreach, Intake, and Assessment.  This chapter covers the “front end” of the NRN’s work with individual sites. The first part deals with the overall program: eligibility criteria, characteristics of eligible cities and those cities that requested assistance, and how the processes of outreach, intake, and assessment worked in practice. The second part summarizes the assessments (substance and process) that were conducted in each of the nine sample sites and then presents the response to the first research question: Were the topics selected for the engagements consistent with the goals of the NRN and the expressed needs of the participating cities? 

Chapter 5: Engagements Deployment.  Here we discuss the actual deployment of NRN 

engagements. Again, the first part of the chapter looks at the NRN experience overall: identifying all the cities that had NRN engagements (and their topics, intensities, and TA teams that were 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

1 

Introduction and Background 

assigned) and reviewing the characteristics of those cities. The second part presents summary descriptions of the engagements and how they were carried out in each of our nine sample sites. 

Chapter 6: Analysis of Engagement Workability, Outputs, and Outcomes.  This chapter 

presents our analysis of the evidence pertaining to our three central research questions. Were the engagements well planned and carried out effectively according to plan? Did the engagements meet their stated goals and yield short-term benefits that would otherwise have been unlikely to be attained? Did the engagements yield valuable longer-term benefits that would not have been attained as a matter of course? 

Chapter 7: National Resource Network Supporting Activities.  In addition to the engagements, the NRN also provided a series of supporting activities, such as technical assistance clearinghouse and resource library, 311 for Cities service, peer-to-peer network, policy recommendations, and local resource network. We were not asked to evaluate these activities, but we were asked to describe what occurred and what was accomplished in each. This chapter presents these findings. 

Chapter 8: Implications and Lessons Learned.  This final chapter presents our response to our final research question: What lessons can be drawn from the NRN experience that could benefit economically distressed, low-capacity cities generally in the United States? It also discusses additional research that would be needed to answer this question more fully than was possible with the evidence we collected in this project. 

America’s Cities at the Start of a New Century  

The early 1990s marked a modern low point in the health of U.S. cities after at least 2 decades of nearly pervasive decline (Ginzberg, 1993; Kodrzycki and Muñoz, 2013; Mallach, 2010). Cities had suffered sizeable and continuing losses of employment and population. The 

deindustrialization of the nation came with large absolute losses in manufacturing employment—

the jobs that had brought many city residents into the middle class since the 1940s. Jobs in other sectors may have grown or stabilized regionally, but many moved to the suburbs. Declines in urban employment meant increases in poverty rates in the cities. This concentration of poverty continued to increase and led to the debilitating social environments in some urban 

neighborhoods, as William Julius Wilson and others documented (Jargowsky, 1997; Wilson, 

1987). This concentration of poverty had a devastating effect on city finances. Concentrated poverty created a growing need for public services at the same time that losses of population and businesses along with declining property values were reducing the tax base needed to fund them (Pack, 1994). 

Although many observers doubted that these trends would ever turn around, they did. The 

booming national economy in the final half of the 1990s brought improvements for cities in key indicators of economic health (Katz and Berube, 2002), including a notable reduction in 

concentrated poverty (Kingsley and Pettit, 2003). However, even then, the results were not 

uniform. Although many cities saw economic revival and population gain, others (especially 

where regional economies lagged behind) did not.  

Another decline after the fall of the technology sector slightly after the turn of the century and the later financial crisis of 2008 followed the progress of that period. Concentrated poverty once again began growing nationally (Kneebone, 2014; Pendall et al., 2011). Economic distress 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

2 

Introduction and Background 

increased in cities of several regions, including the postindustrial Midwest, California’s Central Valley, and greater New Orleans (Mallach and Brachman, 2013). 

By the end of the 2000s, prospects were mixed for American cities. Serious urban problems 

remained, yet trends showed some level of stabilization and possible growth. The economic 

collapse of the Great Recession undermined growth in national indicators. With the legacy of subprime lending abuses and the concurrent bursting of the housing bubble, the foreclosure crisis devastated many urban neighborhoods during this period (Immergluck, 2009). A further 

acceleration in concentrated poverty accompanied this devastation and increased the pressure on municipal budgets (Jargowsky, 2014; Kneebone, 2014). In light of these trends, the new 

administration was almost immediately confronted with a new urban crisis of rapidly escalating proportions and needed new tools to address these systemic problems quickly. 

Reorienting the Federal Approach  

The most important efforts by the federal government to address urban problems have always 

been tied in to general programs to reinvigorate the national economy. This strategy remained true for the American Reinvestment and Recovery Act of 2009. In addition, the Neighborhood 

Stabilization Program, authorized by the Housing and Economic Recovery Act of 2008, 

supported a range of property-oriented activities designed to deal with the effects of the 

foreclosure crisis (Joice, 2011). 

The United States also had—and still has—a series of categorical assistance programs to support cities. Individual federal agencies operate these programs, and their effectiveness has always been questioned, as von Hoffman’s (2012) and Khadduri’s (2015) differing reviews of those oriented around HUD’s mission demonstrate. These programs have existed, typically in smaller form, 

alongside larger block grant programs, such as the Community Development Block Grant 

(Theodos, Stacy, and Ho, 2017).  

The Obama Administration signaled its intent to give special emphasis to creating a new approach to urban policy by creating a new White House Office of Urban Affairs soon after coming into office (in 2009, later merging into the White House Domestic Policy Council) and by rethinking the federal approach. 

Addressing the Problems of Categorical Programs  

In devising its own approach, the administration began by recognizing serious criticisms of the way the categorical programs had typically been carried out in the past. Materials on the rationale for the new programs they developed stressed three themes for reform, as Fudge and colleagues (2012: 9–10) explained in their proposed application. 

1.  Breakdown Programmatic Silos.  Separate federal agencies operated categorical 

programs. Legislation required these agencies to adhere to a clearly defined approach and 

prohibited the flexible use of funds across programs. Agencies were criticized for not 

coordinating with each other or adapting their approaches, even if they were being 

implemented in the same place. Similarly, and in part because of the separate and 

restricted federal funding streams, local grantee activities were uncoordinated. Under this theme, the administration’s approach aimed at “improving the way the federal government 

does business: cutting through red tape and rationalizing the federal bureaucracy to help 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

3 

Introduction and Background 

deal with the overlapping maze of agencies, regulations, and program requirements that 

are sometimes confusing and inhibit resilience to future shocks” (Fudge et al., 2012: 9).  

2.  Tailor Solutions to Real Needs and Circumstances.  Program solutions of different agencies were handed down from above and were seldom modified, even when local 

grantees had identified integrated cross-program solutions they believed would be more 

effective. Habits of the federal implementers, as well as by overt legislative restrictions, explained this rigidity. This theme recognized the need to “find ground-up rather than top-down solutions while providing on-the-ground technical assistance and planning resources 

tailored to real local government needs” (Fudge et al., 2012: 9). 

3.  Foster Collaborative Partnerships.  Because of restrictions on form and implementation processes, these programs seldom involved building collaborative partnerships at the local 

level to support and help implement them. Local stakeholders had little sense of 

ownership over them, because they could exert little influence on how they would be 

carried out. This theme emphasized the need to develop “critical partnerships with key 

local and regional stakeholders that encompass not only municipal and state governments 

but also new cross-functional partnerships with the business community; nonprofits; 

anchor institutions; faith-based institutions; and other public, private, and philanthropic leaders” (Fudge et al., 2012: 9).  

These issues were brought to the forefront early on as the administration called on its agencies to review and think through better ways of planning and implementing their place-based programs (Orszag et al., 2009). This orientation forced agencies to more clearly recognize that a program working well in one place (city, or more importantly, neighborhood), might fail in another 

because of different needs and circumstances. One-size-fits-all approaches were to be avoided. 

New Grant Programs  

The most visible way the administration sought to reorient practices was by instigating new competitive grant programs. It first recognized the importance of reforms at the regional level, where sprawl-oriented development systems were constraining economic growth and 

exacerbating social segregation and environmental stress. It then emphasized new approaches to addressing the problems of neighborhoods overwhelmed by the effects of concentrated poverty. 

Sustainable Communities.  The administration’s first step regionally was an organizational move to begin to break down silos. In June 2009, the secretary of HUD, the secretary of the U.S. 

Department of Transportation, and the administrator of the U.S. Environmental Protection 

Agency (EPA)_established a joint Partnership for Sustainable Communities that would explicitly work to strengthen interagency collaboration and coordination (Pendall et al., 2013). HUD then established a Sustainable Communities Regional Planning grant program that would ultimately award more than $165 million to 74 regional grantees from 2010 through 2014. HUD sought 

proposals from local consortium for planning processes that would engage local stakeholders and residents in meaningful decision-making roles. Broader collaboration and coordination was a central theme, as it had been initially at the federal level.  

Transportation Investment Generating Economic Recovery (TIGER) Grants.  To further 

address problems at the regional level, the administration established the TIGER program, taking a share of its existing budget for transportation and making it available to locals on a competitive 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

4 

Introduction and Background 

basis. To win these grants, local entities had to develop proposals that would exhibit strategic thinking, often about multimodal projects that did not easily match the specifications of 

traditional grant programs. Applicants were encouraged to address the three reform themes noted previously. Proposals would involve mixing state, local, and private funding and focus on 

coherent solutions to real problems and opportunities, as they were understood locally.  

By 2016, TIGER had provided $5.1 billion in funding to more than 420 projects 

nationwide—a tiny drop in the overall infrastructure bucket, but one that had an 

outsized impact for how it encouraged communities to leverage other funds. The 

$500 million in TIGER grants in 2016 supported $1.74 billion in overall 

investments (Graff, 2016). 

The Neighborhood Revitalization Initiative.  The administration created neighborhood-focused programs as well. One (starting in 2009) was HUD’s Choice Neighborhoods (Fudge et al., 2012; HUD, 2011), which called for the physical transformation of an assisted housing project in each selected area, but it also reached beyond that to address other housing and service needs (for example, education, workforce development) in the surrounding neighborhood. Another was the U.S. Department of Education’s Promise Neighborhoods initiative that offered a “cradle to 

career” approach to child and youth development (CSSP, 2011; Komro, Flay, and Biglan, 2011). 

This program sought a coherent set of supports that began with early childhood development and stretched into linkages to careers providing living wages, all which focused on the residents of geographically defined neighborhoods. The U.S. Department of Justice’s Byrne Criminal Justice Innovation Program was also a part of this mix. 

Methods to support the three reform themes were built into the structure of each component, but to give them more emphasis, an umbrella entity was created in the White House Domestic Policy Council, the Neighborhood Revitalization Initiative (White House, 2011). The Neighborhood 

Revitalization Initiative would help coordinate these programs at all levels and give them (and the reform themes) additional prominence as a coherent approach to addressing urban problems. It would be a base for collaboration by the participating agencies and work to spur additional changes to national laws and policies (for example, to expand the opportunity for neighborhood programs to braid and sustain flexible funding from diverse sources). 

Although the early implementation of Choice Neighborhoods already has been evaluated (Pendall et al., 2015), the other Neighborhood Revitalization Initiative components have yet to be fully documented. However, the Neighborhood Revitalization Initiative was unable to achieve the level of de-siloing that had been initially hoped for, because different congressional committees that were unwilling to allow true blending of funding streams and the elimination of separate 

program-by-program reporting requirements funded the programs (Pendall et al., 2016). 

Building Capacity With Strong Cities, Strong Communities 

As the new grant programs were getting under way in 2010, the White House Domestic Policy 

Council team recognized that something of vital importance was missing. Their experience 

suggested that many of the most distressed U.S. cities did not have sufficient technical and institutional capacity to participate in these programs, to develop competent proposals, or to implement the requisite work programs if selected. More fundamentally, although their problems were most severe, those cities did not have the capacity to begin to address their underlying 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

5 

Introduction and Background 

economic and fiscal plight in a workable manner. An additional initiative was needed to build the capacities of such cities, so they strengthen their economies and reduce the extent of their current distress. 

Strong Cities, Strong Communities Concept for Capacity Building 

To respond to this priority, the administration saw that a variety of support services might be appropriate, but direct and forceful, hands-on technical assistance “engagements” would have to be among them if the barriers to progress in these places were to be penetrated. If breakthroughs were to be had, the reform themes that guided the administration’s thinking on other programs would also be critical here: breaking down programmatic silos, tailoring solutions to real needs and circumstances, and fostering collaborative partnerships. 

An initial review indicated that TA resources routinely available in the United States to build local government capacity would not meet these requirements (Mallach, 2010). Many 

organizations provide TA with the objective of building capacity, but nearly all are oriented around specific substantive programs; that is, they are “siloed.” Hardly any are specifically designed to deal with the situations of the most distressed cities, and none could be identified that did so consistently with the three themes for reform. For this strategy to work, the Domestic Policy Council team saw six imperatives. 

1.  Cities would have to be selected for assistance based on the analysis of objective data on the extent of their distress. 

2.  The assistance provided would have to be responsive to priorities identified by the local governments (key to making them truly responsive to real needs and circumstances). 

3.  The assistance could deal with a wide range of topics, but it all had to be oriented toward the central objectives of promoting overall economic development and relieving fiscal 

stress (unless progress was being made in those areas, little hope for real success with 

other individual operations would remain).  

4.  The actual assistance plan would have to be developed jointly by the local and federal 

participants and agreed to in writing (so the latter could ensure that the plans for the 

assistance at hand would be workable and conducted in a manner that would encourage 

more focused and effective economic revitalization and management of the city overall). 

This meant that the engagements would be designed essentially in a ground-up mode but 

with guidance and consultation from the NRN. 

5.  Wherever possible, the engagements should include formal collaborative participation by local stakeholder groups outside of government and other local governments (consistent 

with the third reform theme). 

6.  Engagements would be designed to take advantage of the opportunities provided by teams 

of federal officials from different agencies (on loan to the city) working collaboratively 

with each other and city staff (breaking down silos between federal agencies, as well as 

between the federal staff and the locals and bolstering the capacities of both federal and 

local personnel). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

6 

Introduction and Background 

The SC2 Program and the Community Solution Team Pilots 

With these understandings as their guide, the Domestic Policy Council team designed the SC2 

program with two major activities: (1) direct technical assistance engagements (called 

“community solutions teams”) with six pilot cities, and (2) the NRN. The NRN would take SC2 

assistance to a much broader range of cities based, at least in part, on lessons from the pilots (see chapters 2 and 3). The program also contained two smaller activities: (3) an SC2 Fellowship Program administered by the German Marshall Fund, and (4) an Economic Visioning Challenge 

run by the Economic Development Administration.1 Although the Domestic Policy Council 

initiated all SC2-related work, responsibilities were later transferred to the new White House Council on Strong Cities, Strong Communities (the SC2 Council).2  

The first step in initiating the pilot engagements was securing the participation of the federal agencies whose staffs would undertake the work in the field. A financial obligation that had to be covered out of the agencies’ own budgets. Ultimately, 17 agencies agreed to participate. Those agencies that ultimately contributed the largest numbers of personnel to the solution teams were HUD (19), the U.S. Department of Health and Human Services (14), U.S. Department of 

Commerce (12), Department of Transportation (11), and the EPA (10) (Abt, 2014: 20). 

The activity needed site selection next. The process, as the report on the evaluation of the pilots described, worked as follows. 

First, staff from federal agencies participating in the SC2 initiative analyzed data 

from several public datasets to identify cities experiencing significant economic 

challenges. Based on these data, they created a composite measure of distress 

using rates of unemployment, population loss, residential vacancy, poverty, and 

residential overcrowding. Senior staff...then contacted the cities identified as most 

challenged to gauge their level of interest in participating. (Abt, 2014: 23) 

Next, the Domestic Policy Council team implemented what has been regarded as one of the most important innovations in SC2: the Opportunity Assessment. 

Opportunity Assessments Teams.  Onsite meetings were between federal staff and leaders and staff of the interested cities, where the hard-nosed diagnosis of both the nature and depth of local TA needs and of the seriousness of the cities’ interest took place (consistent with the SC2 

imperatives for reform). Where they went positively, they also allowed for initial progress in team bonding and negotiating working arrangements. The Opportunity Assessments in advance of the community solutions teams were conducted in March through April of 2011.  

The process led to the selection of six pilot cities: Chester, Pennsylvania; Cleveland, Ohio; Detroit, Michigan; Fresno, California; Memphis, Tennessee; and New Orleans, Louisiana. By 

September 2011, agreements had been formulated, the community solutions teams had been 

assembled and deployed, and the work was under way in all these cities.  

Each pilot city had a SC2 team consisting of a team lead and additional federal 

experts who worked full time, part time, or in an advisory role for the engagement. 

1 HUD (2012) explained more fully the basic concepts behind each of these components. 

2 Executive Order 13602 published in the  Federal Registrar on March 15, 2012. 77 Fed. Reg. 16131. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

7 

Introduction and Background 

A small number of members were deployed to live and work full time in the pilot 

cities, while the remainder worked out of federal headquarters or federal regional 

offices. Advisory members did not have a dedicated time commitment to the pilot, 

but rather served as on-call support. (Abt, 2014: 24) 

In the spring of 2014, a second round of SC2 community solutions teams were deployed in seven additional cities, with only modest refinements of the approach implemented for the first round: Brownsville, Texas; Flint, Michigan; Gary, Indiana; Macon, Georgia; Rockford, Illinois; Rocky Mount, North Carolina; and St. Louis, Missouri. 

Results and Implications of the SC2 Community Solution Team Pilots 

In April 2013, 18 months after the pilots in the first six cities began, the first annual report of the SC2 initiative documented numerous activities that all six of the pilot cities had undertaken. The report offered conclusions about policy lessons and innovations, stating: “The work of SC2 teams in pilot cities has demonstrated that areas exist in which programs can be better aligned, the regulatory climate can be more supportive, and new or reformed programs can better help 

distressed communities meet their needs” (SC2 Council, 2013: 21). 

Deeper analysis of these activities for the first six pilots during the same 18-month period is provided in an evaluation Abt Associates (2014) conducted.3 Abt Associates found that, coming out of the assessments, the community solutions teams provided services on a broad variety of topics. Their achievements “ranged from helping cities solve small isolated problems or 

mitigating bureaucratic barriers to developing sustainable collaborations and plans that are expected to benefit cities long after the SC2 engagement ends” (Abt, 2014: 3). 

All topics were looked at from the standpoint of their contribution to economic development. 

Some addressed that goal in a fairly direct and comprehensive manner (for example, sectoral economic development, job training or placement, downtown revitalization), but for others, the relationship to economic development was less direct—for example, public safety, homelessness, infrastructure, neighborhood revitalization (Abt, 2014). Most engagements supported a mix of the broader and narrower activities. 

Overall, the Abt Associates evaluation concluded that— 

The SC2 team approach can be an effective way to address the priorities of cities 

facing significant economic challenges. This is particularly true in instances where 

key players...are committed to the engagement and willing to provide the time and 

resources to identify and overcome obstacles to progress. (Abt, 2014: 2) 

It also noted that— 

Stakeholders in the pilot cities described the strengths of the SC2 approach in 

terms of how it changed their relationship with the federal government and in 

terms of the outcomes achieved for their cities. They valued the bottom-up 

approach that replaced the usual federal interactions with cities rooted in 

3 This evaluation did not cover work in the second-round cities. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

8 

Introduction and Background 

compliance and monitoring and encouraged federal staff to get involved in the 

day-to-day operations of their cities. (Abt, 2014: 57) 

The evaluation identified 40 concrete accomplishments of these engagements. It found that these accomplishments most often occurred in work focused on troubleshooting and resolving 

particular problems that had been holding up city progress (for example, red tape, limited access to new resources) and in brokering local or regional partnerships. In terms of content areas, 

“activities that produced key accomplishments most commonly related to economic and business development, transportation, health, land use, and public safety” (Abt, 2014: 36). 

After reviewing the Abt Associates evaluation and other materials on the pilots, Pendall and colleagues (2016) concluded the following. 

The unique feature of SC2 was not the practice of using community solutions 

teams but that local governments were given the opportunity to prioritize what 

they needed assistance on and the federal agencies coordinated to design flexible, 

custom responses to the issues raised. However, SC2 was solely supported by 

federal agencies’ existing resources, resulting in variation in how much staff 

agencies could contribute and limiting the time federal staff could engage with the 

cities. ... Cities with stronger mayoral involvement made more progress in 

implementation than those where mayors were less involved. And even though 

SC2 was designed in part to improve local administrative capacity in distressed 

cities, SC2 teams made little progress in cities where capacity was practically 

nonexistent. (Pendall et al., 2016: 24) 

As is the case with this evaluation, the circumstances of the SC2 pilots made it impossible for Abt Associates to conduct an impact evaluation (where outcomes of treated communities are 

measured against comparison communities and causal inferences can be drawn reliably, as we 

cover in the Evaluation Constraints section in chapter 2). Nonetheless, the results of their process evaluation were generally positive. This earlier anecdotal evidence on accomplishments in SC2 

pilots (SC2 Council, 2013) and a number of well-publicized endorsements by mayors on 

successes in their cities provided support for continuing the same basic approach without any major changes in the NRN (Graff, 2016). However, lessons from the pilots led to some 

adaptations in the NRN, most notably the need for more emphasis on getting top leaders (mayors and managers) involved directly and avoiding cities where capacity was too low to make the 

approach workable. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

9 

The National Resource Network 

The National Resource Network 

This chapter begins with an overview description of the National Resource Network as it 

operated through December 2016, explaining the NRN’s purposes, basic activities, and how 

it was carried out. The chapter then goes into more depth on the NRN consortium, describing the group of firms that operated the NRN, how they were organized, and how they managed 

the work. 

Overview of the National Resource Network 

As chapter 1 noted, the NRN was anticipated as a part of the Strong Cities, Strong 

Communities initiative early in its planning stages. Its first formal definition, however, came with the release of its Notice of Funding Availability (NOFA) in October 2012 (HUD, 2012). 

This release was slightly more than a year after the SC2 community solutions team pilots had been initiated, so the NRN design benefited from their experiences. The NOFA called for a 

cooperative agreement with a 3-year performance period and a total award of approximately 

$10 million, with the expectation that additional funds would be raised for the work from 

philanthropies and other entities. The NOFA states— 

The SC2 network...will amplify the model of SC2 to a broader array of local 

governments offering a single portal to a wide range of technical experts for 

shorter-term engagements. The extent of each engagement will be scaled to 

ensure a measurable impact, both for the community’s growth and resilience 

and the efficiency of public funds. (HUD, 2012: 4) 

Much of the NOFA covered guidance on these NRN engagements. The NRN engagement 

process includes a distinct set of steps that begins with the identification of eligible sites (Figure 2.1). Unlike the Community Solutions Teams, the NRN engagements could be with 

cities or with a consortium of city governments in a region. The NOFA indicated an 

approach that generally follows the model of the SC2 community solutions team pilots, with 

language that reinforces principles consistent with the administration’s reform themes and 

imperatives. The guidance sent to eligible cities on the substantive content of engagements stated—  

Our goal is to help local governments and their partners in economically 

challenged communities develop and implement strategies for economic 

recovery. These strategies could focus on capacity issues related to local 

government operations or budgets, economic development, land use, 

transportation, workforce development, housing, and public safety, among 

others. (NRN, n.d.) 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

10 

The National Resource Network 

Figure 2.1: The National Resource Network Engagement Process

Strong Cities, Strong Communities National Resource Network Program Evaluation 

11 

The National Resource Network 

The concept of the operational assessment, regarded as key to achieving more effective 

technical assistance in the SC2 pilots, would also be retained. Engagements were meant to 

last anywhere from 4 months to 1 year (a notably shorter period of engagement than was 

offered in the pilots) and cost between $50,000 and $500,000. The federal government 

provided 75 percent of the funds, with local partners providing the remaining 25 percent. 

A major change from the pilots was that technical experts from private firms would provide 

the technical assistance in NRN rather than federal agency employees. Thus, although the 

goal of improved coordination between federal agencies and between the agencies and their 

local counterparts was retained, it had to be approached in different ways. 

The second component of the NRN assignment was to provide a series of supporting 

activities, which included developing a TA clearinghouse (an online catalog describing and 

linking to federal, state, and local technical assistance programs available to local 

governments) and a resource library (a library of relevant and practical guides and literature related to the work); 311 for Cities service that enabled eligible cities to raise questions about how to handle specific substantive issues and NRN staff would formulate responses, drawing 

from the resource library and other sources (all done over the web);4 a peer-to-peer network that would promote peer exchanges and dissemination of best practices; policy 

recommendations, which were offered to the SC2 Council, federal agencies, and local 

participants, that, if implemented, could better help cities achieve their economic 

development objectives; and local resource networks that were intended to help participating local governments develop long-term support networks for their own work in their own 

cities, engaging local philanthropies in the business sector and others. 

Proposals in response to the NOFA were due in January 2013. After review, HUD awarded 

the work to a consortium of firms in June 2013 described in the following paragraphs. 

Because the task of finalizing contractual details took longer than expected, the work was not authorized to begin until October 2013. This evaluation covers a 39-month performance 

period from October 2013 through the cut-off date of the end of December 2016. 

NRN Consortium 

The NRN leadership team is made up of a handful of organizations, each of which has a 

specific task related to the operations and management of the NRN. HUD has a cooperative 

agreement with this consortium, providing assistance where needed and working 

collaboratively with the consortium to make key decisions. Once established, the consortium recruited a select number of key partner organizations to supplement and evaluate the work 

of the NRN. 

The NRN award was made to a consortium composed of five organizations: (1) Enterprise 

Community Partners (Enterprise); (2) Public Financial Management (PFM); (3) HR&A 

Advisors (HR&A); (4) the International City/County Management Association (ICMA); and 

(5) New York University’s Robert F. Wagner School of Public Services. 

4 311 for Cities was not contemplated in the NOFA, but it was added in later negotiations between HUD and the NRN 

consortium. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

12 

The National Resource Network 

The first three of these firms have long histories in providing various types of TA to local governments, and they staffed the TA engagements with individual cities under NRN. They 

also staffed the development of the peer-to-peer network and assisted with responses to TA 

requests posed under the 311 for Cities service. The consortium’s proposal describes these 

firms as follows. 

•  Enterprise “is a leading provider of expertise and capital to create decent affordable homes and build inclusive, vibrant communities.… Enterprise has provided more 

than $57 million in TA and capacity-building assistance to local governments in all 

50 states.”5 

•  PFM “is the leading financial advisor to state and local governments, employing 470 

professionals in 30 offices in every region of the nation. During the last three years, 

PFM’s Management and Budget Consulting practice has worked with local, regional, 

and state government agencies in 28 states and D.C.”6 

•  H&RA “has 30 years [of] experience working with cities across the country to create economic growth through rigorous analysis, hands-on assistance, and creative 

strategies to tap local assets. In the past 36 months, it has provided (assistance) to 

more than 200 local government agencies and their nonprofit, civic, and education 

institution partners in 28 states and D.C.”7 

ICMA undertook the work related to the TA clearinghouse and, later, the NRN resource 

library. ICMA also played the central role in assembling responses to the questions submitted under the 311 for Cities service and supported the peer-to-peer network. 

ICMA, “founded in 1914, is the leadership organization for professional local government 

management. ICMA provides membership services, professional development, knowledge 

resources, and peer-to-peer networking to more than 9,000 city and county managers 

worldwide.”8 

NYU developed policy recommendations based on the experience of the NRN with 

engagements and lifted these up to a broader audience of local officials, federal 

policymakers, TA providers, and researchers. 

NYU “is the nation’s largest private nonprofit university, with more than 3,100 faculty in 18 

schools and colleges.... Its policy division, the Robert F. Wagner School of Public Service, is home to recognized centers focused on mobility...community development...and education, 

each with a track record of working closely with philanthropy and local and federal 

government.”9 

5 As included in the NRN team’s proposal to HUD. 

6 As included in the NRN team’s proposal to HUD. 

7 As included in the NRN team’s proposal to HUD. 

8 As included in the NRN team’s proposal to HUD. 

9 As included in the NRN team’s proposal to HUD. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

13 

The National Resource Network 

Leadership and Internal Operations 

Enterprise signed the cooperative agreement and assumed contractual responsibility for the 

work overall. Even so, the team leader from PFM (David Eichenthal) is the executive 

director of the consortium, and the lead from Enterprise (Patrick Jordan) is deputy director of operations, management, and engagements. Specifically, Enterprise is in charge of managing 

the cooperative agreement with HUD on behalf of the White House and SC2 Council, 

making them responsible for the federal compliance requirements, invoicing, subcontracts, 

and other administrative work. In addition, Enterprise is in charge of managing the overall collection of engagements, coordinating efforts across these engagements, and fostering 

connections between cities in need of similar TA. Seeing as the NRN consortium operates 

under a cooperative agreement with HUD, the government technical representative is in 

regular touch with consortium members and plays an active role in determining the structure and direction of the NRN over time. 

The consortium holds regular meetings, including twice-monthly “Stat” calls during which 

all team members provided updates on current engagements and applicants, 311 for Cities, 

outreach, policy research, online library use, and fundraising. In addition, the team at HUD is in regular communication with different consortium members on an as-needed basis. 

Consortium members understand the NRN team as a group of equal partners rather than a 

hierarchy. In regards to the effectiveness of this setup, two respondents involved in the 

consortium acknowledged that one of the most challenging parts of the design of the NRN 

was to figure out how exactly five different entities could fit together to become one well-functioning consortium. Although it “took a while to figure out the right dynamics among 

these organizations to really work together,” consensus among the NRN leadership is that the 

“extraordinary amounts of coordination and collaboration among the various partners” 

catalyzed by the consortium structure has ultimately been a valuable ingredient that 

motivates their understanding of the NRN as a success.  

Strategic Partners, the Advisory Board, and the Evaluation 

In addition to the core firms, the consortium recruited a number of strategic partners. These were organizations with established reputations in relevant fields that could provide 

specialized assistance for engagements: Abt Associates, the Center for Community Progress, 

the Civic Consulting Alliance, the Corporation for Supportive Housing, the Institute for 

Building Technology Safety, Jobs for the Future, the National Association of Development 

Organizations, NeighborWorks America, Reconnecting America, the Trust for Public Land, 

the University of Chicago, and the University of Southern California Sol Price School of 

Public Policy. 

The NRN also established an advisory board to include some of the nation’s leading funders, practitioners, policymakers, and thinkers on issues facing distressed cities. Participants on the advisory board included Stephen Goldsmith, former mayor of Indianapolis; Ed Rendell, 

former mayor of Philadelphia and former governor of Pennsylvania; Nancy Van Milligen, 

president and chief executive officer (CEO) of Community Foundation of Greater Dubuque; 

Jane Campbell, former mayor of Cleveland; Mary Suhm, former city manager of Dallas; 

Kevin Murphy, president and CEO of Berks County Community Foundation; Henry 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

14 

The National Resource Network 

Cisneros, former mayor of San Antonio and former secretary of HUD; Antonio Villaraigosa, 

former mayor of Los Angeles and former speaker of the California State Assembly; and 

Mark Funkhouser, former mayor of Kansas City and publisher of  Governing magazine. 

The NRN cooperative agreement also covered the cost of the evaluation of the NRN, the 

subject of this report. The consortium proposed that the Urban Institute conduct the 

evaluation and do so in a manner as independently as possible from the remainder of the 

NRN agenda. Urban Institute staff did not participate in any of the work related to the 

engagements or supporting activities, with one exception: select Urban Institute staff 

contributed some materials for the policy recommendations component.  

Strong Cities, Strong Communities National Resource Network Program Evaluation 

15 

The Evaluation 

The Evaluation 

This chapter describes the approach taken in the Urban Institute’s evaluation of the National Resource Network and the motivations and constraints behind it. The scope of services for 

this evaluation specified two basic assignments.10 The first was to simply describe and 

document the work that was undertaken in the NRN, drawing together materials from a 

variety of sources to tell the overall story as it occurred. The second was to conduct a process evaluation of the engagements component, drawing on different types of information about a 

sample of engagements. Here, we conducted three types of interviews for each sampled 

engagement: preengagement interviews with municipal staff; postengagement interviews 

with key community representatives; and interviews with the technical assistance providers. 

We also conducted reviews of relevant program documentation at each stage. 

Overall Approach 

Given the circumstances of NRN operations, four constraints affected the type of evaluation that we could conduct. 

•  Each NRN engagement is customized to meet the particular challenges of each city, 

given their current levels of economic distress, demographic makeup, and geographic 

size, as well as administrative and financial capacity. This set of differences made 

them difficult to compare or group into a sample large enough to find statistically 

significant effects. 

•  External factors, such as the changes in a city’s economic condition, political 

transitions, or the nature of local policies and programs, were not in the NRN’s 

control. Even if the NRN’s technical assistance intervention produces a positive 

result, negative forces from external factors could contribute to a zero or negative 

outcome, or vice versa.  

•  No identifiable set of comparison communities could have been a comparison group 

to support impact analysis (that is, where researchers would be able to causally 

attribute changes in outcomes to the intervention). 

•  Teams of TA specialists were involved in direct intervention work for a compressed 

period. However, depending on the intervention type, the outcomes may not be 

evident for a much longer period of time. As such, they may occur beyond the 

observation period of this study. 

Given these constraints, it was clear that an impact analysis, where outcomes of “treated” 

communities are measured against comparison communities, would not be practical. 

However, we felt that much could be learned from a process study. To that end, we designed 

a qualitative study of program implementation and early results. We did so by studying nine 10 NRN’s proposal presented the plan for this evaluation and amplified a research design document submitted to HUD in 2014. The work as conducted and described in this report met all requirements of those earlier documents, although it is described in a somewhat different structure than presented previously. Because of a budget cutback, we were not able to research as large a sample of engagements as originally hoped, but that did not compromise our ability to meet the basic requirements of the agreement. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

16 

The Evaluation 

engagements as the basis for the research, eight in individual cities, and one regional 

engagement. This research relied primarily on interviews with individuals involved in these engagements, but it also included the review of program documents and secondary sources. 

In this report, we also describe NRN supporting activities beyond the engagements (chapter 

8), although we did not focus our evaluative work on these efforts. 

Evaluating NRN Engagements 

Research Questions 

The evaluation of the engagement component focused on and was guided by the following 

research questions. 

•  Were the engagement topics and plans as developed in the assessments consistent 

with SC2 goals and the expressed needs of the participating cities? First and 

foremost, the expectation was that the topic would focus on “strategies for economic 

recovery.” This expectation did not imply taking on that challenge as a whole, but 

involving at least a strategy to address a major component of it (for example, a 

downtown redevelopment strategy or a major upgrade of the city’s financial 

management capacity). TA on some aspect of routine service provision would not be 

sufficient. Meeting the expressed needs of the cities did not necessarily mean 

focusing on the work they originally said they wanted but, rather, on the topics as 

they requested them after discussion and coaching from the NRN TA team. 

Nonetheless, the important aim was that they reflect the cities’ interests rather than be 

imposed by the views of the NRN team. 

•  Were the engagements well planned and carried out effectively according to 

plan?  Was the plan workable and designed such that the engagement could be 

expected to achieve the plan’s stated goals? This question needed to be answered 

from the standpoint of both the substance of the work and the local participants 

involved (which participants were involved, and were they involved in a manner that 

would establish their ownership of the innovation during the long term). Was the 

work then carried out effectively and according to plan in a manner that would ensure 

effective implementation and longer-term sustainability as appropriate? 

•  Did the engagements meet their stated goals and yield short-term benefits that would 

otherwise have been unlikely to be attained? How did city staff rate the value of the 

engagement and why? How did local perceptions compare with other possible 

indicators of success? Here, it was necessary to identify the benefits attained and 

plausibly explain why they would not have been likely without NRN involvement. In 

most cases, the NRN TA teams were expected to bring technical experience and 

capacity that city staff did not possess, both with respect to developing products (for 

example, strategies, tools) and working with city staff and other stakeholders so as to 

imbed them in regular operations. Another value added of the NRN teams may have 

been their ability to command the attention of (convene and influence) important 

outside local stakeholders in a way city staff could not (because of both their 

technical expertise and the fact that they were a part of an important federal 

program). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

17 

The Evaluation 

•  At the point of our inquiry, were the engagements on track to yield, or set the stage 

for, valuable longer-term benefits that would not have been attained as a matter of 

course? Was evidence found in the reporting period that the engagements had (or 

were likely to) result in longer-term improvements in city capacity beyond the 

specific terms of the engagement. Did the city simply behave in different ways after 

the engagement than it did before and, if so, how? For example, city staff may have 

developed new technical skills in the immediate topic, and they may also have 

learned how to structure and lead initiatives that would result in better performance 

(internally and externally in the topic area or other areas). They may have also 

developed new working relationships (again, both internally and with outside 

stakeholders) that would give them standing so they could take on bolder internal 

reforms or community improvement initiatives successfully in the future. 

•  What lessons can be drawn from the NRN experience that could benefit economically 

distressed, low-capacity cities generally in the United States? Looking across the 

NRN engagements, what has been learned about the types of approaches, techniques, 

and tools that work best to support economic recovery and effective municipal 

performance in these types of cities? What types of engagements were successful, 

and what were the factors behind their success? 

The answers to these questions are provided in chapters 4, 5, and 6 of this report. Although none of these answers, nor our documentation of other aspects of the NRN, can answer the 

broader question as to whether the NRN approach was the best model for building capacity 

in these cities (that is, how it rates by comparison with alternative approaches), we offer some hypotheses and suggestions for future research that might lead toward that objective. 

Sample Selection 

The first step in the engagement evaluation was to select a sample for study. We originally designed a study where we would conduct interviews on a sample of roughly 20 

engagements and include 5 to 10 site visits. An adjusted timeline and budget cutback meant 

that we conducted interviews on a sample of nine engagements, doing so via site visits for 

three of them and via telephone interviews for the rest. After the study began, we selected the nine engagements for review. 

The 9 engagements represent a fairly large share of the 24 completed engagements (and of 

36 engagements expected to be completed), but we do not have detailed evidence about the 

nonsample cities. As such, we cannot claim that the nine are representative of all 

engagements. We see that average population of the sampled sites was somewhat larger than 

the average for all engagements, but socioeconomic characteristics were generally similar 

(appendix A). 

The nine sample engagements, their assistance “intensities,” and their central topics of 

assistance are Baltimore, Maryland (school redevelopment, intensive); Meridian, Mississippi (downtown development, moderate); Miami, Florida (housing and neighborhoods, 

intensive); Providence, Rhode Island (financial management, moderate); Richmond, 

California (financial management, moderate); the Salinas, California region (workforce 

development, moderate); Waco, Texas (economic development, intensive); Wilkes-Barre, 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

18 

The Evaluation 

Pennsylvania (downtown development, light); and Yuba City, California (workforce 

development, moderate). 

Interviews and Site Visits 

We conducted pre- and postengagement interviews by telephone and in person to obtain 

feedback from TA recipients on the progress they believe that their cities made. We also 

conducted interviews with the TA providers at the close of each engagement. We fielded 

these interviews from the nine sample sites, all which had light to intense levels of TA 

engagement. We augmented the qualitative data collection with systematized information 

generated by the request for assistance, NRN assessments, TA providers, municipalities, and secondary sources, which were available for all locations. 

To collect qualitative information on the individual engagements, our interviews took the 

form of semistructured discussions both on the phone and in person. We conducted these 

discussions using guides that included key topics and open-ended questions. In contrast to 

close-ended questionnaires that have rigidly specified questions with directly quantifiable answers, semistructured discussions enable flexibility in adapting the discussion to capture variation in project detail. They allowed for modification of the topics depending on the 

position of the respondent and the objectives of the interview, adding a richness and depth to the analysis. We designed the interview guides to yield information on all desired topics. 

However, not all items were covered with each respondent. Relevant questions were selected 

and used with appropriate followup probing and elaboration, depending on the situation. 

Questions were also tailored to capture the differences between engagement types and 

respondents. This framework enabled us to cover each point that we wished to address, 

regardless of the order in which the discussion unfolded. A copy of each interview guide is provided in appendix B. With participants’ consent, all interviews were recorded and 

subsequently transcribed. 

For three of these engagements, we conducted site visits in Baltimore, Maryland; Richmond, 

California; and the Salinas, California region. We selected these sites to provide a range of city contexts, from large urban (Baltimore) to suburban (Richmond) to agricultural (Salinas). 

Salinas allowed us to observe a regional engagement, as it also incorporated the Salinas 

Valley cities of Gonzales, Greenfield, King City, and Soledad. In addition, this distribution enabled us to view three different focuses of engagements, ranging from school 

redevelopment to financial management to workforce development. 

Preengagement Interviews With City Personnel 

We conducted preengagement interviews after the assessment was complete but before the 

engagement began. It was important to conduct interviews with city personnel in the sampled sites before the engagement began to obtain a firm understanding of the city’s objectives and expectations at that point and of how the intake and assessment process had worked in 

practice. 

These interviews began with some background questions tailored to the information provided 

in advance about the respondent and the community. Preengagement interviews included 

questions about the respondent’s perception of the city’s challenges and goals for the NRN’s intervention, as well as reactions to the intake and assessment process. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

19 

The Evaluation 

We designed the preengagement interviews to identify the site’s initial goals, expectations, and level of preparedness; understand local perspectives on the program; and understand the components and scope of the intended engagement. The protocol for preengagement 

interviews contained questions in seven areas: (1) background; (2) pre-TA challenges; (3) 

types of TA desired and goals; (4) roadblocks; (5) capacity and collaboration; (6) outcomes documentation; and (7) other NRN services and activities. 

We conducted preengagement interviews with representatives of each of the nine sample 

sites. To determine the best subject for the interview, evaluation team members worked with NRN coordinators to identify the person or people locally most involved in the application 

and assessment process. The specific positions of these people varied, depending on the size of the community, the nature of the engagement, and the municipal organization. Of these 

people, one was a mayor, three were city managers or equivalent, one was an assistant to a 

mayor, one was an economic development coordinator, and three others were executive 

officers. 

As with all protocols used in this evaluation, this protocol was not designed to be covered exhaustively in every interview but instead to provide a guide to structure the conversations and to ensure consistency in responses for comparability across subjects.  

Postengagement Interview With City Personnel 

With the context of the preengagement interviews, the most important evaluation activities 

focused on finding out and documenting what occurred during the engagement. This activity 

required interviews with the participants (and reviews of relevant documentation) after the engagement was complete. 

We conducted postengagement interviews at least 3 months after the completion of the 

engagement. This length of time enabled us to examine whether the outcomes and 

impression of the engagement endured beyond the immediate conclusion of the TA. We 

timed the interviews so that enough time had passed for cities to fully adopt any measures 

recommended through the engagement process and to see initial outcomes of the 

engagement. Ideally, we would have included followup interviews a year after the end of the engagement, but this length of time was not within the scope of this evaluation. 

We designed the postengagement protocol to discover whether TA recipients believed their 

local goals were met, identify ways in which the structure of the engagement helped or 

hindered the process, and identify and account for changes in the contents and scope of the process. The protocol for postengagement interviews was divided into seven areas: (1) 

background; (2) TA challenges; (3) type of TA provided and goals; (4) roadblocks; (5) 

capacity and collaboration; (6) documenting outcomes; and (7) other NRN services and 

activities. We designed the postengagement city interview protocol to complement the 

preengagement protocol and provide perspective from the same institution and, whenever 

possible, the same person. In total, we conducted 23 postengagement interviews, 8 by phone 

and the remainder during site visits to 3 jurisdictions. Of these interviews, two were with current or former mayors, four were with current or former city managers or equivalent, 

seven were with city department directors or equivalent, six were with other city staff, and four were with nonprofit executive directors or presidents. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

20 

The Evaluation 

During the site visits, two researchers spent a day observing operations and meeting with 

administrative and community stakeholders. The researchers conducted roughly five 

interviews during each site visit, some of which were with the NRN applicants or technical 

assistance providers, and some were with local community members or stakeholders. When 

possible, interviews were held with individual respondents to help ensure that the 

respondents were not influenced by other interviewees and to increase the opportunity to 

corroborate information from multiple sources. 

Postengagement Interviews With Technical Assistance Providers 

We also held discussions with TA providers at each selected site to get their perspective on the goals, outputs, and outcomes of the engagement. These discussions supplemented the 

activity logs and closeout memos that each TA provider completed. 

We designed the TA provider interview protocol to discover the TA providers’ 

understandings of the needs in the engagement sites, identify any strengths or weaknesses 

associated with the engagement, and understand success in the engagement and whether TA 

providers believed they achieved it. Specifically, the protocol included questions in the 

following 11 areas: (1) background and role; (2) type of TA desired and goals; (3) 

community context; (4) initial expectations; (5) engagement overview and level of 

commitment; (6) collaboration; (7) roadblocks; (8) engagement outcomes; (9) fit and design; (10) looking ahead; and (11) participation in the NRN. 

We conducted TA provider interviews with select members of the TA team for each 

engagement included in the study. When available, the evaluation team interviewed the 

official team lead, as is listed in each engagement’s memorandum of understanding (MOU). 

In cases where the TA team lead was not available, the evaluation team worked with NRN 

coordinators to identify the person or people on the TA team best qualified to speak 

knowledgably about the engagement. The specific positions of these people varied, 

depending on the nature of the engagement and the availability of staff. 

Document Review 

In addition to the interviews, the evaluation team examined documents developed during the 

intake and assessment processes, as well as the engagement products and closeout materials 

for each site studied. To ensure comparability, the team collected four core documents from each engagement: the city or region’s initial request for assistance; the NRN’s initial memo reviewing the application before conducing its assessment site visit; the NRN team’s 

assessment report; the final signed MOU; and a closeout memo at the completion of the 

engagement. 

The request for assistance and the initial NRN team memo provide the initial goals and 

interests of the community and the NRN, respectively; they provide a baseline for 

understanding the continuing process. The assessment reports provided information from the 

application process and site visit as well as recommendations for the scale and nature of the engagement. The assessment reports and the MOUs highlight any changes in these goals and 

interests through the intake and assessment process and offer valuable information on the 

intended nature of each engagement at the outset. The closeout documents provide a 

summary of the TA provided. These documents, along with the written products of the 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

21 

The Evaluation 

engagements, which are not standardized, provide a timeline of each engagement, allowing 

for an understanding of the flow of events and any changes, challenges, or course corrections that may have occurred. 

Analyzing Qualitative Data in the Engagements Evaluation 

One challenge to undertaking implementation analysis is applying a systematic approach to 

organizing, summarizing, and synthesizing a large amount of primarily qualitative 

information. To do this, we developed analytic files from the interview data and reduced the data to their key components. We undertook this using an iterative process that began with 

interview transcripts. We used NVIVO software to code the interview transcripts based on 

the themes outlined in the various protocols and created reports. 

We followed a series of steps to ensure that team members were consistent in the information that we captured, the level of detail that we included, and the organization of interview data. 

These steps were as follows. 

•  Conducting training and a detailed review of the guides by the project researchers as 

a group. 

•  Comparing and combining the notes of two researchers into one document. 

•  Holding periodic debriefings with the project team to review the information 

collected, cover any challenges or information gaps found, and identify emerging 

themes. 

We then created synthesis documents to help assess the effectiveness of the TA 

interventions. To accomplish this, we sharpened, sorted, focused, discarded, and organized 

all collected data to compare across sites and identify patterns, themes, best practices, and challenges to the NRN’s TA engagement activities. We then used metrics and charts to 

identify and build explanations to address the research questions. We next segmented the 

analysis into individual implementation decisions and experiences. We relied heavily on 

comparing the outcome of the TA engagement activities against the applicants’ initial goals and assessments. 

Documenting the Overall NRN and Its Supporting Activities 

To understand the activities of the overall NRN program and the motivations behind it, we 

interviewed national stakeholders. In addition, our research in this component included 

analyzing the following: national publications and other documents relevant to the design 

and context of Strong Cities, Strong Communities and NRN key documents used during the 

sample engagements, and quantitative data that described the differences between eligible 

cities, cities that requested assistance, cities that received assistance (engagement sites), and the cities in the research sample. Our description of the work done on each of the NRN’s 

supporting activities is based on interviews with NRN leaders, materials available on the 

NRN website, and extensive hardcopy documentation. 

National Stakeholder Interviews 

We conducted national stakeholder interviews with select individuals who were involved 

with the design and execution of the NRN and broader urban programs. These interviews 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

22 

The Evaluation 

included relevant staff from the White House councils, HUD, key staff from NRN 

consortium partner organizations, and members of the advisory committee. We selected 

subjects to provide a variety of perspectives representative of the various agencies and 

organizations engaged in the NRN and positions within the NRN leadership. 

We designed the national stakeholder interview protocol to meet the goals of understanding 

the motivations behind the development and structure of the NRN, identifying strengths and 

weaknesses of the program, and identifying any programmatic or operational changes that 

occurred. The protocol for national stakeholder interviews posed questions in 11 areas: (1) background; (2) origins and intended outcomes of the NRN; (3) organizational structures and roles; (4) eligibility to apply; (5) outreach; (6) intake and assessment; (7) engagements, (8) peer network; (9) other nonengagement activities; (10) defining success; and (11) 

communication and coordination. Appendix B includes the full interview guide. 

Literature and Document Review 

The evaluation team conducted a substantial review of the available literature pertaining to the evolution of urban distress between 1990 and 2010, the urban policies and programs, and the specific concepts and theory of change that motivated the design of SC2 and the NRN. 

The References section at the end of this report lists the some of the sources we reviewed. 

Analysis of Secondary Data 

We assembled and analyzed secondary data to describe the characteristics of NRN-selected 

economically distressed communities. The goal of the secondary data analysis was to 

illustrate the different demographic, cultural, and fiscal makeup of the cities eligible for NRN 

assistance, the cities engaged in the NRN, and the sample cities used for this evaluation. The data sources used for this work included the American Community Survey (2009–2014), 

U.S. Decennial Census (2000, 2010), Federal Bureau of Investigation Crime Reports (2015), 

and the Financial Indicators Database for Municipalities (2013). Chapter 4 summarizes and 

appendix A comprehensively presents some findings from this analysis.

Strong Cities, Strong Communities National Resource Network Program Evaluation 

23 

Engagement Eligibility, Outreach, Intake, and Assessment 

Engagement Eligibility, Outreach, Intake, and Assessment 

This chapter covers the initial components of the National Resource Network’s work with 

individual cities, from the time the first contact was made through the point where 

assessments were conducted and specific engagements were designed. The first part of the 

chapter deals with the program overall. It describes eligibility criteria, characteristics of eligible cities and those cities that requested assistance, and how the processes of outreach, intake, and assessment worked in practice. The second part summarizes the assessments 

(substance and process) that were conducted in each of the nine sample cities and then 

presents our response to our first research question: were the topics selected for the 

engagements consistent with the goals of the NRN and the expressed needs of the 

participating cities? 

The Front End of the Engagement Process in the Overall Program 

Eligible Cities 

HUD officially announced the NRN program in June 2013 through a press release and its 

regular communications channels. After the release, NRN consortium partners took 

additional steps to market the program to cities that would be eligible for its engagement 

services. 

The NRN’s first task was to identify the U.S. cities that would be eligible for technical 

assistance. To do so, the NRN acquired and updated the list of U.S. cities and related data used by Strong Cities, Strong Communities Council and HUD staff in preparation for the 

SC2 pilots. Working with the SC2 Council and HUD, the NRN leaders then agreed that cities 

would be considered eligible if they had a population of 40,000 or more and at least one of the following criteria. 

•  An annual average unemployment rate of 9 percent or more, initially based on Bureau 

of Labor Statistics data released for 2013, and when data for 2014 became available, 

cities could qualify based on either year. 

•  A noncollege poverty rate of 20 percent or more based on the 2010–2012 American 

Community Survey (ACS). 

•  A population decline of 5 percent or more between 2000 and 2010. 

Even though this exception was not likely to have a major effect on the numbers, the NRN 

leadership decided that it would also accept cities that did not meet the previously mentioned qualifications but had a limitation in core local government capacity because of a 

downgraded bond rating, a failure to balance their budget for 2 or more years since 2008, or a reduction of government workforce of 10 percent or more during the previous 3 years. 

National stakeholders involved in the design of the NRN’s eligibility criteria noted that the eligibility requirements were created to specifically target economically distressed cities and focused less on other factors that would also be necessary components for a successful 

engagement, such as a site’s capacity to receive technical assistance. Reflecting on the 

eligibility requirements, one respondent noted that if the NRN had adopted higher eligibility requirements, they likely would have received applications from cities with greater capacities 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

24 

Engagement Eligibility, Outreach, Intake, and Assessment 

for TA engagement, but these cities would not be as economically distressed. To ensure that they were engaging with cities that were both economically distressed and had enough 

capacity to interact with the TA providers, the NRN decided to rely on the request-for-

assistance process to assess capacity. 

The NRN determined that 272 cities met the eligibility criteria. We compiled data from the 

2010–2014 ACS and found that found that 874 U.S. cities have populations greater than 

40,000.11 Thus, 31 percent of all cities with populations more than 40,000 were eligible for NRN. 

Initial Contact and Outreach 

In early 2014, nine sites were accepted to begin as “beta” engagements, that is, to be used as early trials of the NRN engagement process. These beta sites were cities where the NRN 

leadership had already made contacts and were highly familiar with them, because they had 

been applicants for assistance under the earlier SC2 community solutions team program. The 

beta sites were Anderson, Indiana; Compton, California; Fall River, Massachusetts; Jackson, Mississippi; Kansas City, Kansas; Lawrence, Massachusetts; Lynwood, California; Meridian, 

Mississippi; and Miami, Florida. Onsite assessments were conducted for the beta sites 

between April and August 2014. 

The NRN launched the regular outreach and intake processes for all other eligible cities in October 2014. The NRN mounted a campaign to explain the program to eligible cities and 

encourage their participation. The process began with individual emails to leadership in each of the cities, notifying them of their eligibility and encouraging them to submit a request for assistance (RFA). International City/County Management Association leveraged its network 

and familiarity with eligible cities to identify and provide contact information for mayors or city managers and, where possible, council members in each of the eligible cities. The 

consortium also posted an invitation and RFA form on the NRN website, which was 

launched in late May 2014.12 The NRN publicized the opportunity for engagements via 

channels of related organizations, such as the National League of Cities and the U.S. 

Conference of Mayors. The NRN also held in-person information sessions with 

representatives from eligible jurisdictions in California, Florida, Massachusetts, and Texas. 

In addition to these approaches, consortium partners leveraged their earlier relations with eligible cities to make direct contacts. Consortium firms had worked with many of these 

cities, so employees who had done such work would call or visit city staff they knew to 

answer questions about the assistance and nudge them toward submitting RFAs. Consortium 

partners also reached out to civic leaders they were acquainted with in these areas (for 

example, a local university president) to encourage them to talk to city personnel about 

taking advantage of the NRN engagement opportunity. 

11 We derived this list from the U.S. Census Bureau’s list of places nationwide. Nationally, 29,000 places are Census places, including 19,000 incorporated places (legally bounded entities that include cities, boroughs, towns, or villages); and 10,000 

census-designated places that include a concentration of population, housing, and commercial structures that have an identifiable name but are not legally incorporated. All the cities on our list of cities with populations of more than 40,000 are incorporated places. 

12 http://www.nationalresourcenetwork.org. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

25 

Engagement Eligibility, Outreach, Intake, and Assessment 

Intake  

Cities submitted RFAs through the NRN’s web portal. The process was relatively 

straightforward, requiring contact information for the mayor, the applying individual, and the project manager, as well as an essay explaining the desired assistance, the city’s core 

challenges, and previous efforts to address them. The NRN also required cities that applied based on secondary criteria (a bond rating degrade, failure to balance budgets, or workforce reduction) to submit a second essay to “make a case for qualifying for assistance” (NFN, 

n.d.). 

Most respondents through the RFA process and the beta engagement reported that the city 

did not have a specific goal or objective when applying for assistance from the NRN. One 

local stakeholder noted that their city’s goals when requesting assistance were “not very clear at all.” Another respondent said that their city’s goals were “a little bit murky at the time [of the RFA submission].” The simplicity of the RFA enabled cities to respond generally to their need for assistance without crafting specific goals or plans for achieving results. The 

simplicity allowed for cities to apply for assistance without exerting a high level of resources and effort, thereby enabling cities with smaller governments and limited capacity to seek 

NRN engagement. 

In addition to the RFA application, the site had to provide matching funds to receive 

assistance. Respondents from cities in this study’s nine-engagement sample reported the 

matching fund requirements were not a barrier to application, and, despite these 

requirements, most respondents still found the NRN engagement to be a good opportunity for 

highly discounted TA. Although most sites could finance their contributions out of internal budgets, a handful of cities in the study sample used other sources, either from one-time 

funds or outside funders. For example, the Waco engagement was financed by contributions 

from Prosper Waco, a local business coalition. Similarly, two community foundations 

primarily funded Providence’s match requirements. 

Following the RFA submission, members of the NRN team would contact the applicants and 

work with them to complete the intake and assessment processes, following a standard 

procedure with some variation for specific cases. To start, each application was referred to NRN staff qualified to review the material, based on the nature of the requested assistance. 

After review, NRN staff would contact the site with a request for any further information 

needed to draft an initial assessment of the request. This communication included an initial assessment of the site’s ability to partner with and benefit from an engagement, as well as identifying additional potential local partner organizations, including nonprofits, business coalitions, large employers, and research and health centers. Subsequently, the NRN staff 

would schedule a conference call with municipal leadership to discuss the application and 

establish a preliminary understanding of the nature and scope of the engagement. The NRN 

team also used these calls as indicators of the level of commitment from local leadership by requiring a mayor or city manager to participate. Depending on the length of time it took 

sites to get back to the NRN, this phase could take anywhere from 2 days to 1 month. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

26 

Engagement Eligibility, Outreach, Intake, and Assessment 

Characteristics of Eligible Cities and Cities Requesting Assistance 

The NRN accepted RFAs in this manner from October 2014 through January 2016. The 

NRN received 52 requests for assistance, or about 3.5 per month, during this period. The 

NRN was forced to close regular intake in January 2016, because available federal funding 

for engagements had been fully committed at that point. The NRN website states that 

additional RFAs would be accepted after that date only if the applicant was prepared to cover the full costs of the engagement. No other cities submitted RFAs under this arrangement, but HUD referred two additional cities to the program: Hartford, Connecticut and St. Louis, 

Missouri. 

Altogether, the NRN received requests for engagement assistance from 63 lead cities (the 9 

beta sites plus the 52 that submitted RFAs and the 2 additional cities that HUD referred). 

Twenty-three percent of the 272 eligible cities requested assistance. Two lead cities 

submitted applications on behalf of a region, with a total of 10 other jurisdictions involved in this collaboration. A lead city submitted two applications on behalf of a total of 10 other jurisdictions in these collaborations. (Table 5.1 provides a complete listing of all sites that requested NRN assistance and their program status as of the end of 2016.) 

Appendix A offers a detailed analysis of the characteristics of the universe of cities with populations above 40,000 (874 cities) and how they compare with the characteristics of the 

272 eligible cities and 63 cities that requested assistance. We summarize that analysis in 

Table 4.1 and in the following paragraphs. 

Table 4.1: Comparison of All Cities, Eligible Cities, and Cities Requesting Assistance 

U.S. Total 

Northeast 

Midwest 

South 

West 

Number of cities  

All cities population > 40,000 

874 

105 

184 

260 

316 

Eligible cities 

272 

52 

43 

79 

96 

Request assistance 

63 

21 

8 

21 

12 

Eligible (percent of total) 

31 

50 

23 

30 

30 

Request assistance (percent of eligible) 

23 

40 

19 

27 

13 

Population change, 2000–2010 (percent) 

All cities 

22 

3 

6 

22 

36 

Eligible cities 

13 

1 

(2) 

12 

26 

Request assistance 

6 

1 

(2) 

5 

22 

Poverty rate (percent) 

All cities 

16 

17 

14 

16 

13 

Eligible cities 

21 

22 

20 

22 

19 

Request assistance 

21 

20 

22 

23 

19 

Population, non-White (percent) 

All cities 

45 

45 

28 

49 

51 

Eligible cities 

58 

56 

40 

60 

66 

Request assistance 

57 

49 

38 

62 

76 

Notes: Includes cities with 2010 populations of 40,000 or more only. The numbers of cities in the regional columns do not add to the U.S. totals, because they exclude Puerto Rican cities. 

Sources: American Community Survey, 2009–2014; U.S. Decennial Census, 2000, 2010; National Resource Network The largest share of the cities with populations above 40,000 is in the West (37 percent), 

followed by the South (30 percent), with smaller shares in the Midwest (21 percent) and 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

27 

Engagement Eligibility, Outreach, Intake, and Assessment 

Northeast (12 percent). Marked differences between these regions occur in eligibility rates and the propensity to request NRN assistance. The Northeast stands out in both respects—a 

much higher share of its cities was eligible for the program at 50 percent compared with 30 

percent in the South, 30 percent in the West, and only 23 percent in the Midwest. At 40 

percent, the Northeast eligible cities had by far the highest share requesting assistance 

compared with 27 percent in the South, 19 percent in the Midwest, and only 13 percent in the West. 

Eligible cities had larger populations on average than all cities (162,000 versus 143,000), and the average for cities requesting assistance was larger still (230,000). Again, the Northeast stood out as being notably different than the other regions along this dimension. Only 24 

percent of its total cities had populations above 100,000 compared with the cross-region 

average of 33 percent, and only 20 percent of its cities that requested assistance were in this larger size category compared with a cross-region average of nearly one-half (48 percent). 

Two-thirds of the cities in the West that requested assistance had populations above 100,000. 

As would be expected, given their economic problems, eligible cities and those cities 

requesting assistance were growing considerably slower than all cities on average. From 

2000 to 2010, eligible cities grew 13 percent, and cities requesting assistance grew only 6 

percent, both far below the all-city average of 22 percent. Also, the differences were stark between the regions by this measure. Population change in the Snowbelt was negligible or 

negative. For example, eligible cities in the Northeast only grew 1 percent, and those cities in the Midwest actually declined an average of 2 percent. In contrast, city growth in the Sunbelt during the decade had been substantial for the eligible cities, up 12 percent the South and a yet more impressive 26 percent in the West. From the standpoint of NRN engagements, the 

economic development challenges to be addressed were very different in these two types of 

environments. 

Also as expected, eligible cities and those cities that requested assistance were considerably poorer than the typical city. Across all regions, the poverty rate for eligible and requesting cities stood at 21 percent, well above the 16 percent all-city average. Variations by region for this measure were modest. All regional poverty rate averages for both the eligible and 

requesting cities fell in the 19-to-23-percent range. 

Similarly, non-Hispanic Whites made up a smaller share of the populations of the eligible 

cities and those cities requesting assistance than other cities. Overall, against the 45 percent all-city average, non-Whites made up 58 percent in the eligible cities and 57 percent in the cities that requested assistance. Among eligible cities regionally, non-White shares ranged from 40 percent (Midwest) to 56 percent (Northeast) to 60 percent (South) and 66 percent 

(West). 

Different racial and ethnic groups were more dominant in some regions than others. For 

example, Black populations accounted for 34 percent of the populations of eligible cities of the South compared with 21 percent or less elsewhere. Hispanics accounted for a 49-percent 

population share in the West’s eligible cities compared with less than 29 percent elsewhere. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

28 

Engagement Eligibility, Outreach, Intake, and Assessment 

Assessment 

The assessment stage was designed to provide increased detail regarding the applicant city or cities for NRN staff to develop a specific scope for TA, resulting in an engagement plan and a memorandum of understanding. 

After receiving an RFA from a site, the NRN would schedule an initial call. If the call went well, the NRN team would continue background research and schedule an assessment visit 

(normally lasting 2 days) to meet with an array of stakeholders in the applicant city, both inside government and among other community partners that would be involved in the 

proposed engagement. Although the exact nature of each site visit differed based on the 

needs and conditions of the applicant community, the goals included developing personal 

rapport and assessing the level of buy-in or cooperation from stakeholders within and outside city government. 

Once they returned from the site visit, NRN staff began developing a specific plan for an 

engagement, including identifying a budget target, sources for the site’s matching funds, and a timeline and potential deliverables. The NRN team created a presentation and internal 

debrief for other NRN staff, who then gave input on the potential contents of the 

engagement, and the final recommendation on whether to continue with the engagement. The 

NRN sent the site a memo summarizing the engagement as the NRN saw it. If the site 

accepted this memo (sometimes after additional phone negotiations) the engagement moved 

ahead. During this time, the NRN selected members of the engagement team. 

The final products of the assessment process were an assessment report, a finalized 

engagement plan, and a memorandum of understanding between the site and the NRN, 

indicating the commitments of the city or cities and the NRN to the engagement. The 

assessment memo compiled material from the entire intake and engagement process and 

outlined the language that would appear in the MOU. It finalized the length and intensity of the engagement and provided a detailed outline of the proposed work, including the specific products that would be provided to the site. Once finalized, this language was summarized in the MOU. Depending on the local government structure, this document may have needed 

only a signature from a mayor or city manager, but more often, it required approval by city council. Once all parties signed the MOU, the assessment process was complete and the 

engagement period could begin. 

Ultimately, 52 assessments were conducted. These assessments were in response to 

assistance requests from 63 lead cities, meaning 83 percent of such cities had assessments.  

In the remaining 11 cases (17 percent), either the site decided to drop out before the 

assessment or NRN staff determined that an engagement was not likely to prove worthwhile 

and so notified the local representatives. The latter determination was made, because NRN 

concluded (1) the requested assistance was likely to prove unworkable or inappropriate in 

relation to NRN priorities and capacities, (2) the mayor, manager, or other local 

representatives did not demonstrate sufficient commitment to the process, or (3) the site did not appear to have sufficient capacity to carry out its role in an engagement effectively. As chapter 1 discussed, these final two criteria for rejection were suggested by the experience of the SC2 pilots. The NRN offered alternative, albeit much more limited, assistance to these 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

29 

Engagement Eligibility, Outreach, Intake, and Assessment 

sites via the 311 for Cities process. Four of these 11 cities ended up engaging in 311 for 

Cities after submitting RFAs: Atlanta, Georgia; Camden, New Jersey; East Providence, 

Rhode Island; and Stockton, California. (St. Louis also received 311 assistance but did so 

before submitting an RFA.) 

Assessments for the Nine Sample Engagements 

Assessments and Their Results in the Sample Engagements 

The following vignettes outline the initial goals for the nine sample engagements, their RFA and assessment processes, and the ultimate shared agreement that the city and NRN came to 

for how to move forward with the engagement. 

Baltimore, Maryland. In its RFA, Baltimore requested that the NRN identify appropriate types of community development strategies to foster neighborhood revitalization efforts in 

areas where the Baltimore Department of Planning was already working on school 

redevelopment projects. Through the 21st Century Schools Building Plan, the city was 

working with state and local partners to renovate or replace two dozen schools in Baltimore. 

The INSPIRE Program, a Planning Department project running in conjunction with the 

larger school redevelopment effort, aims to revitalize the neighborhoods surrounding schools that are in the process of being renovated or replaced. Shortly after the Planning Department submitted its RFA, large protests related to police brutality were held in the city, so the NRN 

changed the usual intake process by visiting the city sooner than it otherwise would have to discuss how priorities and TA requests may have changed in light of recent events. The NRN 

and city stakeholders ultimately settled on having one engagement with two separate tasks in Baltimore. One task would focus on the INSPIRE program, and one would focus on a 

problem Baltimore was having with surplus school buildings by helping the city gain a better understanding of the school closure and repurposing process in Baltimore. These two tasks, 

packaged together in one work plan, were meant to help the city think more holistically about school redevelopment. With a focus on areas of concentrated poverty, the city felt that the engagement plan closely aligned with the city’s needs. The MOU designated Enterprise 

Community Partners and HR&A Advisors as the providers and outlined a 1-year engagement 

with a cost of $260,000. 

Meridian, Mississippi. The city of Meridian was one of the NRN beta cities. The city requested assistance from the NRN to help develop a plan for the creation of a medical 

district and to outline methods to improve infrastructure throughout the city. Meridian has been plagued with governance issues, including having trouble allocating resources from the county to the city and struggling with stakeholder buy-in on policies and plans. Further, it has a declining population, leaving the city with a lack of resources for infrastructure 

improvements and more than 3,000 abandoned properties. Although the city did not submit 

an RFA, after the assessment process, stakeholders understood the main goals of the 

engagement as identifying sources of funding for the medical district that Meridian was 

hoping to create; having the NRN, as an outside facilitator, inspire community buy-in; and 

creating a comprehensive, actionable plan for the medical district. As respondents reported, no significant changes were made during the assessment process. The MOU recommended a 

6-month engagement timeline with a cost of $150,000; HR&A was the TA provider for this 

engagement. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

30 

Engagement Eligibility, Outreach, Intake, and Assessment 

Miami, Florida. As a beta city, Miami did not submit an RFA but was instead approached directly by the NRN based on earlier knowledge and personal connections from partner 

organizations. Miami then submitted a letter of interest in which it prioritized the city’s needs as improved public safety, improved transportation, and increased international trade and 

businesses. The areas of focus for the engagement were determined in conversations between 

the city and the assessment team during and following the assessment visit. The areas of 

focus that were decided on during the assessment did not match the top three areas of need 

the city identified in the letter of interest. The following two areas of focus for the city were (1) creating a neighborhood revitalization plan that includes city-level recommendations for strengthening communities and community resources to combat uneven development and (2) 

construction of an Excel-based city-owned asset database that gathers records from various 

departments and the county of city-owned properties and their attributes (for example, 

zoning, value). The city of Miami hoped that the neighborhood revitalization plan would 

help inform the city’s funding priorities in the following year, and that the property inventory would help to overcome departmental silos. The MOU outlined a two-part, 6-month 

engagement with a cost of $222,500. Enterprise was the TA provider for the neighborhood 

revitalization planning component and Public Financial Management for the asset inventory 

component. 

Providence, Rhode Island. When the City of Providence requested assistance from the 

NRN, it was struggling with fiscal challenges that were hindering economic growth. 

Providence’s RFA outlined how the city’s pension system had been underfunded for decades 

and how its large reliance on property taxes prevented the city from strengthening its balance sheet. In the RFA, Providence requested that the NRN build on the 5-year baseline financial model that PFM had previously developed for Providence, creating a 10-year plan for fiscal 

stability. Through this project, city officials hoped the city would be able to demonstrate to residents and businesses that the government had a plan around fiscal policy, more deeply 

understand pension and other postemployment benefits liabilities, and conduct a full review of the city’s fiscal and management practices. Although the city’s goals did not change 

during the assessment, the NRN suggested adding a “working group” component to the 

engagement process plan to create formal mechanisms for stakeholder engagement. 

Ultimately, the TA offered in the MOU included developing a 10-year financial plan to 

stabilize Providence’s finances, emphasizing the need for stakeholder consensus around this issue. The MOU outlined a project plan lasting 6 months with a cost of $225,000. PFM was 

the TA provider. 

Richmond, California. In the RFA, Richmond noted that its most pressing challenge is providing enough affordable housing for low-income households. The city cited many 

ongoing strategies to encourage the development of new affordable housing, such as infill 

development, zoning changes, and an inclusionary housing ordinance, but it cited that these strategies will be unlikely to meet the targets of new units established by the Regional 

Housing Needs Allocation for the San Francisco Bay Area. The city of Richmond requested 

assistance in three specific areas in their RFA: (1) seeking and acquiring funding for 

affordable housing; (2) strengthening education and outreach for renters and property 

owners, particularly those serving special needs groups; and (3) strengthening and 

implementing tenant protections. During the assessment, the TA providers, which included 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

31 

Engagement Eligibility, Outreach, Intake, and Assessment 

staff from both PFM and Enterprise, noted that Richmond faced serious ongoing fiscal 

challenges, compliance issues with HUD, and tension between gentrification and economic 

growth. After being hard-hit during the recession and having the city’s credit rating lowered by the rating agencies, the city felt an urgency around improving budget processes and fiscal health of the city, and this TA was well matched to those needs. As a result, the NRN 

suggested that Richmond focus on the development of a 5-year budget model and a 

resolution of HUD compliance. Through these two projects, Richmond hoped that it would 

be able to change how the budget and decision-making process is conducted in their city, 

leading to more sustainable multiyear budgets. Additionally, the city hoped for knowledge to transfer to the finance department staff to ensure sustainability. The MOU outlined an 

agreement that would last 3 months for a cost of $110,000. PFM was the lead TA provider. 

Salinas, California. Salinas in partnership with four smaller cities in the Salinas Valley (Gonzales, Greenfield, King City, and Soledad) applied for a regional NRN engagement. 

This region categorized its priority areas for assistance in the RFA as economic development, public safety, workforce development, public health and safety, and downtown revitalization. 

The city reported high unemployment rates, ranging from 14 to 21 percent in the Salinas 

Valley, and a declining number of jobs in agriculture. In the RFA, the regional partnership requested an analysis that would compare the current skill sets in the Salinas Valley, with those skills that will be needed during the next decade. In addition, the RFA outlined a 

request for TA providers to examine the types of sites that would be needed for agricultural technology (ag-tech) companies, including an examination of the available sites to determine whether the region already has the facilities necessary for ag-tech companies to relocate in the Salinas Valley. In accordance with the RFA, the assessment team highlighted the 

mismatch between employer needs and local skills in the Salinas Valley. The TA offered in 

the MOU includes assistance in the launch of a long-term, coordinated workforce 

development initiative that includes a comprehensive labor market analysis, an asset 

mapping exercise, support in creating career pathways in targeted industries, and 

development of a comprehensive plan for building and sustaining regional sector-based 

collaborations focused on workforce development. No major changes occurred during the 

assessment. The MOU outlined an 18-month engagement plan for a cost of $202,000. PFM 

and Jobs for the Future were the TA providers for this engagement. 

Waco, Texas. In the RFA, Waco highlighted its high poverty rate as the key issue facing the city. The city noted that it is focused on meaningful poverty reduction and that it has invested significant time and resources on economic development and forming collaborative 

relationships among key leaders and organizations in the fields of education, health, and 

financial security through an antipoverty initiative called Prosper Waco. In the RFA, the city sought direct TA from the NRN to implement the strategic plan and other locally identified 

initiatives that would help Waco’s economy grow more quickly and help create the 

conditions encouraging sustainable growth. City staff highlighted that access to experts with years of that experience, knowledge of best practices in economic development, and an 

outside perspective on the issues facing Waco could be a great benefit for the city’s efforts. 

During the assessment, the TA providers recognized the importance of Prosper Waco as an 

opportunity to reduce poverty and strengthen Waco’s local economy. The NRN proposed 

deploying a team, consisting of experts in workforce development, economic development, 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

32 

Engagement Eligibility, Outreach, Intake, and Assessment 

community development, and municipal operations to develop a collective impact approach 

through which a range of issues would be addressed simultaneously and in a coordinated 

manner, with the goal of inducing a better outcome on all measures. Where most NRN-

supported TA consisted of one or two specific projects, the proposed approach for Waco was 

intended to be more comprehensive providing the city with policy and advisory operational 

support tailored to its evolving needs as Prosper Waco moved forward. In the MOU, the 

NRN said that this yearlong engagement would cost $480,670. This engagement was the 

NRN’s largest, and PFM, HR&A, Enterprise, and Jobs for the Future all worked with the city as a part of it. 

Wilkes-Barre, Pennsylvania. Wilkes-Barre’s RFA identified the deterioration of the city’s public square as the “most pressing economic and community challenge.” More specifically, 

the RFA noted the poor physical condition of the square, crime and public safety, and vacant storefronts as issues that undermine efforts to revitalize downtown with public investment 

and public-private partnerships. Wilkes-Barre asked for assistance from the NRN to address 

these issues and actively pursue other initiatives planned for the square. The city linked 

potential improvements to the square with the potential for improved job market conditions 

and new business creation, as well as increased residential retention and commercial activity downtown. HR&A, Enterprise, and PFM conducted an assessment in Wilkes-Barre and 

proposed a broad range of assistance, including supporting the city in developing a capital funding strategy, working on behalf of the city to access funding available through HUD’s 

McKinney-Vento Homeless Assistance Act and support the city in crime reduction efforts. 

Despite broader TA proposed after the assessment, the TA and City of Wilkes-Barre 

ultimately agreed to pursue a narrower scope devoted to developing a capital funding 

strategy for the rehabilitation of the public square that leverages public and private sources. 

This strategy would include a final report with recommendations for implementation and 

ongoing operations and management of the public square and a public square redevelopment 

strategy. The National Resource Network planned for this engagement to last 5 months and 

cost $66,000. HR&A provided technical assistance services. 

Yuba City, California. The RFA outlined fiscal issues in Yuba City, specifically problems with their structural operating budget deficit of $1.4 million. In addition, the RFA mentioned high unemployment in Yuba City. Redevelopment had been the primary source of nonutility 

funding for capital reinvestment in the community. However, because the state decided to 

end redevelopment, Yuba City’s leadership was left greatly concerned about how to 

redevelop blighted areas. The city’s request for assistance did not include a request for a specific focus of the TA. During the assessment, TA providers noted high rates of 

unemployment, increases in the demand for skilled workers, decreases in tax revenue, and 

outdated infrastructure as the key problems plaguing the city. The NRN offered to develop a citywide workforce development strategy, designed to build a job-readiness pipeline oriented around the needs of existing and prospective local agribusiness employers. This strategy was to include a comprehensive labor market analysis and asset mapping exercise. In addition, 

the NRN offered to provide the city with options to creatively finance upgrades to Yuba 

City’s utility infrastructure. This infrastructure was to include a land-use and development plan and an iterative phasing plan to enable slow build-out and incremental financing. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

33 

Engagement Eligibility, Outreach, Intake, and Assessment 

Altogether, the memorandum of understanding signed by the city and TA providers (PFM 

and Jobs for the Future) outlined a 6-month project timeline with a total cost of $125,000. 

Alignment of Topics With NRN Goals  

The Domestic Policy Council and HUD defined the basic goals and approach of the NRN in 

this regard (see chapter 2). The remainder of this section presents our response to this first of our five research questions.  

One of the central objectives of Strong Cities, Strong Communities from the outset (see 

chapter 1) was to provide cities with engagements that would squarely address their own 

needs as they saw them rather than being handed down by federal staff. It was important, 

therefore, to start the process by asking cities what they wanted to accomplish. However, it was also important that the engagements focus on SC2 substantive objectives and that they 

be workable. To achieve these objectives, a two-stage process was devised (described in 

more detail previously in this chapter). 

•  First, interested cities would be asked to send in a simple RFA in which they would 

briefly outline their economic challenges and identify the general areas in which they 

would like assistance. The simplicity would presumably make it easier for more cities 

to apply and prevent them from getting locked into a too-detailed concept in their 

engagements before they had the chance to discuss approaches with an NRN team. 

Although, in practice, the simplicity of the RFA was also dictated by Office of 

Management and Budget Paperwork Reduction Act considerations. 

•  Second, the cities and NRN staff would meet jointly in the assessment process. This 

would give the NRN the chance to probe city interests in relation to SC2 goals and 

help them develop a workable engagement plan that would achieve their objectives.  

The program’s designers were clear about the range of topics they wanted engagements to 

address in the instructions they sent out to potential applicants about the RFA (see excerpt in chapter 2). They were looking for engagements that would broadly address the economic 

distress of these cities—not TA on more minor aspects and techniques of local 

administration or service delivery. From our interviews and review of assessment 

documentation (summarized for each city previously), it appears that the engagement topics 

ultimately met NRN criteria in this respect in all cities. 

For the two beta cities in our sample, engagements topics were selected in negotiations 

between the cities and the NRN. We do not have detailed information on those negotiations, 

but we know that the results were largely satisfactory to both parties. The other seven sample sites first considered engagement topics in their RFAs. Instructions in the RFA form asked 

for brief essays from the applicants on the “city’s challenges, what the city has done to 

address them, and how the city thinks the network could be of assistance.” 

The RFAs of three of these seven generally endorsed NRN themes, as they talked about how 

the NRN could be of assistance, but they did not select a definite preferred engagement topic at that point. The other four requested a definite topic in their RFAs, and all but one of those were adopted in the assessment process. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

34 

Engagement Eligibility, Outreach, Intake, and Assessment 

The one exception was Richmond, California, which, in its original RFA, had requested an 

engagement that focused on affordable housing. During the dialogues in the assessment 

process, city officials came to realize that Richmond’s highly vulnerable fiscal position 

constituted a much greater threat to its future—progress in housing was unlikely until the 

city’s budgetary position was addressed. Accordingly, the theme of the engagement was 

changed to strengthening the city’s capacity to manage its budget starting with the 

development of a budget-forecasting tool. 

Some topics selected for engagement appear more focused or technical than the NRN 

objectives would imply, such as a specific tool or process. National stakeholders and TA 

providers reported their impression that probing during the assessment process determined 

that these more focused engagements were nevertheless seen by the cities as being on the 

critical path to their overall economic recovery. 

Alignment of Topics and Plans With the Expressed Needs of the Participating Cities  

Beyond their overall topics, the local staff in the sample engagements noted that the 

assessment process helped them to refine and solidify the specific form and nature of the 

engagements, even if it did not always fully conform to their original expectations. In some areas, the assessment team identified a clear need that may not have been a priority for the city at application, such as stakeholder engagement or a nuanced understanding of budget 

issues. Most respondents recognized that the assessment was an iterative process between the sites and the NRN based on the stated challenges from their RFA responses, the NRN’s 

expertise in the design of workable engagements, and the set of skills and expertise available within the consortium. Local respondents generally felt that the assessment team worked 

with their city to determine a scope of work that was mutually understood, feasible, and 

beneficial.  

The NRN assessment team’s effort to integrate local stakeholder voices into the assessment 

process was viewed as positive among the respondents who spoke to this aspect of the 

assessment. For example, when we asked one respondent whether the city offered specific 

approaches in the engagement plan they originally requested, the local official responded: 

“Well, we didn’t, and that is what was nice about it. The NRN came in and asked us to get a group of community members together to discuss how we can increase our economic 

competitiveness as a community. And so the idea…came from these 25 community 

members.” 

Similarly, other respondents noted that the comprehensive nature of the assessment led to 

more holistic engagement processes and modified the TA somewhat to reflect larger 

community desires. However, one city representative felt that the assessment process was too comprehensive and iterative, mentioning that it was difficult to have had “the same 

conversation multiple times, just with different members of the NRN team” and that it 

created challenges for this initial phase of implementation. 

As previously noted, one of the features of the NRN was the freedom that engaged sites had 

to request assistance based on their specific needs or priorities, rather than having to fit their objectives into a predefined scope. Indeed, in interviews with original organizers of the 

NRN, several made reference to the NRN addressing burgeoning issues, allowing the 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

35 

Engagement Eligibility, Outreach, Intake, and Assessment 

engaged city governments “time and space” to focus on improving governance overall. In 

other words, the original NRN designers sought to fill gaps in the direct assistance available to distressed cities by enabling them to set the agenda, albeit within the range defined 

through economic development strategy.

Strong Cities, Strong Communities National Resource Network Program Evaluation 

36 

Engagements Deployment 

Engagements Deployment 

Once the National Resource Network and participating sites negotiated a scope of work in 

the memorandum of understanding, the engagements would formally begin. This chapter 

examines the deployment of these engagements. First, we review the NRN engagement 

pipeline, covering engagements conducted in all sites the program took on. This identifies all the sites that had NRN engagements and discusses their substantive topics, their varying 

levels of intensity, and the technical assistance providers. We then present summary 

descriptions of each of the engagements and how they were carried out in each of the nine 

sample cities. 

Overall Engagement Pipeline 

As of the end of 2016, of the 52 sites with assessments, 36 (69 percent) were expected to 

yield completed engagements (Table 5.1). As of the writing of this report, 24 of these 

engagements had already been completed, and 12 had not (either ongoing or yet to begin) but were expected to be complete by the estimation of NRN staff. 

Table 5.1: Cities and Regions That Requested Assistance From the National Resource Network as of December 2016 

City 

State 

Description 

Intensity 

Completed engagements 

Leverage school redevelopment; framework for reusing 

MD 

Intensive 

Baltimore 

closed schools 

Linking workforce development with affordable housing 

TN 

Moderate 

Chattanooga 

needs 

Review city’s fiscal position, support provision of 

CA 

Moderate 

Compton 

efficient services 

Danville 

VA 

Create community development corporation 

Light 

Dearborn  

MI 

Strategic redevelopment plan for West Downtown  

Moderate 

Review city’s fiscal position or operations, improve early 

MA 

Moderate 

Fall River 

education 

Strategy to meet affordable housing needs and blight 

FL 

Moderate 

Fort Myers 

reduction 

Jackson 

MS 

Economic development executive coaching 

Light 

Kansas City 

KS 

Healthy Campus downtown redevelopment  

Moderate 

Medical Main Street strategy and implementation 

CA 

Light 

Lancaster 

support 

Medical District strategy to support downtown 

MS 

Moderate 

Meridian 

revitalization  

Community redevelopment strategy, action plan, 

FL 

Intensive 

Miami 

inventory assets 

Affordable housing strategy, create neighborhoods of 

LA 

Light/311 

New Orleans 

opportunity 

Artist housing barriers, best practices, and options for 

CA 

Light/311 

Oakland 

financing 

Peoria 

IL 

Data-based case statement for investment in Southside 

Light 

Recreation center investment in operations to improve 

NJ 

Light/311 

Perth Amboy 

school readiness 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

37 

Engagements Deployment 

City 

State 

Description 

Intensity 

Providence 

RI 

10-year financial plan 

Moderate 

Richmond 

CA 

5-year budget model and support to city finance staff 

Moderate 

Create collaborative downtown economic development 

PA 

Moderate 

Scranton 

organization 

Workforce development, housing, and anchor institution 

MO 

Moderate 

Springfield 

partnership 

Support implementation of Prosper Waco (Collective 

TX 

Intensive 

Waco 

Impact Model) 

Redevelopment or maintenance strategy for public 

PA 

Light 

Wilkes-Barre 

square; homelessness technical assistance 

Labor market analysis, workforce development 

NC 

Moderate 

Winston-Salem 

recommendations 

Workforce development strategy; financing utility 

CA 

Moderate 

Yuba City 

infrastructure upgrades 

Expected to complete (ongoing or not yet begun) 

Brockton 

MA 

Community engagement placemaking 

Moderate 

Development support for downtown mall and executive 

OH 

Moderate 

Cleveland Heights 

coaching 

Everett 

MA 

Affordable housing implementation plan 

Moderate 

Hartford 

CT 

Financial management and systems support 

Intensive 

Education to career pipeline analysis and Edu 2020 

LA 

Light 

Lake Charles* 

Framework/Launch 

Miami Gardens 

FL 

Parks analysis; police chief coaching 

Moderate 

New Bedford 

MA 

Downtown development support and executive coaching 

Light 

Facilitation kindergarten–12th grade education strategy 

NJ 

Moderate 

Passaic 

and ties to economic development 

Equitable development to create neighborhoods of 

PA 

Moderate 

Pittsburgh 

opportunity 

To be 

MA 

Pittsfield 

To be determined 

determined 

Workforce development strategy, critical workforce 

CA 

Moderate 

Salinas* 

challenges 

To be 

MA 

Worcester 

To be determined 

determined 

Assessment but no engagement 

Anderson  

IN 

Atlanta 

GA 

Dallas 

TX 

East Providence 

RI 

Fitchburg 

MA 

Hattiesburg 

MS 

Lawrence 

MA 

Los Angeles 

CA 

Lynwood 

CA 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

38 

Engagements Deployment 

City 

State 

Description 

Intensity 

North Las Vegas 

NV 

North Miami 

FL 

North Miami Beach 

FL 

Ocala 

FL 

Pompano Beach 

FL 

Sacramento 

CA 

San Juan 

PR 

Requested assistance but no assessment 

Camden 

NJ 

Haverhill (TDI) 

MA 

Louisville 

KY 

Malden (TDI) 

MA 

Pawtucket 

RI 

Revere (TDI) 

MA 

Rockford 

IL 

Sarasota 

FL 

St. Louis 

MO 

Stockton 

CA 

Yuma 

AZ 

*Applied jointly with regional partners. TDI = Transformation Development Initiative. Notes: The State of Massachusetts Economic Development and Finance Agency funds TDI. List is up to date as of December 2016 (the end of the research study’s reporting period). 

Source: National Resource Network 

The remaining 16 sites that had assessments have left the program, either dropping out on 

their own before signing the memorandum of understanding or failing to win final 

endorsement from the NRN, which determined that the engagement would not be 

worthwhile, because the assistance the city finally decided it wanted appeared unworkable or because of what the NRN saw as insufficient city commitment or capacity. Eleven requested 

assistance but did not receive an assessment. Again, the NRN offered the alternative of 311 

for Cities to those cities, as appropriate, but none took them up on the offer.13  

Characteristics of the Engagement Sites 

Across regions, the Northeast accounted for the largest share of the engagements (36 

percent), followed by the South (33 percent) and much lower shares in the West (17 percent) and the Midwest (14 percent). The NRN conducted engagements in 58 percent of the 

requesting sites. Sixty-three percent of sites in the Midwest requesting assistance received 13 See Table 5.1, which identifies the cities that submitted requests for funding but never had assessments, as well as the eight that had assessments but never either started or completed engagements. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

39 

Engagements Deployment 

engagements, 62 percent in the Northeast, 57 percent in the South, and 50 percent in the 

West. 

Characteristics of the engagement sites were generally like those sites that requested 

assistance. (See comparisons of all-city and eligible-city averages in Table 4.1). Around one-half of the requesting and engagement sites were in the larger (population at least 100,000) category countrywide, but the engagement cities the Northeast had by far the lowest share in that group (23 percent), and the other three regions were comparable in the much higher 60-to-67 percent range. The average population in the engaged sites was 149,957 people, and 

only two of the locations had populations of more than 500,000. According to NRN 

stakeholders, this selectivity in terms of population was intentional, as they wanted to engage cities that typically do not get a lot of attention. Additionally, stakeholders expressed concern that the model would not be as impactful in very large cities where the engagement team 

would be unlikely to have sufficient access to the major or appropriate city leadership. 

Appendix A provides a detailed analysis of the characteristics of the 36 engagement sites. 

Table 5.2 summarizes the results, comparing the regional distribution and characteristics of the engagement sites with those of the sites that had requested assistance. Figure 5.1 is a map of the locations of the engagements. 

Table 5.2: Comparison of Cities Requesting Assistance and Engagement Cities 

U.S. Total 

Northeast 

Midwest 

South 

West 

Number of lead cities 

Request assistance 

63 

21 

8 

21 

12 

Engagements 

36 

13 

5 

12 

6 

Engagements percent of request 

58 

62 

63 

57 

50 

Population change, 2000–2010 (percent)  

Request assistance 

6 

1 

(2) 

5 

22 

Engagements 

4 

1 

(0) 

3 

17 

Poverty rate (percent) 

Request assistance 

21 

20 

22 

23 

19 

Engagements 

21 

20 

21 

24 

19 

Population, non-White (percent)  

Request assistance 

57 

49 

38 

62 

76 

Engagements 

57 

46 

35 

66 

76 

Note: The number of cities in the total column for requested assistance includes one Puerto Rican city that does not appear in the regional columns. Sources: American Community Survey 2009–2014; U.S. Decennial Census 2000, 2010; National Resource Network 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

40 

Engagements Deployment 

Figure 5.1: National Resource Network Engagement Cities by Topic 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

41 

Engagements Development 

Like the requesting sites, engagement sites were generally in the slow population growth 

category, but again, regional differences were significant. The growth of engagement sites in the Northeast and Midwest was negligible from 2000 to 2010, whereas those sites in the 

South registered a respectable (3 percent) growth rate and the West a much larger one (17 

percent). 

For a number of other measures, engagement sites looked much like requesting sites, and 

regional variation was less. For example, the overall engagement site poverty rate was 21 

percent (the same as for requesting sites), and regional poverty rates all fell in the 19-to 24-percent range. 

Non-Whites accounted for 57 percent of engagement site populations overall (again, exactly 

the same as for requesting sites), but regional differences were more noteworthy, ranging 

from 76 percent in the West to 35 percent in the Midwest. 

Although the baseline characteristics of these cities are important for understanding where the program was implemented successfully, it does not speak to the other factors that NRN 

leadership valued when targeting locations for participation. Stakeholders highlighted that the NRN worked best at “the intersection between need and opportunity,” meaning cities in 

which need, interest by key leadership, and capacity to engage during the NRN project and, 

importantly, to adopt and implement recommendations afterward were balanced. The ability 

of local leadership to “articulate the vision, what they want to do” was emphasized, yet NRN 

leadership noted that the capacity and engagement of local leadership varies widely. NRN 

leadership strongly believed that local buy-in was the key ingredient for a successful 

engagement. One leader said— 

We cannot substitute for local leadership and readiness and commitment. So, 

if you’ve got a deeply engaged mayor or deeply engaged city manager who is 

making this a priority, who is rallying both inside and outside of the 

government to make the engagement work, it’s by nature going to be a lot 

more successful. 

The NRN also had to be sensitive to ongoing legal or compliance issues at the municipal 

level in choosing where to engage. Stakeholders noted that the very capacity issues that made the site eligible for the program also created barriers that may impede their participation. In select cases, the NRN advanced in the application review process with cities only to realize compliance issues with HUD or other federal agencies in which federal funds were being 

withheld. Although these complications created sensitivities on political issues with partner agencies within government, the NRN sought to engage in these sites despite complications 

because of the strong need. In these cases, additional compliance was built into the MOU and program monitoring as a safeguard. 

Topics of Engagements 

As with the original Strong Cities, Strong Communities pilots, NRN engagements were all 

oriented around the goal of strengthening local economic or fiscal standing. However, 

although the pilots collectively offered assistance on a variety of issues roughly related to that goal, the NRN engagements tended to be more narrowly focused on a single topic (Table 

5.3). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

42 

Engagements Development 

Table 5.3: Topical Classifications of National Resource Network Engagements 

Number of 

Classification 

Cities 

Sites 

Brockton, MA; Danville, VA; Everett, MA; Fort Myers, 

Housing and neighborhoods 

9 

FL; Miami, FL; New Orleans, LA; Oakland, CA; Peoria, 

IL; Pittsburgh, PA  

Chattanooga, TN; Lake Charles, LA; Passaic, NJ; Perth 

Workforce development 

8 

Amboy, NJ; Salinas, CA; Springfield, MO; Winston-

Salem, NC; Yuba City, CA 

Cleveland Heights, OH; Dearborn, MI; Kansas City, KS; 

Downtown development 

7 

Meridian, MS; New Bedford, MA; Scranton, PA; Wilkes-

Barre, PA 

Compton, CA; Fall River, MA; Hartford, CT; Providence, 

Financial management 

5 

RI; Richmond, CA 

Baltimore, MD (school redevelopment); Lancaster, CA 

Other topics  

3 

(medical main street strategy); Miami Gardens, FL (parks) 

Economic development 

Jackson, MS; Waco, TX 

2 

(general) 

Note: We excluded 2 of the 36 engagement cities in this count, because the topics of their engagements had not been determined as of the end of 2016. 

Wherever possible, NRN leadership and technical assistance providers reported in interviews that they attempted to design engagements around a core strategy or initiative that localities were already advancing or that were complementary to current city activities, such as the 

engagements in Waco, Texas and Baltimore, Maryland. However, NRN leadership and 

technical assistance providers reported several cases in which the assessment process 

revealed core capacity issues, often related to the financial health of the city. These cases created an opportunity to use the engagement to take a step back and address those issues 

first. HUD leadership reflected that the TA providers were successful in identifying and 

addressing these core necessities over some of the flashier initiatives, where appropriate, to help a city avoid bankruptcy or better position for future funding. 

Intensity of Engagements 

The NRN engagements also varied considerably with respect to scope. Among the 34 

engagements we could classify on a scale of intensity, we designated 4 as “intensive” 

engagements, 20 as “moderate,” and 10 as “light” (Table 5.1). We based these definitions on both the length of the engagement, as well as funds allocated. 

For the sampled engagements, the total costs of each ranged from $66,000 to $480,670, with 

an average cost of $205,473. As detailed previously, the federal government contributed 75 

percent of the cost, and a local contribution funded 25 percent. On average, the local 

contribution was approximately $50,000. With regard to length, engagements ranged 

between 2 and 12 months, which was the maximum length established in the Notice of 

Funding Availability. Most of the sampled engagements were longer (9–12 months), and the 

NRN designed a few to be brief, 2–6 months. Several engagements took longer than 

originally planned, which is addressed more fully in the discussion of the nine sample cities. 

Interviewees reported that intensive engagements—those engagements that were longer and 

had more dedicated resources—were designed to have a transformative effect on highly 

distressed, engagement-ready communities. These engagements involved substantial NRN 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

43 

Engagements Development 

involvement in program and policy design and implementation as well as a strong local 

commitment. Examples include INSPIRE in Baltimore or coalition efforts in Prosper Waco. 

NRN leadership, however, thought of light and moderate intensity engagements as “tipping 

point” engagements that built on and supported existing efforts in the community, often city government initiatives. These engagements involved significant involvement from the local 

government and, in some cases, local anchor institutions. NRN leadership felt that these 

engagements could jump-start processes or develop supportive tools to advance local efforts. 

An example of this is the financial planning process in Providence. 

Although stakeholders recognized that the scope of these light and moderate engagements 

were more limited, according to one stakeholder, the NRN aspired for these to be “catalytic projects without a Cadillac price.” One local respondent shared a similar understanding of 

the potential effect of these medium-intensity engagements that added to preexisting 

initiatives in city government, saying that in her city, the scope of the NRN engagement tried to “create a working infrastructure between city [and] philanthropic community and the 

anchors” to strengthen ongoing efforts at collaboration. Unlike intensive engagements, which were viewed to have transformative potential in engaged cities, stakeholders expressed some concern about how much could really be accomplished through lighter-touch engagements. 

They note that, even with a strategic focus, “it is very, very hard to do it in a transformative way.” 

During implementation, NRN and HUD leadership extensively discussed and debated on the 

appropriate resource allocation and level of intensity for NRN engagements. The approach 

throughout was to attempt to balance the desire to help, in the words of one interviewee, “a significant number of places in a deep way.” 

TA Provider and Engagement Matches 

The process of matching TA providers to applicant cities happened in two stages. First, based on the initial RFA and the preliminary screening call, the NRN consortium would identify 

the group of TA providers from the consortium to conduct the assessment visit. Assessment 

teams were usually made up of two to three TA providers and typically included 

participation of senior NRN staff. NRN leadership noted that a core component of the 

preliminary screening call, in addition to the evaluation of interest and buy-in from local leadership, was to assess which consortium members and strategic partners should participate in the assessment visit. In addition to organizational affiliation, the NRN considered specific staff qualifications and expertise. The NRN noted that it was crucial to have the right type of expertise on the ground to ensure that the information gathered during the assessment was 

complete and actionable, meaning it could lead directly into designing the engagement’s 

scope and MOU. Second, with the assessment completed, the MOU and work plans were 

established. At that point, the NRN assigned lead and secondary TA providers, where 

relevant, and individual project leads within those organizations. 

As described previously, the consortium partners were the main TA providers for NRN 

engagements. PFM participated as a TA provider in 16 engagements, Enterprise Community 

Partners in 15, and HR&A Advisors conducted 12 engagements. When specialized needs 

were identified outside of the expertise of the consortium, outside groups could be brought in 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

44 

Engagements Development 

for additional support. In its response to the NOFA, the NRN consortium identified 12 

strategic partners that were intended to be first-level partners for engagements, enabling the NRN to be responsive to areas of expertise outside of those of the core partners. In practice, the NRN used two of these strategic partners. Jobs for the Future completed six engagements focused on workforce development, and the Center for Community Progress completed one 

engagement. The main specialties of the firms that provided TA are as follows (derived from the NRN Engagement Tracker and the websites of each firm). 

•  Center for Community Progress: Vacant properties. 

•  Enterprise: Housing and community development. 

•  HR&A: City planning and economic development. 

•  Jobs for the Future: Workforce development. 

•  Public Financial Management: financial management and municipal budgeting. 

Table 5.4 identifies the TA providers that worked with each of the engagements. A sole TA 

provider conducted most engagements (24). In these cases, the nature of the challenge to 

address through the NRN engagement was discrete enough to be addressed through one TA 

provider. Examples of this include PFM’s work to develop budget-forecasting tools in cities like Richmond, California and Providence, Rhode Island. However, in approximately one-third of engagements, TA providers from multiple organizations engaged because of the 

complex and interrelated nature of the topics addressed. The most illustrative example of this was the engagement in Waco, Texas to support the development of the city’s comprehensive 

antipoverty initiative, in which four TA organizations were each assigned distinct 

responsibilities in the scope of work. Despite their unique strengths, in cases with multiple TA providers participating in the same engagements, the NRN leadership attempted to 

present a united front of NRN support. In practice, city representatives felt that the various work components were largely managed independently. 

Table 5.4: Technical Assistance Providers Assigned to Engagement 

City 

State 

Technical Assistance Provider 

Completed 

Baltimore 

MD 

Enterprise, HR&A Advisors, Public Financial Management 

Chattanooga 

TN 

Enterprise, Jobs for the Future 

Compton 

CA 

PFM, HR&A Advisors, Enterprise 

Danville 

VA 

Enterprise 

Dearborn  

MI 

HR&A Advisors 

Fall River 

MA 

Public Financial Management 

Fort Myers 

FL 

Enterprise, Center for Community Progress 

Jackson 

MS 

Enterprise 

Kansas City 

KS 

HR&A Advisors 

Lancaster 

CA 

HR&A Advisors 

Meridian 

MS 

HR&A Advisors 

Miami 

FL 

Enterprise, Public Financial Management 

New Orleans 

LA 

Enterprise 

Oakland 

CA 

Enterprise 

Peoria 

IL 

Enterprise 

Perth Amboy 

NJ 

Public Financial Management 

Providence 

RI 

Public Financial Management 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

45 

Engagements Development 

City 

State 

Technical Assistance Provider 

Richmond 

CA 

Public Financial Management 

Scranton 

PA 

HR&A Advisors 

Springfield 

MO 

Enterprise, Jobs for the Future 

Public Financial Management, HR&A Advisors, Enterprise, Jobs for 

TX 

Waco 

the Future 

Wilkes-Barre 

PA 

HR&A Advisors 

Winston-Salem 

NC 

Jobs for the Future 

Yuba City 

CA 

Public Financial Management, Jobs for the Future 

Expect to complete (ongoing or not yet begun) 

Brockton 

MA 

Enterprise 

Cleveland Heights 

OH 

HR&A Advisors, Public Financial Management 

Everett (TDI) 

MA 

Enterprise 

Hartford 

CT 

Public Financial Management 

Lake Charles* 

LA 

Public Financial Management  

Miami Gardens 

FL 

Public Financial Management 

New Bedford 

MA 

HR&A Advisors 

Passaic 

NJ 

Public Financial Management 

Pittsburgh 

PA 

Enterprise 

Pittsfield 

MA 

To be determined 

Salinas* 

CA 

Public Financial Management, Jobs for the Future 

Worcester (TDI) 

MA 

Public Financial Management, HR&A Advisors 

Enterprise = Enterprise Community Partners. TDI = Transformation Development Initiative. 

* Applied jointly with regional partners. 

Note: The State of Massachusetts Economic Development and Finance Agency funds TDI.  

Source: National Resource Network 

According to interviewees from multiple vantage points, it was preferable for both city and TA providers that those individuals who ended up doing the engagement had also done the 

assessment. This allowed for relationship building between the TA providers and the city 

representatives and helped establish a smooth transition from the assessment and engagement design stage to the implementation. However, during certain assessment visits, the National Resource Network stakeholders leading the visit noted the need for additional expertise or 

different technical capacity and opted to bring in an additional TA provider for the 

engagement. In one sampled case where an additional TA firm from the consortium was 

added after the assessment visit, the TA provider expressed frustration and lack of clarity around the work or the selection of the project without having participated in the design 

stage. Although this complication did not happen in most engagements, it created a barrier 

for full project development in one of the sample engagements. NRN leadership highlighted 

the importance of appropriate matching of TA providers to cities based on need, noting their view that engagements were more successful where they felt confident that the right people 

were assigned.  

The TA provider assignments and the synthesized work plan were both included in the final 

memorandum of understanding to be signed by NRN leadership and the city. Once the MOU 

was signed, both parties were to begin work on the engagement, as detailed in the remainder of this chapter. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

46 

Engagements Development 

Nine Sample Engagements 

This section describes the engagements that were carried out in the nine sample sites. 

Findings are based on our pre- and postengagement interviews as well as NRN 

documentation on the results of the engagement. 

Baltimore, Maryland. Products: (1) A report outlining recommendations for neighborhood revitalization strategies in three neighborhoods where the INSPIRE team was working, 

where public schools were being closed. This report included recommendations for how to 

better engage anchor institutions in these areas. (2) A report outlining recommendations for how to use buildings and land left through school closures. 

As mentioned previously, Baltimore submitted its request for assistance shortly before large protests broke out in reaction to police mistreatment of Black residents. As a result, city staff and the NRN engagement team had a series of meetings to discuss if they should change 

their scope. During these conversations, they discussed what the TA would do to assist the 

INSPIRE Program, as well as what the network could do to assist with other problems 

endemic to the city, related to the recent events. Although some confusion between the city and the NRN on the role of the TA was evident early on, the city and NRN ultimately agreed 

on two separate tasks that would assist in the city’s economic recovery plan around school 

redevelopment: (1) Assisting with INSPIRE; and (2) Developing a plan to mitigate the 

impacts of school closures on the city’s neighborhoods and communities. Overall, the 

challenges and successes of the two tasks differed, and the duration of the engagement was 

longer than intended. 

The NRN work related to INSPIRE produced significant challenges, largely because of the 

timing of onboarding the Baltimore team leaders and abstract engagement goals. Neither the 

INSPIRE team leader, nor the local philanthropic partner participated in the initial scoping and planning conversations, leading to some delays while they got up to speed. In addition, the abstraction of engagement goals resulted in differing understandings of the nature or 

process of the assistance between the city, the NRN team, and the local philanthropic 

organization’s leadership. Although the MOU stated that the NRN would support developing 

anchor institution partnerships in selected INSPIRE neighborhoods, respondents noted that 

city stakeholders had a difficult time engaging in the process, as they did not fully understand their roles or how they would benefit. Respondents also noted that the city organizers did not adequately communicate the program, causing unnecessary difficulty partnering with anchor 

institutions or other city departments. In addition, some respondents noted that the NRN had trouble fully understanding the relationship between anchor institutions and city government within Baltimore and that they were unprepared while talking to city stakeholders about their efforts to address anchor institution engagement. The duration of the INSPIRE track was thus longer than expected and required an extension of the engagement period of performance. 

Respondents were more positive about the school-closure component. One respondent noted 

that this work was “necessary and valuable.” The TA team was respected and valued, 

including their flexibility in editing deliverables within the project timeline. As a deliverable, the TA team created a flowchart that outlined the process of school closures and repurposing, which helped the city agencies involved understand what happens to these buildings. This 

flowchart enabled the Department of Planning to see where process components were 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

47 

Engagements Development 

missing, leading to course corrections. For example, they noticed that the opportunity for 

community involvement in the process was not clear, which the respondent noted as a 

significant flaw. Respondents believe that the TA team handled interactions with 

stakeholders—particularly the Department of General Services and the public school 

system—extremely well, and that, in turn, these interactions have enhanced the Department 

of Planning’s relationship with these groups moving forward. Respondents believed that the 

city was, at the time of our postengagement interviews, better situated to recommend what 

should happen to surplus schools as a result of the TA provider recommendations. A 

respondent who worked closely on this engagement felt that the NRN’s “end-product 

[recommendations are] actually going to have a very significant impact on the process that 

the city uses, moving forward.” 

Meridian, Mississippi. Product: Strategic Redevelopment Plan for the city’s medical district and downtown. 

Meridian was one of the first beta cities and, as a result, had some challenges getting started. 

However, these challenges were overcome, and both the city and the NRN team viewed the 

end product of the engagement as highly successful. Indeed, the alignment between the NRN 

and the city during the project was strong, indicating high levels of communication. The 

biggest challenge noted during the engagement was garnering buy-in from hospital 

administration, which put a wedge between the would-be anchor institution and the plan for a new medical district. However, this challenge was mitigated by high levels of support and 

financial assistance from a coalition of business leaders, foundations, and city officials. In fact, a city representative attributed greater levels of investment throughout the city, 

including the downtown area, to this new cooperation. He believes that the NRN was a 

catalyst for this new investment because of its authority as an outside authority. “You know,” 

he observed, “the NRN engagement thing, there was some unforeseen benefits outside of just 

the health care plan itself. You know we have a bike that we can all ride on, but we just need somebody to give us a push down the hill and show us all how to pedal together. And the 

NRN just, you know, did this, that’s one of those unforeseen benefits of having an 

independent third party come in that had a lot of validity.” The city also noted that the 

inclusion of funding opportunities made the recommendations in the strategic redevelopment 

plan easier to implement. As of the postengagement interviews, representatives reported that the city has begun implementation of some “easy win” recommendations and expects to 

continue to use the plan. 

Miami, Florida. Products: (1) A neighborhood revitalization plan titled “Strategies and Tools for Transformational Change in Housing and Community Development.” (2) An “asset 

inventory” database including all known city properties and attributes. 

As one of the earliest beta engagements, Miami experienced some challenges associated with 

the learning curve of the NRN, primarily based around the need to manage scope based on 

the city’s existing capacity and interests. Overall, city representatives spoke positively about the level of effort and the quality of the TA providers, citing high levels of expertise, 

experience, and attention. 

Of the two tasks to the Miami engagement, both representatives of the NRN team and the 

city broadly considered the neighborhood revitalization plan a success. City representatives 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

48 

Engagements Development 

noted an appreciation for the concrete, implementable, and location-specific 

recommendations, which were a result of the NRN team’s engagement with stakeholders in 

the targeted communities in addition to members of city government that would be 

responsible for implementation. Although both the NRN and city representatives noted some 

barriers because of a challenging organizational culture on the part of the city and a lack of support from key offices, the end result was strengthened by community engagement and 

ultimately, by housing the final product within the city manager’s newly created Office of 

Community Development. 

However, the asset database did not meet the city’s expectations in terms of usability and 

comprehensiveness. This aspect of the engagement was challenging, as the component data 

were stored in a range of government offices, both within the city of Miami and within Dade County. Because of this dispersion, component datasets ranged widely in their structure, 

accuracy, and completeness. As such, the engagement team was unable to link the datasets in ways they had initially hoped would enable them to see areas of opportunity or efficiencies through the centralization of city asset information. These challenges in data collection 

caused a 2-month delay. The end product of this engagement was a dataset and Excel-based 

dashboard, which was more limited in scope than initially intended. 

Providence, Rhode Island. Product: A 10-year financial plan, focusing on key expenditure drivers and identifying opportunities to reinvest savings to achieve better fiscal health. 

In developing a 10-year financial plan, the city and the NRN worked with a group of 

stakeholders, which included a number of long-term city anchor institutions, including 

universities and hospitals. The project plan included a phase for modeling city finances 10 

years into the future, followed by a plan to reduce fiscal liabilities. Both the city and the NRN team reported that the engagement stuck closely to the project plan and finished on 

time. In addition to providing the technical creation of the modeling tool, the NRN team also took responsibility for planning the logistics of the community outreach and working groups, which city representatives noted helped improve participation from stakeholders. NRN team 

members attributed the strong community and city buy-in to efforts on the part of city 

leadership to clearly and concretely define the problem before any public outreach. 

The output of the engagement process, the 10-year financial plan, came in the form of an 

Excel-based tool that enabled the city to model different budget scenarios in real time on a line-item granular basis and to gauge the effect of different changes on their multiyear 

financial plan. Some views differed about the tool’s accomplishments, however. Although a 

member of the NRN team reported that the tool has drastically improved the city’s capacity 

for financial planning, city representatives expressed concern that, in the absence of the 

NRN, local staff did not have the capacity to use the tool effectively. Despite this concern, some of the recommendations presented with the tool had, by the point of our interview, 

already been incorporated into the city’s budget. For example, in part because of the 

recommendations presented with the tool, the city has decided to negotiate to continue a 

payment-in-lieu-of-taxes (PILOT) agreement with some local universities, which would 

require these tax-exempt nonprofit institutions provide the city with a sizable annual 

payment. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

49 

Engagements Development 

Richmond, California. Product: An Excel-based budget forecasting tool enabling the city to model their financial outcomes under various scenarios and a set of recommendations to 

stabilize the city budget in the short run. 

NRN TA providers under this engagement produced an Excel tool to produce 5-year 

projections of municipal revenues, based on a series of inputs and assumptions. Besides 

providing a financial planning tool, the budget forecaster also allowed for the TA providers and the city to consider a number of scenarios quickly, including changes in tax rates or 

expenditures. Using the tool, the finance department reported being able to provide rapid 

analyses of the fiscal outcomes of various policy options, which have informed the 

decisionmaking of the city council. City government department heads, as well as the 

council, favorably received the work. Despite significant delays in the period of 

performance, representatives of both the NRN team and the city noted a high-quality product that succeeded in changing the city’s approach to budgeting. City representatives noted that the role of TA providers as outside authorities presenting the modeling tool and fiscal 

recommendations gave them credibility and allowed for politically difficult decisions to be discussed and explored. Several city stakeholders also noted that they appreciated the 

leadership that the NRN took after the assessment visit to design assistance on the issue they felt was most pressing and best addressed through this type of assistance. 

City stakeholders reported that the financial modeling tool, at the time of the interviews, was becoming a part of regular financial operations and decisionmaking process with the city 

council. They praised the NRN team’s ability to get a quality product done so quickly so it could be used for 2017 budget process. As a result of the tool, the city was able to build 

understanding among council members and city staff that they needed to change course. 

Previously, everyone knew the city had fiscal challenges but could not put the exact numbers to the problems. In addition to understanding fiscal health, Richmond used the tool in real time during a council meeting to understand the potential fiscal impacts of ballot measures. 

This use generated buy-in from the city council and potentially gave credibility to the 

message of fiscal crisis, which brought groups such as unions to table. 

Both city stakeholders and the NRN team expect the 5-year modeling to be a regular part of 

the annual budgeting process in Richmond, as the city moves away from its earlier tradition of making single-year decisions. However, one concern is that the city staff may not have the capacity to use the tool without the assistance of the NRN team, although the budget office has reserved time for training. 

Salinas, California. Products: (1) Labor market analysis, regional asset mapping report. (2) Recommendations for improvements in career pathways development. 

Salinas was the single regional engagement in our sample, with the city of Salinas 

functioning as the primary contact, working in concert with other cities in the Salinas Valley (Gonzales, Greenfield, King City, and Soledad). The engagement sought to provide a labor 

market analysis for the agricultural and health sectors in the region and then to provide a plan to strengthen career pathways to enable the local labor force to have the appropriate training for jobs that would be available in the future. Salinas had already created employment skills development programs before the NRN engagement, including supporting an ag-tech startup 

incubator and mentorship program and a CoderDojo for high school students. In addition, 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

50 

Engagements Development 

Hartnell College, the local 2-year college, already had established relationships with local high schools and nearby California State University, Monterey Bay. 

After interviews with city staff and community stakeholders, the NRN team identified 

Hartnell College as the best site to place a coordinator for the new pipeline work. The NRN 

provided the region with a plan to establish the new coordinator position, a scope of work, and a draft job posting. The position has funds committed for 2 years, after which there 

appears to be disagreement on where the funding will come from to sustain the program. 

Although both city and NRN team representatives spoke positively about the engagement, 

they appeared to disagree as to what was the primary product. The NRN team representatives 

focused on the asset mapping and attached labor market analysis, but local respondents 

universally perceived these tools as a preliminary step in the process of creating new career pathways that partnered the cities, Hartnell College, and local major employers in agriculture and health care. Despite this, both the city and the NRN team representatives noted a 

successful collaboration both between the regional cities and stakeholders and between the 

region and the NRN team. Respondents from the cities as well as the NRN team note 

significant steps taken toward incorporating the career pathways into the current education system, with support from the city governments. An NRN team member noted that the city’s 

lack of bandwidth limited its level of engagement. Additionally, representatives of “down 

valley” cities noted lower levels of engagement and raised some concern that the outcomes 

of these efforts may disproportionately benefit Salinas. 

Waco, Texas. Product: Action plan divided into three phases and a strategy for ongoing implementation of Prosper Waco. 

The NRN team and the city designed the engagement in Waco, Texas with a collective 

impact framework. As such, the engagement had multiple dimensions, each working toward 

strengthening city outcomes from a different angle. According to the MOU, the three areas of focus were to “modify [tax increment financing] to support district-scale infrastructure 

investment, strengthen the collaborative leadership for downtown development and 

activation, and initiate a strategy to preserve, engage, and empower East Waco.” 

The engagement as implemented involved support for an ongoing antipoverty initiative, 

Prosper Waco, including strategic planning for community and economic development 

focused on linking downtown and East Waco. An additional workforce development 

component, linked to Prosper Waco, involved a pilot summer internship program for high 

school students with city offices and increased data sharing between the fire department and the city. Other significant initiatives included strategic support for investment in East Waco Park, including recommendations on use of Community Development Block Grant funds and 

the development of a Workforce Readiness Credential through McLennan Community 

College to certify individuals as “work ready.” 

Both the city and the NRN team considered the engagement a success. A respondent from 

the NRN team reflected that this success was partially a result of the flexibility that was built into the project plan by design because of the depth of the assistance in Waco in time and 

dollars. As the Waco engagement touched on multiple areas using expertise from four 

different TA providers, the NRN team tried to view the engagement as one comprehensive 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

51 

Engagements Development 

project rather than multiple independent siloed projects. This attempt was somewhat 

hampered by city capacity, which was less robust than expected. Although the project 

initially included city-focused changes, such as performance-based budgeting, the city 

pushed back because of a lack of staff capacity. 

The mayor was a key champion for the engagement, garnering support both within city hall 

and in outside city stakeholders. Transitions in key roles provided some challenges in city buy-in and communications. Despite this, a representative of the NRN team reported that the city and relevant stakeholders were highly engaged with the work and had the appropriate 

amount of participation of the right actors. 

The NRN has reported progress in some areas in Waco, including in health and the launch of 

tools designed to prepare children for school and to help bridge the high school-college 

transition. However, the NRN also reported less progress than expected in key areas, 

including poverty and economic opportunity. Given the complex processes affecting these 

issues, the NRN provided Prosper Waco with several recommendations about how they can 

continue to progress toward their goals. 

Wilkes-Barre, Pennsylvania . Product: Final strategy for financing and maintaining 

renovations to the city’s central square. 

The engagement focused on planning for improvements to the town square. Technical 

assistance providers developed an operations and funding plan for the town square, which 

was linked with potential for improved job market conditions, new business creation, 

increased residential retention, and commercial activity downtown. Updating the city square in Wilkes-Barre was a priority for the Wilkes-Barre mayor. However, the mayor left office 

before the end of the engagement, causing a change in priorities and significant delays in the engagement. The new administration did not see the project as a priority, and a city 

representative noted that on receipt of the final recommendations, the new administration 

does not feel that the funding recommendations and opportunities were feasible or sufficient to cover full costs of the park. Despite this, a representative of the NRN team noted feeling positive about their closeout meeting with the new administration and local partners, 

specifically that the administration appeared to have bought into the process and incremental approach proposed by the NRN. Although the relationship between the city and the 

downtown business improvement district was already strong, an NRN team member shared 

their perception that this project created additional pathways to collaboration on the park between the city and the business improvement district. Additionally, another city 

stakeholder noted that the funding analysis was important for the city and partners, as they understood for the first time how much they were spending on the park and what the 

implications were for future budgeting. The stakeholder noted that this analysis helped to 

develop internal operations capacity within the city. However, it is unclear how well this will transfer with the new administration. Since the close of the engagement, a representative of the new city administration has reported that the city has not written off the project but will revisit it after addressing other investments that they perceive as taking priority. Should the current or future administrations prioritize revitalization of the town square, the planning documents and analysis conducted by the NRN may position the city government to act 

quickly on this matter. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

52 

Engagements Development 

Yuba City, California. Product: Recommendations to construct and fund water and sewer infrastructure during the next 10 to 20 years, and a workforce development plan. 

The scope of the engagement in Yuba City was determined by a committee of community 

stakeholders, including representatives of large employers, the chamber of commerce, 

members from the local Air Force base, city representatives, and members of the nonprofit 

community. The city was seeking to expand its sphere of influence from the initial 15 square miles to the 25-mile area allowed under its charter and land-use plans. The committee settled on seeking NRN assistance in developing a plan to finance the expansion of core 

infrastructure, with a special focus on water and sewer systems. In addition, the city 

requested assistance in developing a jobs-readiness pipeline to reflect the needs of the core agricultural firms in the area. 

The workforce development plan was submitted to the city in March 2016, and the 

infrastructure financing recommendations were submitted as a PowerPoint deck in May of 

the same year. Respondents from the city report finding both tracks of the engagement useful in providing new perspective on long-term problems, specifically noting the utility of the 

information provided on incremental infrastructure financing. In addition, the engagement 

appears to have improved communication between the city and the nearby military base. 

The TA provider noted that the project and product evolved during the assessment process as the team discussed the primary needs with the city and as they brought up new areas. City 

representatives were supportive of the new approaches raised. In the TA provider’s words, 

“what we ended up doing was a combination of what they thought they would need and kind 

of finding out there was a need that they didn’t realize was there.” 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

53 

Analysis of Engagement Workability, Outputs, and Outcomes 

Analysis of Engagement Workability, Outputs, and Outcomes 

This chapter presents our analysis of the evidence pertaining to our three central research questions. Were the engagements well planned and carried out effectively according to plan? 

Did the engagements meet their stated goals and yield short-term benefits that would 

otherwise have been unlikely to be attained? Did the engagements yield valuable longer-term benefits that would not have been attained as a matter of course? 

The findings and conclusions presented here are based on information summarized in the 

engagement synopses at the end of the last chapter, but we also draw more deeply on our 

interviews and reviews of documentation on the engagements (described in chapter 3). 

Were the Engagements Well Planned and Carried Out Effectively According to Plan? 

Were the Scopes of Work Sufficiently Clear and Detailed? 

In seven of the nine sample engagements, both the city representatives and technical 

assistance providers felt the negotiated scopes of work provided sufficient clarity to be 

workable and allow for the plans to be implemented. It was generally felt that because of the extensive negotiations in the assessment process, the scopes were thought through more 

carefully than they might have been in a normal consulting assignment. For the remaining 

two cities, local officials reported mixed experiences, with some tasks in each engagement 

having had scopes of work that were sufficiently clear, but for other tasks, some had 

concerns about the local buy-in to the planned work scopes, creating uncertainty about 

successful implementation. 

Were City Teams Set up Effectively To Accomplish the Engagement as Planned? 

As chapter 4 described, the National Resource Network sought high-level buy-in and 

participation from mayors and city managers in all engagements. In addition, municipalities usually delegated one or two staff members as key contacts for the technical assistance 

provider. Often, these individuals were program managers or department directors for the 

appropriate sector of city government, ranging from planning, budgeting, economic 

development, or the office of the mayor. For example, of the nine sample engagements, two 

of the sites had individuals from the planning department as their key contact, three had 

individuals directly under the mayor as their point person, two had economic development 

managers, and one had the mayor as the key contact. 

The responsibilities for the city government representatives varied but included arranging 

and participating in meetings to discuss the engagement, collecting or sharing data and 

information to support the work products developed, participating in trainings the NRA led, and providing feedback on NRN products and recommendations. The expected level of effort 

or commitment was not always clear to the city representatives before beginning the 

engagements. In practice, it varied based on the nature of the project but was typically less than a full-time-employee equivalent during the engagement period. 

In general, TA providers felt that the engagement sites were good partners for this work. 

Cities participated providing necessary information, facilitating engagement with various 

governmental and nongovernmental stakeholders, and vetting recommendations. In 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

54 

Analysis of Engagement Workability, Outputs, and Outcomes 

postengagement interviews, city government officials generally felt comfortable with the 

level of effort required of them to complete an engagement, although some noted that 

staffing was a barrier, and they would have benefited from additional staff availability to support the work. These same individuals reflected that the TA providers may have expected 

more active participation than they were able to contribute. 

For most engagements, communication with main city contact was effective, but in several 

engagements, relevant high-level city employees were more difficult to engage. This 

complication caused practical difficulties for executing within the established project 

timelines and meant that some of the NRN work projects and recommendations lacked a 

champion within local government to implement recommendations or use tools developed. In 

sites where the mayor’s attention was pulled elsewhere, TA providers felt like they were 

missing a link required for decision-making and prioritization to bring plans to life, 

according to one respondent, “to ensure that what we were doing was getting communicated 

to the level of the mayor or city manager, we would’ve liked to have seen more involvement 

from that end and to make sure we’re aligned with that.” 

In a number of the sample sites, support for the NRN from the mayor or city manager played 

a significant role in moving the engagements forward. This support came in a range of forms, from symbolic endorsements through functioning as the site’s primary contact with the NRN 

and leading implementation efforts. In one case, the mayor’s connections with economic 

development actors in the private sector galvanized a coalition of local government and 

major local investors around the engagement. In another case, the mayor was able to 

champion the city’s original response to the NRN request for assistance through vocal 

support within city hall and through providing staff time to write the initial RFA response. 

On the other hand, the mayor’s support could become a liability to finishing or implementing an engagement if he or she provided the sole motivation for involvement. In one case, a 

mayor’s departure because of regular leadership transitions resulted in the engagement 

project losing priority and a delayed implementation timeline for the final product. As a TA provider from this engagement noted, “We didn’t know really what, how much sort of 

enthusiasm to expect from a new mayor who, you know, for whom this wasn’t really his pet 

project kind of going into office, it was the project of a prior administration.” The NRN 

recognized that leadership support was important and attempted to avoid places where they 

did not perceive a reasonable level of certainty around leadership stability. 

NRN leadership noted that their approach was different than traditional TA because of a high level of engagement with city leadership, including mayors and city managers. In part, they attribute this to the local match requirement, which requires cities to “literally buy-in.” 

Although most sites were highly motivated to participate, in select cities, the TA providers questioned the degree to which the NRN project was a core priority. According to one 

respondent— 

It was never entirely clear to me exactly where the effort that we were doing 

sat within the city’s true priorities. It seemed like it was a priority when the 

assessment team had gone to visit, and we got the sense that what we were 

doing was important. But it wasn’t clear whether it was the kind of thing 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

55 

Analysis of Engagement Workability, Outputs, and Outcomes 

that’s in sort of the top five issues on the mayor’s watch list or the next 

tranche of things. 

Executive buy-in is not equally essential for all engagements. As one NRN stakeholder 

noted, the key goal for the NRN as a whole (as opposed to the specific TA providers who 

were primarily concerned with providing a useful and appropriate product in a timely 

manner) was to influence change in local operations in such a way that the city or cities 

involved in an engagement would be better equipped to deal with similar challenges in the 

future. In light of this, in relatively simple cases such as a short-term budget shortfall, the lasting impact could be made through engagement with lower-level officials, whereas in 

more difficult cases, such as high-level strategic planning, the mayor’s engagement is 

critical. 

Were the Experience, Capacity, and Structure of the TA Teams Sufficient To Accomplish 

the Work? 

For the NRN engagements, TA providers played a central role in designing and 

implementing the work; however, the nature of their roles ranged from process facilitators to public policy researchers to technical advisers for budgeting and other tools based on the 

engagement topic and approach. In all the sample engagements, the TA providers from the 

NRN consortium were responsible for advancing the work and ensuring fidelity to the 

project plan established through the memorandum of understanding negotiation process. 

They were responsible for managing the NRN projects and ensuring timely completion of 

work. They, of course, reported back regularly to the city staff responsible for the 

engagement, who provided oversight and guidance to the TA leader as the work was under 

way. 

City representatives consistently said they were pleased with the level of effort and 

accessibility of TA providers, recognizing these engagements as more intensive than normal 

consulting experiences. The frequency of contact and the approach of TA providers varied 

based on the project design but generally involved limited site visits (two or three) and more regular phone or e-mail exchange. In select cases that required more complex engagements, 

NRN staff spent more time on site, conducting more than eight visits. In a few cases, TA 

providers lamented not being able to be more present physically during the engagements. 

Those providers who shared this concern felt more site visits could have expedited data 

collection and other processes. No city representatives, however, expressed similar 

disappointment with the limited onsite presence of TA providers. 

The city representatives we interviewed expressed appreciation for the professionalism and 

the level of expertise of the consultants. Many noted that they were impressed that the TA 

providers were experts in their fields, with strong reputations and the respect necessary to garner the attention of upper management or political leadership. This expert reputation was particularly important when dealing with sensitive topics or having to make politically 

difficult decisions and recommendations. All respondents felt that the TA providers were 

approachable and responsive. The site visits for the assessment were a key opportunity for 

city government and relevant stakeholders to get to know one another and build trust, key 

ingredients for a successful engagement. According to one city respondent, “the network has 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

56 

Analysis of Engagement Workability, Outputs, and Outcomes 

made a very good impression in this community, and first impressions mean a lot, especially in small communities.” 

Throughout the NRN engagements, city representatives and TA providers worked together to 

implement the plans established in the assessment period. Each of the nine sites stressed the importance of liaising with outside actors for both credibility and capacity on the 

engagement issues. This emphasis on connecting was especially important for 

communicating with various stakeholder audiences, such as city councils, on difficult issues like debt management. One city respondent reflected on the role of the TA provider 

presenting information to a city council. 

[It] was good because, for whatever reason, he had a kind of instant 

credibility. I mean he was playing it straight, and then we didn’t have a hidden 

agenda. I think it probably was helpful that he had…that sort of National 

Resource Network umbrella to it. I think that added some credibility to it. And 

but he was also able to provide information that was not necessarily politically 

correct, just in terms of these are the things that you need to do, and these are 

some of the things you could do. 

Beyond the contribution of the individual TA providers, city stakeholders noted specifically that the participation in an established, national program such as Strong Cities, Strong 

Communities (with strong support from and connections to the White House and HUD and 

other key federal agencies) was also helpful in garnering support and enthusiasm for the 

project locally, arguing that it added validation to be engaged in a national effort. 

In all nine sites, respondents recognized that TA providers brought technical knowledge and capacity that they did not have in house. Some sites claimed this enabled them to accomplish things they otherwise would not have been able to, but others said it enabled them to 

expedite processes. One respondent referred to the TA providers as their city’s “resident 

experts,” and another stressed the value of the TA providers in guiding their work: “The fact that we have a partner with such experience here is a very, it’s a very exciting opportunity for the city, rather than taking it on by ourselves and just kind of going in there blindly.” 

Were the Scopes of Work Carried out Effectively as Planned? 

An engagement could be adequately planned and staffed but still, for a number of reasons, 

fail to be implemented as planned. Our interviews indicate this was not the case in the 

sampled NRN engagements, although some variations in performance in this regard were 

important. According to both city and TA-provider respondents, nearly all the sampled 

engagements had a steady course of implementation, sticking to the scope of work in the 

signed MOUs. Respondents generally noted the extensive process of work plan design 

during the assessment phase as making an important contribution to this result. One 

exception occurred in an early engagement, where a data product produced by the TA 

provider did not meet the level of sophistication expected by the city. In this case, the TA provider pointed to a discrepancy in expectation between the city and the TA provider that 

was compounded by difficulty on the part of the TA provider in accessing data from the city and other local government bodies. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

57 

Analysis of Engagement Workability, Outputs, and Outcomes 

Stakeholders noted that NRN applicants generally came to the NRN at one of three stages 

that would determine the form that the engagement would take. One group of applicants 

would already have a strategy or general buy-in and needed assistance with implementation. 

Another group had no plan or strategy but did have buy-in from stakeholders that something 

needed to be done, in which case the NRN helped to articulate that strategy. The third group had some buy-in or support from within (if no one else, the person who wrote the 

application) but a lack of knowledge or support from a broader coalition of stakeholders. In these cases, the NRN would not develop and plan but provide a case statement about why an 

area should be a point of focus for the community or communities involved in the 

engagement. 

Although each engagement was tailored to its city’s circumstances, their final products 

generally fit into two categories—tools and plans. The difference between these two products is important to understanding how they have been integrated into local government 

operations. Tools, which may be understood as the products of the first type of engagement 

described previously, included such products as revenue projection models, integrated 

datasets, and dashboards. The NRN has frequently used them in cases where internal 

capacity building was necessary within the government structure, such as creating a 5-year 

revenue-forecasting tool to allow for better financial planning and long-term stability in 

Richmond, or a dataset and dashboard that combined administrative and property data that 

was previously siloed in Miami. These tools were produced on a readily available and well-

known software application, Excel, to ensure easy transferability and to minimize the 

learning curve for use by city employees. Projects that produced tools as a primary output 

were generally more focused and discrete than plan-oriented engagements and required a less extensive engagement with community members or city staff beyond those directly affected. 

Plans, on the other hand, were generally the output of engagements that more broadly 

addressed city- or region-level challenges, such as economic decline or unemployment, 

either because of the need for an articulated strategy or as a way to express a set of priorities and goals. These engagements generally required a different set of actors within and beyond city government. They required buy-in and support from a range of community stakeholders. 

Many of the plans did not simply offer set guidance but instead developed a menu of 

recommendations that could be combined to expand implementation based on levels of 

financial or political capital, political context, or severity of need. This “personalization” of products was highly valued, with several city representatives noting that the products largely exceeded their expectations through their relevance to local context, including sensitivity to local capacity. 

As to be expected, for the engagements with a narrower scope, such as budget forecasting or district plans, conformance to the written project plans was tighter than those engagements that were broader by design, in which more adaptation to changing circumstances was likely 

to be needed. Each engagement provided its site with a tangible primary deliverable, be it a plan, a projection tool, or a newly constructed dataset. 

Despite clarity over the work, six of nine sample engagements took longer than initially 

outlined in the MOUs. In three cases, the projects took significantly longer than anticipated (6–8 months). Work delays were caused by a variety of factors, including time required to 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

58 

Analysis of Engagement Workability, Outputs, and Outcomes 

make contacts with key individuals inside or outside of city government, time required to 

gain buy-in from those same actors, delays in information or data requests from cities, and challenges scheduling meetings to include all relevant stakeholders. In one case, the delay was a result of difficulty identifying the key actors that should be involved in the 

engagement. In this city, a nearby military center was initially viewed as a resource for 

engaging in workforce development, but because of the nationally defined scope of work for 

the base, they were not able to engage at the level desired. Instead, the engagement team 

recruited other community partners, which required time to reach out and build the initial 

relationships, delaying the project by two to three months. In another case, changes in the city’s context during the assessment period required a delay in initiating the engagement to change the scope of the engagement to address fiscal rather than community-oriented 

problems. 

Staffing was occasionally an additional challenge. In one case, a local government was hiring a program manager for the initiative that the NRN intended to support, but the engagement 

began 3 months before the position was filled. In cases where these delays occurred, both 

city stakeholders and TA providers reflected that the delays had a negative effect on the final products and degree to which the work could advance. 

Political transition in city government is a reality that any effort to build capacity and address core challenges at the municipal level will face. Two of the sampled cities experienced 

mayoral or other major staff transitions during the engagement. In these cases, momentum 

was lost, causing uncertainty over the future of the product of the engagement. TA providers recognized this as a barrier and attempted to engage new administrations and staff where 

possible. In one city, the core project stakeholders and the NRN decided it would be best to pause the engagement (which resulted in a nearly 6-month delay) to give the new 

administration time to get settled. 

Did the Engagements Entail Adequate Involvement of Outside Stakeholders? 

As noted previously, compared with most traditional TA consultancies, the NRN emphasized 

outreach to and interaction with relevant stakeholders outside of city government. This 

outreach occurred during the assessment stage in all sites. Further, as a part of all but one engagement, this outreach continued to varying degrees. In many cases this work built on 

long-standing partnerships with the city government, but in a few engagements, the TA 

providers were critical in building new partnerships with relevant stakeholders. Although a small amount resistance existed to the incorporation of new actors (such as neighborhood 

groups) or skepticism of whether these stakeholders (such as those in the private sector) 

would engage, cities were generally receptive to the inclusion of a broader group of actors than usual in their normal operating procedures. For one engagement, the stakeholder 

outreach was formally organized into five working groups that met three times throughout 

the engagement process to review and vet information and recommendations. In another 

case, a local university was formally added as a subcontracted member of the technical 

assistance team because of its unique access to local data and ability to conduct analysis. 

In sample cities, both TA providers and city representatives felt that the appropriate noncity stakeholders were engaged, but in a few cases, both city representatives and TA providers 

lamented that they were not able to engage with private-sector and university actors more 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

59 

Analysis of Engagement Workability, Outputs, and Outcomes 

deeply. In three engagements, TA providers encountered some resistance from community 

stakeholders, which created delays for the engagements. Respondents from both the NRN 

and the sites noted that such delays were frustrating but were typical in developing this sort of partnership approach, and therefore, these were not seen as challenges unique to the NRN 

approach.  

Although nearly all NRN engagements strongly emphasized involvement of stakeholder 

organizations (such as business councils, universities, and other anchor institutions), 

emphasis on engaging community groups and residents was lower. In most interviews, TA 

and city respondents did not include community groups or broader forms of public 

participation in discussion with other relevant stakeholders. To the extent community 

engagement did exist, it was given less importance or was considered to be less effective, 

attributed to the “technical nature” of many engagements that meant on-the-ground 

engagement was not as necessary. 

Did the Engagements Meet Their Stated Goals and Yield Short-Term Benefits That 

Likely Would Not Have Been Otherwise Achieved? 

The ultimate goals that drove the NRN engagements are long term, and therefore progress 

against them could not be assessed within this evaluation; that is, we were not able to 

identify and record quantifiable improvements in fiscal health, employment, population 

decline, crime, or poverty with in our period of analysis. However, the program offered a 

number of identifiable “quick wins.” In addition, a number of sites and NRN teams reported 

broader positive outcomes that could be attributed to the engagement. 

Did the Engagements Meet Their Stated Goals? 

It is also possible for an engagement to be implementable (workable) and produce a product 

but still not meet its stated goals. For example, the product could meet the requirements in the scope of work, such as providing a tool or plan, but have a faulty design or lack user or stakeholder endorsement such that it would not yield further benefits to cities. 

In practice, for all but two of the sampled NRN engagements, both city representatives and 

TA providers reported that the products that were produced met the intended goals, ranging 

from relatively small planning tools to recommendations for wide-ranging collective impact 

initiatives. As one respondent noted when describing their high level of satisfaction with the engagement, “the NRN allowed us to take a proactive stance…meaning we are ahead of the 

curve now.” 

Many of the plans provided through the NRN did not simply offer guidance but instead 

developed a menu of recommendations that could be combined to expand the 

implementation based on levels of financial or political capital, political context, or severity of need. Except for one case, this “personalization” of products was highly valued, with 

several local representatives noting that the product exceeded their expectations through their relevance to local context, including sensitivity to local capacity. 

In one case, staff felt that the deliverable had incomplete data that were not properly 

integrated, undermining the tool’s utility in day-to-day work. The city representative 

described one of the core final deliverables as “rough” and “not supported by everyone, 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

60 

Analysis of Engagement Workability, Outputs, and Outcomes 

especially in a highly political climate,” suggesting that it would not be feasible to 

implement. In the second case, as noted previously, the lack of initial clarity meant city staff did not fully know what to expect from one component of the engagement. The other aspects 

of the engagements in these cities did meet their goals and were uniformly regarded as 

successful. 

What Results Have so far Occurred Because of the Engagement That Otherwise Would 

Not Have Occurred? 

In the absence of a counterfactual, it is impossible to know with certainty whether the NRN 

engagements added value beyond what the cities would have been able to achieve on their 

own. However, a strong belief exists among both city representatives and NRN team 

members that the engagements provided benefits the city would not have been able to 

produce otherwise. When asked whether the work done in the engagements would have 

occurred anyway in the absence of the NRN, nearly all respondents—NRN team members, 

city representatives, and other local stakeholders—said that they believed that their city 

would not have been able to accomplish the tasks of the engagement without the assistance 

of the NRN. (The one exception was a city staffer who said the city would eventually have 

been able to produce a similar product but not within a reasonable timeline.) 

The most concrete short-term results came from cities that received budget projection tools. 

In each case, these tools were immediately usable and enabled the cities a chance to change their budgeting and policy priorities based on their projections. City representatives from those cities reported already seeing better budget outcomes as a result of being able to 

renegotiate financial agreements. In one case, the city was able to negotiate with three 

employee unions to help bridge their budget deficit because the union leadership was now 

able to better understand the city’s fiscal situation and became willing to work 

collaboratively. In the other, the city was able to renegotiate tax agreements to increase 

revenues to the city while ensuring equity among property owners. According to the 

respondent, “that was about [a] $1 million difference to $2 million difference in the city’s budget, and that’s one big one.” 

Some short-term benefits also became possible, mainly because the engagement was being 

conducted in the context of a national program by an external authority with recognized 

expertise. Several city representatives felt that this enabled them to broach topics that were critical to progress but otherwise too politically charged to discuss. 

Did the Engagements Do What Was Needed To Lay the Foundation for Future Actions 

Needed To Achieve the Ultimate Goals? 

In all cases in which the scope of work was implemented effectively, respondents were 

confident that work would be continued or followed up on in the future. The remaining cases were either unclear or no firm plans were made. We defined plans as firm where planned 

actions were specified (for example, recurrent runs of a financial tools, steps to be taken in an economic development plan) and the entities responsible were specified. 

In three engagements, the municipal staff described plans to present the planning or policy recommendations coming from the NRN to the city council for approval. In these cases, 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

61 

Analysis of Engagement Workability, Outputs, and Outcomes 

respondents felt optimistic that the plans were likely to be approved because of buy-in from the city council throughout the process. 

In most engagements, responsibility for future work was explicitly assigned to an existing 

employee or office, normally the ones that had lead responsibilities during the engagement. 

However, in one case, an external partner was formally engaged to implement 

recommendations. In another case, the city implemented a recommendation from the NRN to 

develop a new Office of Community Development within the mayor’s office to be a unified 

community liaison and implement recommendations from NRN. 

Although the agency home for implementation was largely determined, ongoing capacity, 

both technical and resource driven, was a concern for some interviewees. Several 

respondents recognized the difficulty of moving from design to implementation. According 

to one city representative: “The hardest part is still to come.” 

In two sites, NRN team representatives expressed concerns that the products were potentially more advanced than the capacity of city staffs, creating a barrier to continued use. One city representative noted a concern that despite the positive influence of the tool on current 

decision-making, key staff might not have the capacity to maintain and update the tool 

moving forward. In response to this, the city requested that the NRN TA provider maintain 

the tool and provide further training until department staff had the capacity to do it 

themselves internally. As one staffer observed, “[the tool] may have been a bit too 

sophisticated.” 

The Wilkes-Barre case is also worth mentioning here. As chapter 5 noted, that engagement 

yielded a thoughtful plan for revitalizing the city’s central square as a key input to economic development. By that definition, the engagement resulted in a foundation for future action. 

However, this foundation is not likely to be built on, as a new administration was elected that did not view that objective as a key priority and, as such, has no immediate plans to move 

ahead with the NRN’s recommendations. 

Given the limited financial resources of many of the NRN sites, several noted concerns about their ability to fund the continuing work. As one local government representative noted, 

“[This is] a tax-stressed city. I think that the lack of external resources is, for a city like 

[this], is equivalent to the lack of resources to implement this plan.” 

Did the Engagements Yield or Set the Stage for Valuable Longer-Term Benefits That 

Would Not Have Been Attained as a Matter of Course? 

Some preliminary observations can be made even if the scope of this evaluation does not 

allow for conclusive observations on the longer-term outcomes of the NRN engagements. 

Although respondents from both cities and NRN teams generally observed that they could 

not see measurable changes in the daily lives of residents in the sites when the engagements were completed, a number noted that this is often a matter of time or the level of removal of the work from the daily lives of citizens. Several noted that they believe that the outcomes of the engagement will take a long time to be apparent, with respondents noting that they do not expect to see concrete results for “5 years or more.” 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

62 

Analysis of Engagement Workability, Outputs, and Outcomes 

Did the Engagements Yield Changes in the Attitudes and Behaviors of Important Outside 

Institutions That Should Further City Objectives? 

In a number of sites, the NRN brought validity that allowed confidence in investment, 

whether through the presence of the network or the existence of the concrete plans produced by the engagement. In one case, the city representative noted that the work of the NRN team activated the healthcare sector to the point of changing its scope. Likewise, in one city, a city representative noted that the engagement brought a new national partnership with the Robert Wood Johnson Foundation. The foundation began working with the city to develop a 

municipal health-ranking system. This partnership, the representative believes, will shed new light on the city’s health challenges, as the county-level data did not capture the disparity between the core city and outlying areas. 

In another case, a representative attributed significant investment in the downtown area to the city’s adoption of the medical campus plan, which was a product of the NRN engagement. 

As he describes it, the plan worked as a catalyst for further development, based on increased confidence in the city’s economic prospects. 

Just having a plan in place brought a lot of validity. Before the National 

Resource Network engagement, we had 28 vacant buildings downtown. We 

now have two vacant buildings downtown. These buildings are being used for 

anything from retail space to [an] apartment center being built. And now, we 

also have a developer that’s come in and has acquired now 32 lots about 3 

blocks outside of the health care district that will be turned into mixed-use 

housing. 

Did the Engagements Build and Strengthen Institutional Relationships and Methods of 

Working Together in Ways That Are Likely To Pay Off for Cities in Other Efforts? 

As a result of greater collaboration during the NRN engagement, city governments of some 

sample sites have taken on new roles or activities within their jurisdictions that may be 

outside the traditional notion of municipal government. For example, a stakeholder from one locale observed that the city’s increased interactions with community institutions during the engagement “enable[d] the city to have a better understanding and be more involved in what 

[the community institution] is doing and be involved in workforce development. That brings 

it more to the forefront because workforce development is not typically something that cities do.” 

Even in cities where operations did not change, the engagements often increased interaction with external actors, allowing for higher levels of communication and mutual understanding. 

In discussing meetings with local stakeholders outside the city government, one 

representative from a financially stressed city noted that the stakeholders left— 

[W]ith a better understanding of the factual situations the city found itself in. 

So there wasn’t really a kind of a negotiation us-against-them, but more of a 

solving…a problem together, which was good. So I don’t think there were a 

lot of new faces at the table, but what people were being asked to do was 

different. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

63 

Analysis of Engagement Workability, Outputs, and Outcomes 

In addition, some sites noted that they were able to bring together stakeholders around issues that had been previously difficult to address because of the National Resource Network 

engagement, such as building a new coalition of support for downtown development. One 

technical assistance provider noted that the city leaders in their engagement “leveraged the NRN engagement to have a higher-level conversation about how they can be involved.” 

Although most cities spoke positively about the state of their institutional relationships after the NRN process, not all local stakeholders and collaborators felt that the engagements built or strengthened relationships that would pay off for the city in other efforts. When asked if city stakeholders have done anything different as the result of the NRN process, one 

respondent said, “It’s not my impression that they have.” Two respondents pointed to a lack of understanding on the part of the NRN regarding the preexisting collaboration efforts and institutional relationships in their city, suggesting that this prevented the city from 

strengthening its ties via the NRN process. 

Did the Engagements Build General Capacity and Confidence in City Government, 

Motivating It To Take Bolder Internal Reforms and Outside Improvement Initiatives? 

Our evidence shows that NRN engagements built local government capacity in a number of 

cases, with results ranging from changes in how budget decisions are made to the creation of new offices and positions. In cities that received budget tools, both city representatives and TA providers report that the tools gave city officials more information when making budget 

decisions. Moreover, in one case, the city has actually begun to work with labor unions in a new way to collaborate on budget stabilization. According to the TA provider: 

You know, and I’ll say the other thing that they’ve done since then is that they 

have actually, they got two fire unions to engage in negotiations and 

concessions to help balance the budget. And they opened contracts that were 

closed, and they didn’t have to open, and part of that was because of the work 

on the budget model. 

In another case, the city has already adopted an NRN recommendation to create a new office 

for community engagement to provide a clear place for neighborhood development issues to 

land within the government structure. Moreover, the city showed increased commitment to 

new forms of operating, as they appointed a senior staff person who has a record of 

coordinating initiatives across city departments. In a similar example, a city working on 

workforce development has repurposed economic development funding for the creation of a 

new position that sits outside of the city infrastructure to coordinate career pathways work that is under way between the city, primary and secondary educational institutions, and major local employers. 

Some evidence also exists for city staff increasing technical capacity as a result of the 

engagements. Finance office staff in one city that received a budget forecasting tool received training on the tool’s use directly from the lead of the NRN team. Although some 

respondents noted that this training may not have been adequate to provide city staff with the skills needed to use and update the tool independently, the city has taken steps to procure further training from the TA-provider organization outside of the NRN agreement, with the 

goal of having staff capable of using and updating the tool without outside assistance. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

64 

Analysis of Engagement Workability, Outputs, and Outcomes 

Conclusions: Did NRN Engagements Work? 

Although representatives from most sites and engagement teams in the sample reported 

satisfaction with their engagements, it was not as clear cut whether the engagements worked more broadly. In terms of providing a satisfactory product that met the expectations of the sites, respondents reported the NRN has done well. (From our sample of nine engagements, 

only two had a task with which stakeholders reported dissatisfaction.) However, the question of whether the engagements met the core goals of the program is somewhat more ambiguous. 

As discussed previously, the key goal of the NRN is to provide the most distressed U.S. 

cities with the capacity to address their own underlying economic and fiscal plight in a 

workable manner. 

The NRN was careful to target their engagements to local needs and context. City 

representatives noted that they were impressed by the extent of the assessment process, 

which included not only external data collection, but interviews with representatives at city hall and a range of other local stakeholders, depending on the specific needs and context. As such, both the engagement teams and sites felt that the engagements were appropriately 

matched to city context. This attention to context became especially valuable when scopes 

changed, as in one city, where a decreased bond rating and an impending budget cycle 

shifted the scope of the engagement even after the assessment had begun. 

In the case of cities receiving an Excel-based budget or other forecasting tool, the potential improvements to the city’s capacity to address its own challenges was clear, presuming that the city is able to maintain and update the tool as needed. However, in cases where the 

engagement product was a set of recommendations or a plan, any increase in capacity or 

changes to underlying economic problems may not be apparent for many years and will 

depend on sustained commitment. The engagement in Wilkes-Barre shows that a plan can be 

complete and well designed, but it could become inactive because of shifting administrations and priorities. In other cases, cities’ desires to implement plans are mitigated by limited resources, either financially within the city government or because of low levels of civic or philanthropic engagement. 

Despite these challenges, some signs are encouraging. In Meridian, a city representative 

reports that large employers and other major city stakeholders have shown increased interest in funding urban development projects since the engagement. In the Salinas Valley, the cities of Salinas, Gonzales, Greenfield, King City, and Soledad now have a new axis of 

collaboration through the education system—an area where city government was not 

previously present. Although we cannot conclude that the NRN met all its goals, at least not given the research study’s time horizon, these developments show that potential exists for 

increased positive benefit through the type of targeted, location-specific technical assistance the NRN provided. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

65 

National Resource Network Supporting Activities 

National Resource Network Supporting Activities 

Although the technical assistance engagements are the primary activity of the National 

Resource Network—and the focus of this evaluation—the network provided a variety of 

other resources and services, as discussed in chapter 2. Some of these were intended to 

provide further resources to the engagement cities during, before, and after their respective periods of engagement, and others were directed at cities that either did not qualify or did not have the need for a full engagement. A third set of activities focused on using the NRN as a platform for policy research to be shared with other practitioners, legislators, and experts, as well as eligible cities. Here, we describe how these activities were conducted, because doing so should help readers better understand the context for the engagements. 

The NRN website, which was launched May 2014, supported several of these activities.14 

HUD’s announcement to the public on May 22 emphasized the new 311 for Cities assistance, 

which would be accessible to a limited number of cities at the outset, but stated, “Other parts of the website, including a curated and searchable resource library, are available to all cities and to the public.” The NRN director sent individual e-mails announcing (1) 311 assistance 

to the leaders (mayors and city managers) of the cities that could then receive it on June 12 

and (2) the opportunity to submit RFAs for engagements to the leaders of all NRN-eligible 

cities on October 30. These communications explained how the invited cities could set up 

accounts on the site, so they could access the services to which they were entitled. 

Technical Assistance Clearinghouse and Resource Library 

This task entailed preparing a catalog describing and linking to technical assistance programs available to local governments and a library of guides and literature related to the work. Both were ready and released at the launch of the NRN website and were regularly updated as 

offerings changed during the remainder of the performance period. The International 

City/County Management Association played the lead role in developing both, but other 

consortium partners provided substantial assistance depending on the subject matter at hand. 

Both were searchable and sortable online. The goal was to design a website that enabled 

users to quickly find materials related to their topics of interest.  

The substantive range of the clearinghouse and library was suggested by the focal topics of NRN engagement assistance. According to the Notice of Funding Availability, they were to 

include—  

[E]conomic development (economic visioning, job market analysis, cluster 

analysis and engagement), workforce development (job training strategies, 

industry needs analysis, cradle-to-career education reform), public safety 

(juvenile justice, corrections restructuring, policing strategies), and 

sustainable land-use (brownfield redevelopment, corridor planning, 

consolidated transportation and housing plans). (HUD, 2012: 7) 

Users could search by funder and by topic. 

14 http://www.nationalresourcenetwork.org. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

66 

National Resource Network Supporting Activities 

The primary source of content for the TA clearinghouse was the federal agencies. ICMA, 

Enterprise Community Partners, and HR&A Advisors met with the staffs of each of the 

cabinet agencies associated with the Strong Cities, Strong Communities Council to find out 

about the relevant TA resources available. NRN consortium partners also contributed 

information on other offerings they provided or knew about, resulting in the positing of many additional TA opportunities offered by foundations, nonprofits, other levels of government, and others. Clearinghouse entries typically covered a description of the TA and how it would be provided, a description of the provider, dates of availability, and forms and other materials to enable the user to submit a formal request. ICMA updated these listings annually. In 

December 2016, the site contained materials on 128 TA offerings, 103 of which were 

provided by the federal agencies. 

The NRN resource library contains technical materials such as articles, case studies, and 

how-to guides and manuals on a similarly broad range of topics. The NRN made selections 

based on their relevance to the engagement agendas. They came from a variety of sources, 

but many were drawn from ICMA’s online platform, the Knowledge Network, a broader 

collection of documents of relevance to local government officials (ICMA, 2017). 

Altogether, the NRN team scanned more than 19,000 documents and selected 7,000 of these 

as relevant. They then reviewed this group to identify those that were most timely and action oriented. This research led to the construction of a curated list of items that were put up on the site, a library that contained 539 resources as of December 2016. These resources 

included sample contracts, job descriptions, requests for proposals, articles, and reports, touching on more than 200 topics. However, all NRN partners had also contributed items 

from their own work and collected items from other sources they thought would be 

particularly relevant for NRN engagements and related work. ICMA also updated the library 

annually via reviews of additions to its Knowledge Network and soliciting new information 

and ideas from other NRN consortium partners. 

In our postengagement interviews with city officials, we asked about their use of the 

clearinghouse and library. Respondents for most of the nine sites in the sample reported they did not use the clearinghouse. Three respondents referred to the clearinghouse as a good 

opportunity to find resources on what other cities are doing. Four respondents mentioned 

wanting to use these resources in the future, although they did not cite concrete plans to do so. 

311 for Cities  

In this service, eligible cities could raise questions about how to handle specific substantive issues, and NRN staff would formulate responses, drawing from their own knowledge base, 

the resource library and other sources (all via the web at 

http://www.nationalresourcenetwork.org/en/). Once a city posted a request, the NRN 

promised to complete and post an initial response package on the site within 3 business days. 

These packages include direct responses (often quite detailed) to the questions asked, along with relevant reference materials. NRN consortium staff could then elect to offer followup 

coaching and support by phone. In some cases, NRN staff helped city personnel formulate 

311 requests and submit them online, but most often the cities would do this on their own. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

67 

National Resource Network Supporting Activities 

As noted, 311 for Cities was initiated slightly after the launch of the NRN website on June 2014. At the start, it was available only to around 50 NRN-eligible cities that either (1) were participating in engagements (311 assistance would supplement help already being provided 

in the engagements) or (2) had been through the assessment process but were not accepted 

for engagements (311 assistance would be provided in lieu of the direct engagement 

process). 

In 2015, the scope of this assistance was substantially expanded, with service being made 

available to around 300 cities. These included all NRN engagement-eligible cities plus others that were a part of the Promise Zone Initiative and Investing in Manufacturing Communities 

Partnership. 

NRN stakeholders reported disappointment that, even after the expansion of the number of 

eligible cities and considerable publicity, demand for 311 assistance was low. During the full monitoring period, only 27 cities submitted requests for this assistance. Within the sample, only one city used this resource. At 41, the number of individual requests was higher, 

because several of the cities submitted more than one. Atlanta submitted four requests; East Providence Springfield, and Syracuse submitted three each; and Detroit, Kansas City, and 

Pittsburgh, submitted two each. Most of the cities submitting 311 requests had been a part of the NRN engagement pipeline (21 of the 27), and the remaining 6 were new to the NRN. 

To further expand access to 311 for Cities, the NRN prepared an article on the consortium’s responses to a number of 311 requests (on infrastructure, diversity in police forces, eligibility for social services, nonemergency numbers, and other topics) and posted actual response 

packages on its website. As of December 2016, the article was posted on the “Insights” page of the site, and the full responses are available in the resource library (NRN, 2015). 

Peer-to-Peer Network 

The peer network offered opportunities for staff members from all engagement sites to meet, exchange ideas and best practices, and work toward common solutions. The hope was that 

participants would get to know one another and build trusting relationships such that they 

would voluntarily continue to confer with each other over the longer term. These 

opportunities included national convenings and smaller-group activities, both funded by the NRN. 

The national convenings brought together representatives of all engagement sites along with members of the TA teams three times during the monitoring period. They included general 

presentations on issues relating to public management and finance and economic 

development. They also included specific presentations on work being accomplished in the 

engagements. In addition, the convenings gave city representatives opportunities to work in subgroups based on common interests or challenges or based on geographic regions. 

The NRN team believed the key to the success of these efforts was to— 

[Create] the space and [step] back” and not to control the events. The cities 

designed the agendas and did most of the delivery. NRN leaders saw this as 

“group therapy for economically challenged cities. Folks came back home 

from the convenings energized to tackle things in an integrated way. For those 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

68 

National Resource Network Supporting Activities 

who made progress, they gained self-esteem, seeing themselves as being on a 

leading track. 

A leadership team made up of representatives from a number of cities that had received NRN 

engagements, as well as senior NRN staff determined the topics covered at the national 

convenings.15 They were held— 

•  November 7–8, 2014, Chattanooga, Tennessee, around 30 engagement city 

participants from 11 cities. 

•  June 24–26, 2015, Miami, Florida, 120 engagement city participants from 43 cities. 

•  December 8–9, 2016, New Orleans, Louisiana, 105 engagement city participants 

from 46 cities. 

The smaller-group interactions involved a variety of approaches. Some attempted to build 

regional relationships. For example, in connection with the Miami meeting, representatives 

of 20 California cities held a preconvening session with cities, and 15 Florida cities held a postconvening session. In both of these sessions, consortium leaders facilitated discussions on state-specific issues (for example, how the state could be a better partner and how it might be inhibiting economic improvement). The California discussion led to the development of a 

policy recommendations paper, which was the basis for a separate convening at the 

University of Southern California in November 2015 (Kleiman, 2015). 

All the sample sites participated in peer convenings during their engagement period. Most 

interviewees spoke highly of their experiences using the peer network and mentioned it as a way to expand the idea-sharing process beyond their city or neighboring communities. Two 

respondents mentioned that it was difficult to send a staff person to a convening given other demands. One respondent reflected a desire to have digital peer convenings as a helpful way to lessen the time attending an all-day in-person meeting. 

In addition to these meetings, the NRN joined with the Massachusetts Economic 

Development and Finance Agency (MassDevelopment) to establish a—  

State Resource Network” in Massachusetts. MassDevelopment administers 

the Transformation Development Initiative, a redevelopment program for 

Gateway Cities in the state, “designed to enhance local public-private 

engagement and community identity, stimulate an improved quality of life for 

local residents, and spur increased investment and economic activity. 

(MassDevelopment, 2017) 

In late 2016, MassDevelopment entered into an agreement with the NRN under which it 

would provide a grant of $375,000 (NRN, 2016a). Funds from the two entities combined 

were to support NRN-oriented activities, including engagements for which 16 Massachusetts 

cities would be eligible (7 Transformation Development Initiative cities plus 9 others that met regular NRN eligibility criteria). All these cities could receive 311 assistance, and those 15 The Institute for Sustainable Communities facilitated the first gatherings. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

69 

National Resource Network Supporting Activities 

cities receiving engagement assistance were also supported to participate in the NRN peer-to-peer agenda. 

Another approach established groups to work together on specific topics. In 2015, for 

instance, a Broadband Access and Digital Literacy Topic Group was established, initially 

with participants from six cities: Chattanooga, Tennessee; Gonzales, California; Greensboro, North Carolina; New Orleans, Louisiana; Springfield, Missouri; and Youngstown, Ohio. The 

cities worked together to prepare a guide on this topic for other members that covered how to get started, funding opportunities, methods of increasing digital literacy, and common 

challenges. The guide, designed to be a “living document,” was released to the peer-network members via the Gitbook platform and policy recommendations (see the following 

discussion). 

Policy Recommendations 

The NRN consortium committed to reviewing the work done in the engagements and broader 

NRN activities on an ongoing basis, as it was under way and committed to drawing from 

those experiences to develop recommendations that “could help local governments achieve 

their economic development visions.” 

The NRN presented recommendations in different types of documents and reports. The 

recommendations (1) identified key challenges distressed communities experienced, (2) 

tracked community engagements, (3) identified key policy areas for HUD and the SC2 

Council to consider, and (4) developed politically feasible and practical recommendations 

that could be implemented at the federal level. The lead authors of this work were scholars from New York University’s Robert F. Wagner Graduate School of Public Policy (with 

assistance from the Urban Institute’s Policy Advisory Group in some areas). However, 

representatives from engagement cities and others involved in the NRN also made important 

contributions to these products through interactions with the authors from the conceptual 

stages through reviews of drafts. 

Work in this area ultimately led to the publication of three policy recommendation reports, which all developed around topics of deliberation in the peer-to-peer activity, and an 

additional product generated under a separate grant from the Robert Wood Johnson 

Foundation. All products are available via the “Insights” section of the NRN website. 

•  The first topic was recognized early on as one of central importance in economic 

development strategies for NRN-eligible cities. The report covered research on the 

experiences of 12 cities on the effects of anchor institutions on their economies and 

how cities can work with the anchors to further development (Kleiman et al., 2015). 

•  The second, on the importance of California’s economically challenged cities to the 

state and federal governments, grew out of meetings of the peer-to-peer California 

subgroup noted previously (Kleiman, 2015). 

•  The third was the product of joint work by the peer-to-peer subgroup on broadband 

access and digital literacy (NRN, 2016b). 

A separate $300,000 late-2015 grant from the Robert Wood Johnson Foundation supported 

the fourth major product that focused on demonstrating the value of expanding the 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

70 

National Resource Network Supporting Activities 

availability of health data to cities. A team from New York University’s Robert F. Wagner 

School of Public Services conducted the project, working with four NRN engagement cities 

(Flint, Michigan; Kansas City, Kansas; Providence, Rhode Island; and Waco, Texas). The 

core of the effort was the selection of 20 metrics that cover diverse aspects of health, 

collecting data to support those measures at the city level for the selected cities and preparing a dashboard communicating the results for each city. Experts developed the work 

interactively with the cities and vetted it. Draft dashboards were tested in late 2016 with the expectation of a formal launch in early 2017. 

In addition to these reports, staff of the policy recommendations component prepared and 

collected a sizeable number of blog posts, articles, and other short substantive pieces they believed would be of interest and useful to all eligible cities. These resources were also 

posted as developed on the “Insights” page of the website. As of the end of 2016, 22 such 

items were on the site. They ranged from “how to do it” suggestions on particular topics by NRN TA providers to blog posts from mayors of engagement cities on their observations on 

the program to pieces by outside experts on interest expressed by participating cities. 

Local Resource Network 

In developing the NOFA for the NRN, HUD and the SC2 Council recognized a new 

potential. They reasoned that one way to strengthen distressed or low-capacity local 

governments would be to mobilize strong, ongoing support for them from civic leaders and 

other nongovernmental institutions in their own cities. This strategy would mean working out supportive long-term partnering arrangements with local philanthropies, businesses (and 

business groups), and strong anchor institutions (such as universities and major hospitals); that is, by forming local resource networks (HUD, 2012: 13). Political scientists have long recognized that coalitions of such interests that work toward civic betterment already exist in many U.S. cities.16 The specific task here would be to engage (or form) such groups 

explicitly in ways that would strengthen and support their local governments during the long term. 

This activity was suggested, but not required, in the NOFA. The NRN consortium took a 

series of steps to move it forward. The NRN prepared a concept paper on local resource 

networks that HUD approved in mid-2014 and selected “Civic Consulting” to further the 

approach in the NRN context. Later that year, New Orleans was selected to be the local 

resource network pilot city (after rating five candidate NRN engagement cities on indicators of potential success as a local resource network); the kickoff for the program took place there in January 2015. At one point, it was expected that two additional engagement cities would 

be selected for local resource network development, but the NRN consortium decided that 

expanding the area to be served around New Orleans (by adding six parishes) would be a 

more cost-effective way to develop the concept. 

The New Orleans Local Resource Network framed its role as an ongoing public-private pro 

bono platform to address critical issues in the city. Accordingly, it was rebranded as the 

16 See the concept of local “regimes” by Stone (2005) and discussion in Briggs (2008). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

71 

National Resource Network Supporting Activities 

Greater New Orleans Talent Partnership. Through September 2016, 19 companies had 

participated in seven pro bono projects via the city or Greater New Orleans, Inc. These 

projects focused on expanding broadband internet access in underserved neighborhoods, 

blight reduction, analytics to reduce police attrition, and other topics. The Greater New 

Orleans Talent Partnership also used the results of a feasibility study conducted among local businesses to develop a formal skills-based volunteering platform. The goal of the platform is to expand skills-based volunteering in advance of New Orleans’ 300th anniversary. It is 

expected that this will include the formation of a pro bono council, a digital volunteering platform, and a fundraising plan, and the identification of key projects and metrics for 

success.

Strong Cities, Strong Communities National Resource Network Program Evaluation 

72 

Implications and Lessons Learned 

Implications and Lessons Learned 

The National Resource Network offers a new approach for the federal government to assist a 

set of distressed American cities. In this chapter, we respond to our final research question: What lessons can be drawn from the NRN experience that could benefit economically 

distressed, low-capacity cities generally in the United States? 

Contributions of NRN Engagements and Lessons Learned 

The sample of NRN engagements examined in this study produced a number of valuable 

short-term products and related benefits that furthered city interests, benefits that it seems unlikely the city governments would have produced on their own. Cities’ access to this help was subsidized—they were responsible for only 25 percent of the costs. A high share of the 

city governments and their local collaborators said they were well satisfied with these results. 

Praise for the work came from most of the mayors and city managers involved, as well as 

from staff at lower levels. 

What accounted for these outcomes? Given the limits of this type of evaluation, we cannot 

pin down the causes precisely, but several factors seem fairly clear. The first was the 

assessment process. We believe the assessments were the main ingredient that made these 

engagements different from traditional consulting and extension work in distressed cities. 

The assessments allowed for cities and technical assistance providers to collaboratively and thoroughly plan the engagements, increasing the probability that the assistance would be 

workable and match the true needs, desires, and capacities of the local governments and 

communities. The combination of the simple request for assistance with the substantial 

interactions of the assessment appeared to work, preventing cities from having to spend 

major resources up front to enter the process and giving them the opportunity to think 

through what they wanted to achieve in depth in the joint meetings, with expert advice along the way. The assessments seemed to reinforce the commitment of both parties to keep these 

engagements focused on the big-picture issues of economic revitalization and fiscal stability. 

A second factor was the emphasis given in the NRN to collaboration between not only 

various city departments but among the local government, civic leaders, and other 

stakeholders outside of the government. This idea draws on regime theory, which sees civic 

institutions as needed to create collaborative arrangements through which local governments and private actors can assemble the capacity to govern more effectively (Elkin, 1987; Stone, 2005). Joint work in the engagements heightened a sense of ownership of the process on both sides. Also, indications exist that it built trust and stronger relationships between city staff and civic leaders that may be able to offer payoffs in future city improvement efforts. 

The local resource network, one of the supporting activities of the NRN, was created with 

this theory in mind. Although the local resource network concept was not broadly 

implemented in the NRN, the idea of coalition building permeated most of the engagements, 

bringing together civic leaders with city leaders, increasing the likelihood that they would work in concert to create a coordinated plan of action. 

A third factor was the NRN context. The fact that these engagements operated as a part of a high-level and coordinated federal initiative made a difference. The White House Council on 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

73 

Implications and Lessons Learned 

Strong Cities, Strong Communities brought the relevant federal agencies together nationally in a joint effort to provide a new, less fragmented and less top-down, form of technical 

assistance to address the challenges of distressed cities. The SC2 Council provided oversight of the activities of the NRN and could step in where needed. A number of officials from 

NRN sites noted that this context gave their engagements an aura of special importance, 

causing local stakeholders in and out of government to pay closer attention to the work than they might otherwise have done and enabling them to bring up and address issues more 

effectively than would have been possible in a normal consultancy arrangement. 

Another topic to be discussed here is the relationship between the NRN and the earlier SC2 

community solution team pilots. The NRN program improved in some ways on the pilots but 

also lost some of the benefits gained from having federal personnel directly involved in the assistance. Some challenges cited in the evaluation of the pilots seemed to be alleviated 

through the NRN program; challenges included the lack of dedicated financial resources for 

the SC2 team activities, a less-than-ideal determination of which cities were well positioned to benefit from the pilot, a lack of alignment between team members’ areas of expertise and city focus, and a lack of assignment to activities over which the mayor had influence (Abt, 2014). 

However, some of the benefits were lost by removing direct involvement of the federal staff, such as the creation of new means for cities to interact with federal agencies, increased 

insights for federal employees into how cities with capacity deficits operate, and cross-

agency collaboration within the federal government that promoted professional development 

opportunities for team members. From the point of view of the NRN cities, not many cases 

with federal red tape and inadequate coordination between federal agencies emerged as 

major barriers in their particular engagements. This finding suggests that a future program might operate effectively with NRN-type TA providers from private firms handling most 

engagements, but bringing in federal community solution teams with particularly difficult 

federal coordination problems needs to be addressed. 

The NRN engagements were generally viewed as positive, and evidence remains that some 

steps are being taken to assure that their longer-term goals will be attained. It is, of course, impossible to reliably assess the prospects for long-term results at this point. Additional research in even in a few years’ time would probably be cost effective to obtain a better 

understanding of how those results have played out. 

Contribution of NRN-Supporting Activities 

Although we did not evaluate them formally, the NRN-supporting activities appeared to be 

helpful but perhaps not critical to the success of the program overall. 

Although we have not been able to assess broader usage of the TA Clearinghouse and 

Resource Library, NRN staff felt the usage rate for 311 for Cities was surprisingly low (for reasons we were unable to explain in this review). Because these functions were not very 

expensive and a base investment has already been made, it may be reasonable to continue to 

operate them if an NRN effort is sustained in the future.  

A local resource network component was ultimately implemented in only one city, New 

Orleans, where available reports suggest it was regarded positively. It appears that it was not 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

74 

Implications and Lessons Learned 

taken up elsewhere mainly because of budget constraints. In a future program, research 

might be warranted to explore how the type of institution building that takes place in an 

engagement might best be expanded to lead to the building of a permanent local network 

over the longer term. 

The peer-to-peer network appears to have been the most energetic component of all NRN 

supporting activities. As chapter 7 documented, attendance was high at the three peer-to-peer gatherings and participation enthusiastic in the small group interactions (both regional and topical). Particularly important for the future may be the experience in developing the State Resource Network in Massachusetts. Very late in the NRN operating period (2016), the NRN 

and leaders of the Massachusetts Economic Development and Finance Agency 

(MassDevelopment) agreed to begin a program that would provide NRN-oriented activities, 

including the offer of engagements to 16 additional cities in the state. MassDevelopment 

provided a grant of $375,000 to help cover the costs. 

It is noteworthy here that several cities submitted requests for assistance to this program that had not submitted them when they were first offered under the national umbrella. This 

finding suggests three things: (1) Additional cities that did not apply originally may now be interested in NRN engagements; (2) State government involvement in the process may be an 

attractive way to mobilize additional activity; and (3) State governments may be willing to provide a share of the funding required. This may be one avenue for expanding this type of 

initiative. 

Sustaining the Program 

As of this writing, the federal level has no agreement to add funding to the existing NRN 

cooperative agreement. The NRN has, however, received a sizable commitment from the 

Laura and John Arnold Foundation to fund continued technical assistance around financial 

management for cities. This evaluation was not charged with answering the question of 

whether the NRN or an initiative like it should continue. However, it seems appropriate to 

offer some observations pertinent to that question. 

It is important to mention first that steps have already been taken to try to sustain a central ongoing institutional home for the broader SC2 approach. In late 2016, the Obama 

Administration formally established a “Community Solutions Council” in The White House 

to do so (SC2 Council, 2017; White House, 2016). It is of course uncertain whether this 

council will be continued, but, in the past, the basic ideas behind SC2 (the three main themes of breaking down programmatic silos, tailoring solutions to real needs and circumstances, 

and fostering collaborative partnerships) have had strong bipartisan support. 

If interest in a broader program with these aims continues, should the NRN engagement 

approach be a part of it? The NRN engagements were not perfect, of course, but they worked 

well overall considering the possibilities for these types of endeavors. At least, we know that they worked well for the group of cities that ultimately participated. 

An important finding, however, is that the share of all cities that applied for NRN assistance was surprisingly small (only 23 percent nationally, ranging regionally from 38 percent in the Northeast, down to only 13 percent in the West). These shares could probably be increased 

somewhat (for example, with the type of more direct and personal outreach that characterized 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

75 

Implications and Lessons Learned 

recruitment in the MassDevelopment program). However, it is doubtful it could be changed 

dramatically, the implication being that although the NRN approach can be a good solution 

for a significant class of eligible cities, it is not the sole solution to the broader challenge, at least as it has been designed. 

The Need for Research To Assess Broader Needs and Opportunities 

Further research along several lines is warranted. To start, it would be valuable to explore why different cities did not respond to the requests for assistance. A (possibly large) group of cities may not need assistance along these lines. The eligibility criteria identified cities that are distressed, but it is well known that some distressed cities are competent managerially. 

This group then would include cities that, although they are distressed today, are already on a trajectory of economic improvement. It would also include cities that are not yet improving economically but are managerially competent and are already forming an effective economic 

development strategy on their own. 

Second, among those that do need assistance, a number of reasons can explain why they did 

not apply. For example, the matching requirement may have been a barrier for many 

nonapplicants, even though it appeared not to be a problem for the applicants. Other cities may not have fully appreciated the benefits this type of engagement could provide them; they may have understood the benefits but felt they simply did not have the time or the 

competence to host an outside TA team for an engagement of this scope. Still other cities 

may have recognized that this type of engagement would bring scrutiny to their affairs, and they did not want to risk possible exposure. 

This report is not the place to attempt to design a research program in any detail. However, such a program would at least include the following. 

•  A cleverly worded survey of all eligible cities that did not apply. 

•  Extensive interviews with a sample. 

•  Further statistical analysis with available datasets to explore variations in 

socioeconomic conditions and trends of the nonapplicants. 

One option with the statistical analysis would be to compare cities that are suburbs of 

growing metropolitan areas with suburbs of declining metropolitan areas and freestanding 

cities (taking into account variations in these categories across census regions). Research on the implications of alternative ways of defining distress should also prove valuable, as should research on the meaning and implications of differing alternative minimum size thresholds. 

Related to this exploration, if NRN work continues and demand outstrips the network’s 

ability to supply support, targeting warrants further investigation. Although the eligibility criteria are defensible, they are proxies for the real attributes of underlying need the NRN is trying to address. As a result, more research could be conducted to understand which cities are best positioned at the intersection of need, interest, and availability to see through an NRN engagement. For example, are some eligible cities sufficiently available to identify 

resources on their own, making an investment of federal resources, if helpful, nevertheless unnecessary. Alternatively, is it possible that some cities are too low capacity to benefit from NRN support? If so, how can those cities best be identified in advance? In short, apart from 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

76 

Implications and Lessons Learned 

engaging in the time-consuming assessment process, how can the NRN best find the “sweet 

spot” of cities to engage with? 

Beyond exploring these factors, as alluded to previously, it would be of considerable value to track the engagement cities during a longer period. Such an effort would seek to answer 

many of the questions we have begun to develop, including whether the engagements yielded 

enduring changes in the attitudes and behaviors of important outside institutions, whether the engagements built and strengthened institutional relationships and methods of working 

together, and whether the engagements built general capacity and confidence in city 

government, motivating it to take bolder internal reforms and outside improvement 

initiatives. 

Related to long-term trends, further empirical case study work, either quantitative or 

qualitative, could be conducted to investigate outcomes or impacts of interventions in a 

specific city. Evaluating community change efforts is challenging, and many design elements must be considered, but some good examples and promising practices are available to 

researchers (Theodos and Firschein, 2015). 

Finally, more research that evaluated different types of approaches, explicitly comparing 

their effectiveness with each other, would be beneficial. It would be worthwhile to better 

understand the benefits of the NRN vis-à-vis approaches like the community solutions teams, traditional city-focused consulting, and university-based public extension work. 

Overall, the NRN program offers a promising approach to assisting some distressed cities to overcome challenges and build civic-public collaboration, but it is not a panacea for solving the problems of all distressed cities. The NRN should be used in concert with other programs and policies that can address the larger swath of distressed cities in robust, meaningful ways. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

77 

Authors/Statement of Independence 

Authors 

Brett Theodos is a principal research associate. G. Thomas Kingsley is a senior fellow. Eric Burnstein and Sara McTarnaghan are research associates. Christina Plerhoples Stacy is a 

senior research associate, and Ruth Gourevitch is a research assistant. All are in the 

Metropolitan Housing and Communities Policy Center at the Urban Institute.  

Statement of Independence 

The Urban Institute strives to meet the highest standards of integrity and quality in its 

research and analyses and in the evidence-based policy recommendations offered by its 

researchers and experts. We believe that operating consistent with the values of 

independence, rigor, and transparency is essential to maintaining those standards. As an 

organization, the Urban Institute does not take positions on issues, but it does empower and support its experts in sharing their own evidence-based views and policy recommendations 

that have been shaped by scholarship. Funders do not determine our research findings or the insights and recommendations of our experts. Urban scholars and experts are expected to be 

objective and follow the evidence wherever it may lead. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

78 

References 

References 

Abt Associates (Abt). 2014.  Evaluation of the Strong Cities, Strong Communities (SC2) 

Teams Pilot: Final Report. Bethesda, MD: Abt Associates, Inc. 

Briggs, Xavier de Souza. 2008.  Democracy as Problem Solving: Civic Capacity in 

Communities Across the Globe. Cambridge, MA: Massachusetts Institute of 

Technology. 

Center for the Study of Social Policy (CSSP). 2011. “Senator Harkin Introduces Bill to Make Promise Neighborhoods a Federally-Authorized Program.” 

https://www.cssp.org/media-center/press-releases/senator-harkin-introduces-bill-to-

make-promise-neighborhoods-a-federally-authorized-program. 

Elkin, Stephen L. 1987.  City and Regime Politics in the American Republic. Chicago: University of Chicago Press. 

Fudge, Keith, Pam Blumenthal, Sage Computing Staff, and Mike Hollar. 2012. “Growing 

Toward the Future: Building Capacity for Local Economic Development,”  Evidence 

Matters (Winter 2012): 1–10. 

Ginzberg, Eli. 1993. “The Changing Urban Scene: 1960–1990 and Beyond.” In  Interwoven 

Destinies: Cities and the Nation, edited by Henry Cisneros. New York: W. W. 

Norton & Company: 33–47. 

Graff, Garrett M. 2016. “The Urban Inheritance Trump Stands to Squander.” 

https://nextcity.org/features/view/obama-urban-policy-donald-trump-inherits.  

Immergluck, Dan. 2009. “The Foreclosure Crisis, Foreclosed Properties, and Federal Policy: 

Some Implications for Housing and Community Development Planning,”  Journal of 

the American Planning Association  75 (4): 406–423. 

International City/County Management Association (ICMA). 2017. “About the Knowledge 

Network.”  https://icma.org/about-knowledge-network-0.  

Jargowsky, Paul A. 1997.  Poverty and Place: Ghettos, Barrios, and the American City. New York: Russell Sage Foundation.  

———. 2014.  Concentration of Poverty in the New Millennium: Changes in the Prevalence, 

Composition, and Location of High-Poverty Neighborhoods. New York: The Century 

Foundation; Camden, NJ: Rutgers Center for Urban Research and Education. 

https://tcf.org/content/report/concentration-of-poverty-in-the-new-millennium/ 

Joice, Paul A. 2011. “Neighborhood Stabilization Program,”  Cityscape 13 (1): 135–141. 

Katz, Bruce, and Alan Berube. 2002. “Cities Rebound—Somewhat,”  American Enterprise 

13 (4): 47. 

Khadduri, Jill. 2015. “The Founding and Evolution of HUD: 50 Years, 1965–2015.” In  HUD 

at 50: Creating Pathways to Opportunity, edited by Lynn M. Ross. Washington, DC: 

U.S. Department of Housing and Urban Development: 5–102. 

huduser.gov/portal/publications/reports/HUD-at-50.html. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

79 

References 

Kingsley, G. Thomas, and Kathryn L.S. Pettit. 2003. “Concentrated Poverty in the 1990s: A 

Change in Course.” Washington, DC: Urban Institute. 

http://webarchive.urban.org/publications/310790.html.  

Kleiman, Neil. 2015.  Hidden in Plain Sight: Why California’s Economically Challenged 

Cities Matter. Washington, DC: National Resource Network. 

http://www.nationalresourcenetwork.org/en/Document/306226/Hidden_in_Plain_Sig

ht_Why_Californias_Economically_Challenged_Cities_Matter.  

Kleiman, Neil, Liza Getsinger, Nancy Pindus, and Erika Poethig. 2015 . Striking a (Local) Grand Bargain: How Cities and Anchor Institutions Can Work Together to Drive 

Growth and Prosperity. Washington, DC: National Resource Network. 

http://www.nationalresourcenetwork.org/en/Document/306220/Striking_a_Local_Gra

nd_Bargain.  

Kneebone, Elizabeth. 2014. “The Growth and Spread of Concentrated Poverty, 2000 to 

2008–2012.”  https://www.brookings.edu/interactives/the-growth-and-spread-of-

concentrated-poverty-2000-to-2008-2012/.  

Kodrzycki, Yolanda K., and Ana Patricia Muñoz. 2013.  Economic Distress and Resurgence 

in US Central Cities: Concepts, Causes, and Policy Levers. Boston: Federal Reserve 

Bank of Boston.  https://www.bostonfed.org/publications/public-policy-discussion-

paper/2013/economic-distress-and-resurgence-in-us-central-cities-concepts-causes-

and-policy-levers.aspx.  

Komro, Kelli A., Brian R. Flay, and Anthony Biglan. 2011. “Creating Nurturing 

Environments: A Science-Based Framework for Promoting Child Health and 

Development within High-Poverty Neighborhoods,”  Clinical Child and Family 

Psychology Review 14 (2): 111–134. 

Mallach, Alan. 2010.  Facing the Urban Challenge: The Federal Government and America’s 

Older Distressed Cities. Washington, DC: Brookings Institution. 

Mallach, Alan, and Lavea Brachman. 2013.  Regenerating America’s Legacy Cities. 

Cambridge, MA: Lincoln Institute of Land Policy. 

http://www.lincolninst.edu/publications/policy-focus-reports/regenerating-americas-

legacy-cities.  

MassDevelopment. 2017. “Transformative Development Initiative (TDI).” 

http://www.massdevelopment.com/what-we-offer/key-initiatives/gateway-cities/.  

National Resource Network (NRN). n.d. “FAQ: Request for Assistance.” 

http://nationalresourcenetwork.org/en/solutions/rfafaq - FAQ4b.  

———. 2015. “New in the Resource Library: Network’s Responses to Recent 311 for Cities 

Requests.” 

http://www.nationalresourcenetwork.org/en/Article/35/New_in_the_Resource_Librar

y_Networks_Responses_to_Recent_311_for_Cities_Requests.  

———. 2016a. “National Resource Network Launches Massachusetts State Resource 

Network for Cities.” 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

80 

References 

http://nationalresourcenetwork.org/en/Article/39/National_Resource_Network_Launc

h_Massachusetts_State_Resource_Network_for_Cities.  

———. 2016b.  Access and Inclusion in the Digital Age: A Resource Guide for Local 

Governments. Washington, DC: National Resource Network. 

http://www.nationalresourcenetwork.org/en/Document/306284.  

Orzag, Peter R., Melody Barnes, Adolfo Carrion, and Lawrence Summers. 2009. 

“Developing Effective Place-Based Policies for the FY 2011 Budget.” 

http://www.ampo.org/assets/library/214_m0928.pdf.  

Pack, Janet Rothenberg. 1994. “The Impacts of Concentrated Urban Poverty on City 

Government Expenditures.” Paper presented to Wharton Conference on Urban 

Policy, University of Pennsylvania.  

Pendall, Rolf, Elizabeth Davies, Lesley Freiman, and Rob Pitingolo. 2011.  A Lost Decade: Neighborhood Poverty and the Urban Crisis of the 2000 s. Washington, DC: Joint 

Center for Political and Economic Studies.  http://jointcenter.org/research/lost-decade-

neighborhood-poverty-and-urban-crisis-2000s.  

Pendall, Rolf, Leah Hendey, David Greenberg. Kathryn L.S. Pettit, Diane K. Levy, Amy 

Khare, Megan Gallagher, Mark Joseph, Alexandra Curley, Aesha Rasheed, Nancy 

Latham, Audra Brecher, and Chantal Hailey. 2015.  Choice Neighborhoods: Baseline 

Conditions and Early Progress. Washington, DC: U.S. Department of Housing and 

Urban Development, Office of Policy Development and Research. 

huduser.gov/portal/publications/reports/choice-neighborhoods-baseline.html. 

Pendall, Rolf, Leah Hendey, Margery Austin Turner, and Erika Poethig. 2016.  Revitalizing Neighborhoods: The Federal Role. Washington, DC: Urban Institute. 

http://www.urban.org/research/publication/revitalizing-neighborhoods.  

Pendall, Rolf, Sandra Rosenbloom, Diane K. Levy, Elizabeth Oo, Gerrit Knapp, Jason 

Sartori, and Arnab Chakraborty. 2013.  Can Federal Efforts Advance Federal and 

Local De-siloing? Lessons from the HUD-EPA-DOT Partnership for Sustainable 

Communities. Washington, DC: Urban Institute. 

https://www.urban.org/research/publication/can-federal-efforts-advance-federal-and-

local-de-siloing-full-report.  

White House Council on Strong Cities, Strong Communities (SC2 Council). 2013.  Strong 

Cities, Strong Communities Initiative: 1st Annual Report. Washington, DC: 

Executive Office of the President of the United States. 

huduser.gov/portal/publications/other/sc2_1st_annual_rpt.html. 

———. 2017.  Strong Cities, Strong Communities Initiative: Final Report. Washington, DC: Executive Office of the President of the United States. 

huduser.gov/portal/sites/default/files/pdf/SC2-FinalReport-January-2017.pdf. 

Stone, Clarence. 2005. “Looking Back To Look Forward: Reflections on Urban Regime 

Analysis,”  Urban Affairs Review 40 (3): 309–341.  

Strong Cities, Strong Communities National Resource Network Program Evaluation 

81 

References 

Theodos, Brett, and Joseph Firschein. 2015. “Evaluating Community Change Programs.” In 

Handbook of Practical Program Evaluation, 4th ed., edited by Kathryn E. 

Newcomer, Harry Hatry, and Joseph S. Wholey. Hoboken, NJ: John Wiley & Sons: 

259–280.  

Theodos, Brett, Christina Plerhoples Stacy, and Helen Ho. 2017.  Taking Stock of the 

Community Development Block Grant. Washington, DC: Urban Institute. 

https://www.urban.org/research/publication/taking-stock-community-development-

block-grant.  

U.S. Department of Housing and Urban Development (HUD). 2011. “Choice 

Neighborhoods: History and Hope,”  Evidence Matters (Winter 2011): 1–7. 

huduser.gov/portal/periodicals/em/winter11/highlight1.html. 

———. 2012. Notice of HUD’s Fiscal Year 2012 Notice of Funding Availability (NOFA) 

Policy Requirements and General Section to HUD’s FY2012 NOFAs for 

Discretionary Programs. Washington, DC: U.S. Department of Housing and Urban 

Development. https://www.hudexchange.info/resources/documents/FY2012-NOFA-

Policy-Requirements-And-General-Section.pdf.  

von Hoffman, Alexander. 2012. “The Past, Present, and Future of Community Development 

in the United States.” In  Investing in What Works for America’s Communities: Essays 

on People, Places, and Purpose, edited by Nancy O. Andrews and David J. Erickson. 

San Francisco: Federal Reserve Bank of San Francisco and Low-Income Investment 

Fund: 10–54.  http://www.whatworksforamerica.org/the-book/.  

The White House. 2011.  Building Neighborhoods of Opportunity: White House 

Neighborhood Revitalization Initiative Report. Washington, DC: White House.  

———. 2016. “Executive Order–Establishing a Community Solutions Council.” 

https://obamawhitehouse.archives.gov/the-press-office/2016/11/16/executive-order-

establishing-community-solutions-council.  

Wilson, William Julius. 1987.  The Truly Disadvantaged: The Inner City, the Underclass, and Public Policy. Chicago: University of Chicago Press. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

82 

Appendix A: Methodology 

Appendix A: Methodology 

The following descriptive analysis compares all U.S. cities with populations greater than 

40,000 (the population cutoff that the National Resource Network uses) with cities that were eligible for NRN assistance, cities that requested assistance, and cities engaged in the NRN. 

Juxtaposing these subgroups of cities highlights the ways cities engaged in the NRN differed from the average U.S. city and how much the NRN’s eligibility criteria aligned with the 

characteristics of the engaged cities.  

The NRN team provided the Urban Institute a list of all cities eligible for NRN assistance, all cities that requested NRN assistance, and all cities that engaged in NRN assistance. We then retrieved data on all U.S. cities from the American Community Survey (2010–2014 and 

2010–2012), the U.S. Decennial Census (2000 and 2010), Federal Bureau of Investigations 

Uniform Crime Reports (2015), and the Comprehensive Annual Financial Report database, 

which collects data from municipalities that received the Government Finance Officers 

Associations’ Certificate of Achievement for Excellence in Financial Reporting (2013).  

We calculated averages for several demographic and fiscal variables for the different groups of cities. Finally, we used t-tests to look for differences in means between all eligible cities and all U.S. cities, cities that requested assistance and all eligible cities, engaged cities and eligible cities, and sample cities and engaged cities. 

This analysis incorporates the NRN’s eligibility criteria (outlined in chapter 3) in the 

following ways.  

•  This analysis includes only cities with populations greater than 40,000.17 

•  This analysis uses the same calculation for population change that the NRN used (that 

is, data from the 2000 and 2010 U.S. Census). 

•  This analysis uses the same poverty rate measure that the NRN used (from the 2010–

2012 ACS, excluding students enrolled in undergraduate, graduate, or professional 

school).  

We did not replicate the remaining eligibility criteria in the following analysis because of data limitations.  

•  An average unemployment rate of 9 percent or more, as measured by the Bureau of 

Labor Statistics. 

•  A bond rating downgrade or change in outlook. 

•  Failure to balance local government budget for 2 or more years in a row since 2008. 

•  A reduction of 10 percent or more of local government workforce in the past 3 years. 

However, the variables chosen for this analysis reflect the criteria the NRN included in 

deciding which cities should engage in the program.  

17 Four cities in the eligible cities list were either not technically cities (they were towns or census-designated places) or they had a population of less than 40,000, so they were dropped from the eligible cities list. Eleven cities were provided assistance that were not on the eligible cities list, so they are included in the engaged cities list but not the eligible cities list. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

83 

Appendix A: Methodology 

Comparisons of All U.S. Cities and Cities Involved in the NRN 

NRN-Eligible Cities Compared With All U.S. Cities  

We first compared the characteristics of NRN-eligible cities with U.S. cities with populations greater than 40,000 (“all U.S. cities” for shorthand) to determine what types of cities were eligible for assistance (Table A.1). Generally, eligible cities were comparable with all U.S. 

cities in total population and population change between 2000 and 2010, but eligible cities had populations that had higher percentages of Black or Hispanic residents, had residents 

with lower incomes, had greater poverty, had higher unemployment, had residents who were 

more likely to live in the city but be employed elsewhere, and were had residents who were 

less educated. Eligible cities also had a higher percentage of renter-occupied housing than U.S. cities as a whole, had an older housing stock, had higher vacancy rates, had higher 

crime rates, and were less fiscally healthy. 

Table A.1: Significance Testing 

All U.S. 

All Eligible 

Requested 

Engaged 

Sample 

Cities 

Citiesa 

Assistanceb 

Citiesb 

Citiesc 

Population characteristics 

Population (average) 

142,653 

161,360 

227,206* 

149,957 

194,751 

Population change 2000–2010, 

22 

13 

6* 

5* 

11 

average (percent) 

Population under age 18, average 

24 

25*** 

24*** 

24* 

24 

(percent) 

Population ages 65 and older, average 

14 

13** 

14 

14 

13 

(percent) 

Race and ethnicity characteristics (average) 

White non-Hispanic (percent) 

55 

42*** 

43 

43 

34 

Black (percent) 

13 

19*** 

24** 

26** 

24 

Asian (percent) 

7 

4*** 

4 

4 

6* 

Hispanic (percent) 

22 

32*** 

25** 

24* 

34 

Foreign born (percent) 

16 

18*** 

20 

19 

23 

Income characteristics (average) 

Median family income (per year) 

$66,696 

$50,296*** 

$49,489 

$49,141 

$46,725 

Poverty rate (percent with income in 

the past 12 months below federal 

15 

21*** 

21 

22 

22 

poverty level) 

Unemployment rate (percent) 

6 

8*** 

8 

7 

7 

Commuter characteristics (average) 

Residents living and employed in city 

40 

40 

42 

45 

53 

(percent) 

Residents living outside city, 

14 

10*** 

11 

8 

6 

employed in city (percent) 

Residents living in city, employed 

14 

16*** 

17 

18 

27* 

elsewhere (percent) 

Education characteristics (average) 

No high school diploma (percent) 

14 

21*** 

21 

21 

24 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

84 

Appendix A: Methodology 

All U.S. 

All Eligible 

Requested 

Engaged 

Sample 

Cities 

Citiesa 

Assistanceb 

Citiesb 

Citiesc 

High school diploma or GED 

25 

29*** 

29 

29 

27 

(percent) 

Some college, no college degree 

30 

29** 

28*** 

27** 

27 

(percent) 

Bachelor’s degree or higher (percent) 

31 

21*** 

23*** 

23** 

22 

Industry characteristics (percent civilian employed population, at least age 16, average) Agriculture (percent) 

1 

2*** 

1 

1 

4** 

Construction (percent) 

5 

6 

6 

6 

6 

Manufacturing (percent) 

10 

11 

10* 

10 

8 

Wholesale (percent) 

3 

3 

3 

3 

3 

Retail (percent) 

12 

12*** 

12* 

12 

12 

Transportation, warehouse, utilities 

5 

5*** 

5 

5 

5 

(percent) 

Information services (percent) 

2 

2*** 

2** 

2 

2 

Finance, real estate (percent) 

7 

5*** 

6 

5 

5 

Arts, food services, and recreational 

10 

11*** 

12 

11 

12 

(percent) 

Public administration (percent) 

5 

5 

4 

4 

5 

Professional scientific and waste 

11 

10 

10** 

10 

9 

management services (percent) 

Educational services (percent) 

24 

24 

25* 

26*** 

24 

Housing characteristics 

Renter occupied (percent) 

43 

52*** 

51** 

52* 

55 

Median year housing stock was built 

1973 

1968*** 

1960*** 

1958*** 

1961 

Vacancy rate (percent) 

10 

12*** 

13* 

12 

13 

Housing costs (average) 

$167,972**

$170,16

Median home value 

$232,982 

$176,977 

$172,853 

* 

7 

Median rent 

$1,010 

$902*** 

$904 

$883 

$899 

Severely rent burdened (percent pay 

more than 50percent of income in 

26 

29*** 

29 

29 

28 

rent) 

Crime rates (average) 

Violent crimes per 100,000 people 

4 

6*** 

8*** 

8** 

7 

Property crimes per 100,000 people 

3,102 

3,552*** 

3,537 

3590 

3888 

City fiscal data (average) 

Property tax levy per capita 

$667 

$334** 

$506** 

$568** 

$699 

Property taxes as a percent of general 

73 

35*** 

38 

40 

48 

fund revenues 

$1.2 

$3.7 

$2.1 

$2.1 

Unassigned general fund balance 

$2.3 million 

million 

million** 

million 

million 

General fund operating ratio (percent) 

106 

103*** 

102 

106 

108 

Municipal debt per capita 

$703 

$626 

$858 

$869 

$687 

$123 

$280 

$210 

$311 

Net pension liability 

$148 million 

million 

million** 

million 

million 

Accrued pensions liability per capita 

$2,192 

$600 

$906 

$809 

$659 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

85 

Appendix A: Methodology 

a Indicates a significant difference from all U.S. cities, not including the eligible cities.  

b Indicates a significant difference from all eligible cities, not including the group listed. 

c Indicates a significant difference from all engaged cities, not including the sample cities. 

* Significant at the 1-percent level. ** Significant at the 5-percent level. *** Significant at the 10-percent level. 

The average population for all U.S. cities was 142,653 in 2012. Eligible cities were not 

significantly different in size from all U.S. cities, but they did have a slightly greater 

proportion of residents under age 18 and a lower proportion of residents age 65 and older. 

The racial and ethnic demographics of these groups also varied. Eligible cities had a 

significantly lower percentage of their population that was non-Hispanic White or Asian but a greater percentage that was Black, Hispanic, and foreign born. Economically, residents of eligible cities had, on average, lower incomes than residents of U.S. cities as a whole 

($50,296 compared with $66,696), and they had a greater percentage of their populations that were in poverty and unemployed. Eligible cities’ residents generally had a higher percentage of their populations without a high school diploma or with only a high school diploma or 

general educational development but a smaller percentage with some college or a bachelor’s 

degree or more.  

The industry mix of the eligible cities also varied from those of U.S. cities as a whole, with eligible cities having a greater percentage of their industry in agriculture and arts, food services, and recreation and a lower percentage focused on finance and real estate. Eligible cities had a smaller percentage of their commuters living outside the city but employed in the city and a higher percentage living in the city but employed elsewhere. 

Eligible cities also generally had a higher percentage of their housing stock renter occupied or vacant and had an older housing stock on average. They also had lower home values and 

lower median rents than U.S. cities as a whole but a higher percentage of their population 

rent burdened.  

Finally, eligible cities had higher violent and property crime rates than U.S. cities as a whole and lower property taxes per capita, lower property taxes as a percentage of general fund 

revenues, and lower general fund operating ratios. 

Cities That Requested Assistance Compared With All Eligible Cities 

Next, we compared the cities that requested NRN assistance with all eligible cities to 

determine how representative these cities were of all cities eligible for assistance. Overall, cities that requested assistance were larger than eligible cities as a whole but had a smaller increase in population between 2000 and 2010. They also had a higher percentage of their 

population that was Black but a lower percentage that was Hispanic, had a slightly smaller 

percentage of their home that was renter occupied and an older housing stock with a higher 

vacancy rate, had a higher violent crime rate, and were mixed in terms of fiscal health.  

Cities that requested assistance were significantly larger than the average population of all eligible cities (227,206 compared with 161,360), indicating that larger cities generally were more likely to request assistance from the NRN than smaller cities. On average, a 

significantly greater percentage of Black people lived in cities that requested assistance (24 

percent compared with 19 percent) and a statistically smaller percentage of Hispanic people lived in cities that requested assistance (25 percent compared with 32 percent). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

86 

Appendix A: Methodology 

Income characteristics were not significantly different between cities that requested 

assistance and all eligible cities, but educational characteristics were. Cities that requested assistance had a smaller percentage of residents with some college but no college degree and a greater percentage of residents with a bachelor’s degree or more. The industry mix of cities that requested assistance versus all U.S. cities did not vary much, although cities that 

requested assistance had a slightly lower percentage of industry in manufacturing and a 

slightly higher percentage in educational services. 

Some housing characteristics varied between cities that requested assistance and all eligible cities, such as the percentage of renter-occupied units (which was 1 percentage point lower), the housing stock (which was on average 8 years older), and the vacancy rate (which was 1 

percentage point higher). Housing costs for cities that requested assistance, however, were comparable with those of all eligible cities. 

Violent crime rates were 2 percentage points higher in cities that requested assistance than all eligible cities, but property crime rates were comparable. Fiscally, cities that requested 

assistance had higher property tax levies per capita and greater unassigned general fund 

balances but higher net pension liabilities ($280 million compared with $148 million in all eligible cities), suggesting they face more challenges in pension payments. 

Engaged Cities Compared With All Eligible Cities 

We next compared the cities that received NRN assistance with all eligible cities to 

understand what types of cities the NRN can engage. Generally, cities that received 

assistance were comparable in total population with eligible cities, but they experienced a smaller population change than eligible cities between 2000 and 2010. A higher percentage 

of the population in engaged cities was Black, a lower percentage was Hispanic, and a higher percentage had a bachelor’s degree or higher. Engaged cities also had a higher percentage of their industry focused on educational services and an older housing stock than eligible cities as a whole. Finally, engaged cities had higher violent crime rates than eligible cities and higher property taxes per capita than eligible cities as a whole. 

Cities that received NRN engagements saw only a 5-percent increase in population between 

2000 and 2010 compared with a 13-percent increase for all eligible cities. They also had a 

smaller percentage of their population under age 18 and a larger percentage of their 

population that was Black but a smaller percentage that was Hispanic (26 percent compared 

with 19 percent and 24 percent compared with 32 percent, respectively). Engaged cities had 

populations with 27 percent with some college but no degree (compared with 29 percent for 

eligible cities) and 23 percent with a bachelor’s degree or higher (compared with 21 percent for eligible cities).  

Engaged cities had an average of 26 percent of their industry focused on educational services (compared with 24 percent in all eligible cities) and had a median housing stock built in 1958 

compared with 1968 for all eligible cities. Engaged cities had a violent crime rate of eight crimes per 100,000 people compared with six for eligible cities. Finally, engaged cities had a higher property tax levy per capita than all eligible cities ($568 compared with $334). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

87 

Appendix A: Methodology 

Sample Cities Compared With Engaged Cities 

Finally, we compared the nine cities in research sample with all engaged cities to determine how representative our sample was of the average engaged cities. Generally, our sample 

cities were representative of all engaged cities and varied only in the percentage of the 

population that was Asian (6 percent in our sample versus 4 percent among all eligible 

cities), the percentage of residents living in the city but employed elsewhere (27versus 18 

percent), and the percentage of industry mix in agriculture (4 versus 1 percent). These 

differences are few and weakly statistically significant, so our sample cities are 

representative of engaged cities as a whole, at least in terms of these observable measures. 

All U.S. Cities 

We turn to a more detailed discussion of each grouping of cities, starting with all U.S. cities. 

We explore differences for each grouping of cities across the four Census-defined regions in the United States. 

Of the 874 U.S. cities, the greatest number of cities is in the West (36 percent), followed by the South (30 percent), Midwest (21 percent), and Northeast (12 percent). The West is 

growing most rapidly, with a 36-percent increase in population between 2000 and 2010 

compared with 22 percent in the South, 7 percent in the Midwest, and 3 percent in the 

Northeast. Racial and ethnic compositions vary significantly by region. Although 55 percent of the population is non-Hispanic White for all U.S. cities, a higher number of non-Hispanic Whites live in the Midwest compared with other regions (the Midwest’s population is 72 

percent White). The South has the highest percentage of Black residents (23 percent 

compared with 15 percent in the Northeast, 13 percent in the Midwest, and 4 percent in the 

West). For all U.S. cities, the average Hispanic population in a city is 22 percent; the region with the greatest share of Hispanic people is the West, where 31 percent of the city 

populations are Hispanic. 

The average median family income, $66,696 for all U.S. cities, also varies significantly by region. In the West and Midwest, the median family income is higher than the national 

average ($73,659 in the West and $67,283 in the Midwest). In the South and Northeast, the 

median family income is on average lower than that of all U.S. cities ($62,112 in the 

Northeast and $61,817 in the South). Industry characteristics are consistent across regions, with the only substantial differences being within the manufacturing and educational services industries. The Midwest has the highest percentage of manufacturing jobs, with the 

manufacturing industry making up 14 percent of the workforce compared with 10 percent for 

all U.S. cities. Educational services in the Northeast make up 27 percent of the workforce 

compared with 24 percent in all U.S. cities.  

Housing characteristics also vary by region. Cities in the West have the most expensive 

home value and rent. The average median home value for cities in the West is $337,940, 

which is $104,958 greater than the average median home value for all U.S. cities. In the 

South, vacancy rates are 13 percent, which is higher than the all-city average of 10 percent. 

The median age of the housing stock is 1973 for all U.S. cities but significantly older in the Northeast (1951) and newer in the South (1980).  

Strong Cities, Strong Communities National Resource Network Program Evaluation 

88 

Appendix A: Methodology 

Lastly, fiscal data highlight how different regions compare with all U.S.-city averages. The average U.S. city brings in $667 worth of revenue per capita through property taxes, but 

Northeast cities bring in a greater amount of per capita revenue from property taxes ($2,164). 

Northeast cities also tend to have more debt per capita compared with other regions. Cities in the Northeast have an average municipal debt per capita of $1,901 compared with $824 in 

the South, $677 in the Midwest and $299 in the West (Table A.2). 

Table A.2: All U.S. Cities With Populations Above 40,000 

U.S. Cities > 

40,000 

Northeast 

Midwest  

South  

West 

(n = 874) 

 (n = 105) 

(n = 184) 

(n = 260) 

 (n = 316) 

Population characteristics 

Population (average) 

142,653 

181,182 

120,083 

149,388 

137,877 

Cities with population 40,000–

583 

80 

136 

160 

202 

100,000  

Cities with population 100,000–

257 

22 

43 

86 

102 

500,000 

Cities with population 500,000–

25 

1 

4 

11 

9 

1,000,000  

Cities with population > 

9 

2 

1 

3 

3 

1,000,000 

Population change 2000–2010, 

22 

3 

7 

22 

36 

average (percent) 

Population under age 18, average 

24 

22 

23 

24 

24 

(percent) 

Population ages 65 and older, 

14 

14 

14 

14 

13 

average (percent) 

Race and ethnicity characteristics (average) 

White, non-Hispanic (percent) 

55 

55 

72 

51 

49 

Black (percent) 

13 

15 

13 

23 

4 

Asian (percent) 

7 

5 

4 

4 

11 

Hispanic (percent) 

22 

22 

8 

19 

31 

Foreign born (percent) 

16 

20 

9 

14 

22 

Income characteristics (average) 

Median family income (per year) 

$ 66,696 

$62,112 

$ 67,283 

$61,817 

$73,659 

Poverty rate (percent individuals 

with income in the past 12 

15 

17 

14 

16 

13 

months below federal poverty 

level) 

Unemployment rate (percent) 

6 

7 

6 

6 

6 

Commuter characteristics (average) 

Residents living and employed in 

40 

28 

44 

50 

33 

city (percent) 

Residents living outside city, 

14 

11 

11 

12 

18 

employed in city (percent) 

Residents living in city, 

14 

18 

16 

15 

10 

employed elsewhere (percent) 

Education characteristics (average) 

No high school diploma (percent) 

14 

17 

10 

14 

15 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

89 

Appendix A: Methodology 

U.S. Cities > 

40,000 

Northeast 

Midwest  

South  

West 

(n = 874) 

 (n = 105) 

(n = 184) 

(n = 260) 

 (n = 316) 

High school diploma or GED 

25 

31 

26 

25 

22 

(percent) 

Some college, no college degree 

30 

25 

30 

30 

32 

(percent) 

Bachelor’s degree or higher 

31 

28 

33 

31 

31 

(percent) 

Industry characteristics (percent civilian employed population, at least age 16, average) Agriculture (percent) 

1 

0 

1 

1 

2 

Construction (percent) 

5 

5 

4 

6 

6 

Manufacturing (percent) 

10 

10 

14 

8 

10 

Wholesale (percent) 

3 

3 

3 

3 

3 

Retail (percent) 

12 

12 

12 

12 

12 

Transportation, warehouse, 

5 

5 

4 

5 

5 

utilities (percent) 

Information services (percent) 

2 

2 

2 

2 

2 

Finance, real estate (percent) 

7 

6 

7 

7 

6 

Arts, food services, and 

10 

10 

10 

11 

10 

recreational (percent) 

Public administration (percent) 

5 

4 

4 

5 

5 

Professional scientific and waste 

11 

11 

10 

12 

12 

management services (percent) 

Educational services (percent) 

24 

27 

25 

24 

22 

Housing characteristics 

Renter occupied (percent) 

43 

52 

39 

43 

42 

Median year housing stock was 

1973 

1951 

1968 

1980 

1978 

built 

Vacancy rate (percent) 

10 

10 

9 

13 

7 

Housing costs (average) 

Median home value 

$232,982 

$244,085 

$148,360 

$164,220 

$337,940 

Median rent 

$1,010 

$1,025 

$ 823 

$ 931 

$ 1,194 

Severely rent burdened (percent 

pay more than 50 percent of 

26 

28 

25 

25 

27 

income in rent) 

Crime rates (average) 

Violent crimes per 100,000 

4 

5 

5 

5 

3 

people 

Property crimes per 100,000 

3,102 

2,354 

3,086 

3,556 

2,956 

people 

City fiscal data (average) 

Property tax levy per capita 

$ 667 

$ 2,164 

$336 

$ 412 

$211 

Property taxes as a percent of 

73 

85 

55 

44 

29 

general fund revenues 

$1.5 

$8.5 

$24.9 

$1.2 million 

$18.9 million 

Unassigned general fund balance 

million 

million 

million 

Unassigned general fund balance 

$196 

$276 

$185 

$219 

$170 

per capita 

General fund operating ratio 

106 

108 

110 

104 

108 

(percent) 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

90 

Appendix A: Methodology 

U.S. Cities > 

40,000 

Northeast 

Midwest  

South  

West 

(n = 874) 

 (n = 105) 

(n = 184) 

(n = 260) 

 (n = 316) 

Municipal debt per capita 

$703 

$1,901 

$677 

$824 

$299 

541 

142 

35.6 

123 million 

84.3 million 

Net pension liability 

million 

million 

million 

Accrued pensions liability per 

$1,671 

$1,814 

$ 2,522 

$398 

$ 2,192 

capita 

Notes: Puerto Rican cities are not included in the regional counts. Crime rates are calculated as (total crime/population)*100,000.Sources: American Community Survey (2009–2014, 2010–2012); U.S. Decennial Census (2000, 2010); Federal Bureau of Investigations Uniform Crime Reports (2015); Comprehensive Annual Financial Report database (2013) 

All Cities Eligible for NRN Assistance 

With the highest number of eligible cities in the West, 272 cities were eligible for NRN 

assistance (31 percent of all U.S. cities). Of the U.S. cities with populations greater than 40,000, 49 percent of cities in the Northeast, 30 percent of cities in the South, 30 percent of cities in the West, and 24 percent of cities in the Midwest were eligible for assistance. The average population of eligible cities is larger than that of all U.S. cities (161,360 compared with 142,653 for all U.S. cities). Compared with all U.S. cities, the average change in 

population between 2000 and 2010 in eligible cities is 9 percent lower, and this slower rate of population growth is present across regions. The population of eligible cities grew 

between 2000 and 2010 in all regions except the Midwest, where the population declined 2 

percent in eligible cities. Compared with all U.S. cities, the eligible cities have a greater population of Black and Hispanic people and a smaller population of White people. 

The average median family income per year among the eligible cities is $50,296, which is 

$16,653 less than that of all U.S. cities. Similarly, the poverty rate, which is 21 percent for eligible cities, is 6 percent higher for eligible cities compared with all U.S. cities. The largest regional variation in median family income is in the West, where the median family income 

for eligible cities in the West is $19,100 less than the median family income for all cities in the West. In industry distributions, the regional and total averages are aligned with those for all U.S. cities. However, the commuter characteristics differ when comparing all U.S. cities with cities eligible for NRN assistance. Compared with all U.S. cities, in eligible cities, an average of 4 percent fewer people live outside the city where they are employed, and 2 

percent more live in the city but are employed elsewhere. This difference is most prominent in the South, where 12 percent of residents in all U.S. cities live outside the city where they are employed compared with 5 percent of residents in cities in the South that are eligible for assistance.  

The average median home value for eligible cities is $65,095 less than that for all U.S. cities. 

The average median age of the housing stock is 1968 for eligible cities, which is older than the 1973 average for all U.S. cities. The regional difference in the age of the housing stock is largest in the Midwest, where the average age of the housing stock for all eligible cities in the Midwest is 11 years older than that for U.S. cities in the Midwest.  

In fiscal health, eligible cities have a lower property tax levy per capita, and a smaller 

percentage of their general fund revenues come from property taxes compared with all U.S. 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

91 

Appendix A: Methodology 

cities, meaning that eligible cities rely less on property taxes as a revenue source than all U.S. cities. In addition, they have accrued an average of $1,592 less in pensions liabilities per capita. The fiscal health of eligible cities differs among regions. In the Northeast, the general fund-operating ratio for eligible cities is 109 percent compared with 103 percent for all 

eligible cities (Table A.3). 

Table A.3: All Cities Eligible for National Resource Network Assistance 

Eligible 

Cities  

Northeast   Midwest  

South  

West 

(n = 272) 

(n = 52) 

(n = 45) 

(n = 79) 

 (n = 96) 

Population characteristics 

Population (average) 

161,360 

124,704 

171,778 

164,690 

173,700 

Cities with population 40,000–100,000  

173 

36 

27 

51 

60 

Cities with population 100,000–500,000 

85 

15 

14 

23 

32 

Cities with population 500,000–1,000,000  

6 

0 

1 

3 

2 

Cities with population > 1,000,000 

6 

1 

1 

2 

2 

Population change 2000–2010, average 

13 

1 

-2 

12 

26 

(percent) 

Population under age 18, average (percent) 

25 

23 

24 

24 

26 

Population ages 65 and older, average 

13 

13 

14 

14 

12 

(percent) 

Race and ethnicity characteristics (average) 

White, non-Hispanic (percent) 

42 

44 

60 

40 

34 

Black (percent) 

19 

20 

21 

34 

7 

Asian (percent) 

4 

4 

2 

2 

7 

Hispanic (percent) 

32 

29 

13 

23 

49 

Foreign born (percent) 

18 

20 

8 

15 

25 

Income characteristics (average) 

Median family income (per year) 

$50,296 

$47,384 

$50,406 

$46,700 

$54,559 

Poverty rate (percent individuals with 

income in the past 12 months below 

21 

22 

20 

22 

19 

federal poverty level) 

Unemployment rate (percent) 

8 

8 

8 

7 

8 

Commuter characteristics (average) 

Residents living and employed in city 

40 

29 

38 

60 

30 

(percent) 

Residents living outside city, employed in 

10 

7 

9 

5 

17 

city (percent) 

Residents living in city, employed 

16 

22 

18 

17 

11 

elsewhere (percent) 

Education characteristics (average) 

No high school diploma (percent) 

21 

22 

16 

19 

25 

High school diploma or GED (percent) 

29 

34 

32 

29 

26 

Some college, no college degree (percent) 

29 

25 

30 

29 

31 

Bachelor’s degree or higher (percent) 

21 

19 

22 

23 

18 

Industry characteristics (percent civilian employed population, at least age 16, average) Agriculture (percent) 

2 

0 

0 

1 

4 

Construction (percent) 

6 

5 

4 

6 

7 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

92 

Appendix A: Methodology 

Eligible 

Cities  

Northeast   Midwest  

South  

West 

(n = 272) 

(n = 52) 

(n = 45) 

(n = 79) 

 (n = 96) 

Manufacturing (percent) 

11 

12 

15 

8 

10 

Wholesale (percent) 

3 

3 

3 

3 

3 

Retail (percent) 

12 

12 

12 

13 

13 

Transportation, warehouse, utilities 

5 

6 

5 

5 

6 

(percent) 

Information services (percent) 

2 

2 

2 

2 

2 

Finance, real estate (percent) 

5 

5 

6 

6 

5 

Arts, food services, and recreational 

11 

10 

11 

12 

11 

(percent) 

Public administration (percent) 

5 

10 

4 

5 

5 

Professional scientific and waste 

10 

10 

10 

10 

10 

management services (percent) 

Educational services (percent) 

24 

26 

25 

25 

21 

Housing characteristics 

Renter occupied (percent) 

48 

57 

44 

48 

46 

Median year housing stock was built 

1968 

1947 

1957 

1975 

1978 

Vacancy rate (percent) 

12 

12 

13 

15 

8 

Housing costs (average) 

Median home value 

$167,972 

$171,460 

$105,075 

$127,825 

$226,526 

Median rent 

$902 

$ 899 

$ 755 

$818 

$1,036 

Severely rent burdened (percent pay more 

29 

30 

27 

28 

29 

than 50 percent of income in rent) 

Crime rates (average) 

Violent crimes per 100,000 people 

6 

7 

7 

7 

5 

Property crimes per 100,000 people 

3,552 

2,721 

3,814 

4,378 

3,206 

City fiscal data (average) 

Property tax levy per capita 

$ 334 

$ 1,283 

$ 199 

$ 385 

$ 160 

Property taxes as a percent of general fund 

35 

45 

27 

41 

29 

revenues 

$2.3 

$3.6 

$1.4 

$2.9 

$1.9 

Unassigned general fund balance 

million 

million 

million 

million 

million 

Unassigned general fund balance per 

$160 

$187 

$132 

$ 229 

$99 

capita 

General fund operating ratio (percent) 

103 

109 

102 

101 

102 

Municipal debt per capita 

$ 626 

$ 1,981 

$620 

$ 678 

$309 

$148 

$579 

$88.3 

$144 

$94.5 

Net pension liability 

million 

million 

million 

million 

million 

Accrued pensions liability per capita 

$ 600 

$ 2,928 

$625 

$ 488 

$308 

Notes: Puerto Rican cities are not included in the regional counts. Crime rates are calculated as (total crime/population)*100,000.Sources: American Community Survey (2009–2014, 2010–2012); U.S. Decennial Census (2000, 2010); Federal Bureau of Investigations Uniform Crime Reports (2015); Comprehensive Annual Financial Report database (2013). List of eligible cities retrieved from the National Resource Network 

Cities That Requested National Resource Network Assistance 

Sixty-three cities requested assistance from the National Resource Network, which is 23 

percent of all eligible cities. Of the eligible cities, 40 percent of the cities in the Northeast, 27 

percent of the cities in the South, 18 percent of the cities in the Midwest, and 13 percent of 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

93 

Appendix A: Methodology 

cities in the West requested assistance. Altogether, the greatest concentration of cities that requested assistance is in the South (21) and Northeast (21), followed by the West (12) and Midwest (8).  

The average population in cities that requested NRN assistance is 227,206, which is 65,846 

greater than the average population for all eligible cities. This difference in populations is clear across the regional breakdowns, with the cities that requested assistance in the West having an average population that is 326,924 greater than eligible cities in the West. The 

cities that requested assistance had an average population change of 6 percent compared with the population change of 13 percent for all eligible cities. The largest difference in 

population change across the regions was in the South, where eligible cities had an average population change of 12 percent, and the cities that requested NRN assistance had an average population change of 5 percent. In regards to racial and ethnic demographics, cities that were eligible for NRN assistance had a larger population of Black people compared with cities that requested NRN assistance (24 percent compared with 19 percent) and a smaller Hispanic 

population (25 percent compared with 32 percent).  

The average median family income for cities that requested NRN assistance is $49,489, 

which is $807 less than that for all eligible cities. The poverty rate (21 percent) and 

unemployment rate (8 percent) are the same for cities that requested assistance and all 

eligible cities. Cities that requested NRN assistance are on average 52 percent renter 

occupied compared with eligible cities, which are 48 percent renter occupied. The average 

median age of the housing stock is 8 years lower in cities that requested NRN assistance 

compared with that of eligible cities. 

Cities that requested assistance rely more heavily on property taxes as a source of revenue than cities eligible for NRN assistance. The property tax levy per capita for cities that 

requested NRN assistance is $506, and property taxes make up 38 percent of general fund 

revenues. In addition, cities that requested NRN assistance tend to have a larger unassigned general fund balance, suggesting that they have more flexible funds. However, they also have more significant accrued pensions liabilities compared with cities that requested NRN 

assistance ($906 compared with $600), indicating that cities that requested NRN assistance 

have more significant unmet pension obligations (Table A.4). 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

94 

Appendix A: Methodology 

Table A.4: Cities That Requested National Resource Network Assistance 

Cities That 

Requested 

Assistance (n 

Northeast  

Midwest  

South  

West  

= 63) 

(n = 21) 

(n = 8) 

(n = 21) 

(n = 12) 

Population characteristics  

Population (average) 

227,206 

89,787 

136,731 

242,853 

500,624 

Cities with population 40,000–

33 

16 

3 

9 

4 

100,000  

Cities with population 100,000–

25 

4 

5 

9 

7 

500,000 

Cities with population 500,000–

2 

0 

0 

2 

0 

1,000,000  

Cities with population > 1,000,000 

2 

0 

0 

1 

1 

Population change 2000–2010, 

6 

1 

-2 

5 

22 

average (percent) 

Population under age 18, average 

23 

22 

23 

23 

24 

(percent) 

Population ages 65 and older, 

14 

14 

15 

15 

11 

average (percent) 

Race and ethnicity characteristics (average) 

White non-Hispanic (percent) 

43 

52 

62 

38 

24 

Black (percent) 

24 

13 

23 

42 

14 

Asian (percent) 

4 

4 

3 

2 

10 

Hispanic (percent) 

25 

27 

9 

17 

48 

Foreign born (percent) 

20 

23 

10 

16 

28 

Income characteristics (average) 

Median family income (per year) 

$49,489 

$50,309 

$51,699 

$45,821 

$53,001 

Poverty rate (percent individuals 

with income in the past 12 months 

21 

20 

22 

23 

19 

below federal poverty level) 

Unemployment rate (percent) 

8 

8 

8 

8 

8 

Commuter characteristics (average) 

Residents living and employed in 

42 

21 

61 

60 

39 

city (percent) 

Residents living outside city, 

11 

12 

6 

6 

18 

employed in city (percent) 

Residents living in city, employed 

17 

14 

22 

20 

13 

elsewhere (percent) 

Education characteristics (average) 

No high school diploma (percent) 

21 

20 

15 

18 

27 

High school diploma or GED 

29 

27 

28 

28 

24 

(percent) 

Some college, no college degree 

28 

25 

30 

28 

30 

(percent) 

Bachelor’s degree or higher 

23 

20 

28 

26 

19 

(percent) 

Industry characteristics (percent civilian employed population, at least age 16, average) Agriculture (percent) 

1 

0 

0 

1 

4 

Construction (percent) 

6 

5 

4 

6 

6 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

95 

Appendix A: Methodology 

Cities That 

Requested 

Assistance (n 

Northeast  

Midwest  

South  

West  

= 63) 

(n = 21) 

(n = 8) 

(n = 21) 

(n = 12) 

Manufacturing (percent) 

10 

11 

12 

7 

8 

Wholesale (percent) 

3 

3 

2 

3 

3 

Retail (percent) 

12 

13 

11 

12 

12 

Transportation, warehouse, utilities 

5 

5 

5 

5 

6 

(percent) 

Information services (percent) 

2 

2 

2 

2 

2 

Finance, real estate (percent) 

6 

5 

5 

6 

5 

Arts, food services, and recreational 

12 

11 

11 

13 

11 

(percent) 

Public administration (percent) 

4 

4 

4 

4 

6 

Professional scientific and waste 

10 

10 

10 

11 

10 

management services (percent) 

Educational services (percent) 

25 

26 

28 

24 

21 

Housing characteristics 

Renter occupied (percent) 

52 

49 

45 

50 

50 

Median year housing stock was built  1960 

1968 

1956 

1970 

1972 

Vacancy rate (percent) 

13 

14 

13 

17 

9 

Housing costs (average) 

Median home value 

$176,977 

$162,546 

$104,875 

$137,476 

$244,867 

Median rent 

$904 

$ 931 

$769 

$ 841 

$ 1,060 

Severely rent burdened (percent pay 

more than 50 percent of income in 

29 

30 

28 

30 

30 

rent) 

Crime rates (average) 

Violent crimes per 100,000 people 

8 

6 

9 

8 

8 

Property crimes per 100,000 people 

3,537 

2,418 

4,487 

4,492 

3,029 

City fiscal data (average) 

Property tax levy per capita 

$ 506 

$1,332 

$ 272 

$ 472 

$ 174 

Property taxes as a percent of 

38 

45 

31 

46 

24 

general fund revenues 

$1.9 

$4.9 

$3.7 million 

$3.3 million 

$3.7 million 

Unassigned general fund balance 

million 

million 

Unassigned general fund balance 

$ 180 

$ 224 

$129 

$ 236 

79 

per capita 

General fund operating ratio 

102 

111 

101 

101 

99 

(percent) 

Municipal debt per capita 

$858 

$1,908 

$422 

$628 

$882 

$58.6 

$422 

$280 million 

$303 million 

$276 million 

Net pension liability 

million 

million 

Accrued pensions liability per capita 

$ 906 

$2,443 

$538 

$747 

$ 427 

Notes: Puerto Rican cities are not included in the regional counts. Crime rates are calculated as (total crime/population)*100,000.Sources: American Community Survey (2009–2014, 2010–2012); U.S. Decennial Census (2000, 2010); Federal Bureau of Investigations Uniform Crime Reports (2015); Comprehensive Annual Financial Report database (2013); List of cities that requested assistance retrieved from the National Resource Network 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

96 

Appendix A: Methodology 

Cities That Received National Resource Network Assistance 

Thirty-six cities received technical assistance engagements from the NRN. The largest 

regional concentration of cities that received technical assistance is in the Northeast (13 

engagements), followed by the South (12), the West (6), and the Midwest (5). Sixty-three 

percent of Midwestern cities that requested assistance received NRN assistance compared 

with 62 percent of northeastern cities, 57 percent of southern cities, and 50 percent of 

western cities. The average population of cities that received NRN assistance is 149,957, 

which is 79,961 less than that for cities that requested NRN assistance but is significantly closer to the average population of eligible cities (161,807) and all U.S. cities (142,653). The average race and ethnicity breakdowns are similar to those of the cities that requested NRN 

assistance. 

Income characteristics for cities that received NRN assistance follow a similar trend to those that were eligible for NRN assistance and those that requested NRN assistance. The average 

median family income is $49,141 compared with $49,114 for cities that requested assistance, and the average poverty rate is 22 percent compared with 21 percent for cities that requested assistance. Although the industry breakdowns are nearly identical to the cities that requested NRN assistance, fewer residents live outside the city and are employed in the city among the cities engaged in the NRN (8 percent compared with 11 percent). 

Housing costs are lower for cities that received NRN assistance compared with cities that 

requested assistance. The average median home value for cities that received NRN assistance is $172,853, which is less than that for cities that requested assistance (for which the median home value is $175,672) and for all U.S. cities (for which the median home value is 

$233,067). Similarly, the median rent for cities that received assistance is $883 compared 

with $902 for cities that requested assistance. The average percentage of rent-burdened 

people in cities receiving NRN assistance is 29 percent, which is the same as those in cities that requested NRN assistance.  

Cities that received NRN assistance have a smaller unassigned general fund balance ($25 

million compared with $37.1 million), suggesting that they have less flexible funding in their budgets. In addition, they have an average debt per capita that is slightly higher than that of cities that applied for NRN assistance. However, they have a smaller accrued pensions 

liability per capita compared with cities that requested NRN assistance ($809 compared with $906), suggesting that they are having less trouble repaying their pensions compared with 

cities that requested assistance from the NRN (Table A.5).  

Table A.5: Cities That Received National Resource Network Assistance 

Engaged 

Cities  

Northeast  

Midwest 

South  

West  

(n = 36) 

(n = 13) 

 (n = 5) 

(n = 12) 

(n = 6) 

Population (average) 

149,957 

107,433 

113,609 

204,082 

164,130 

Cities with population 40,000–

18 

10 

2 

4 

1 

100,000  

Cities with population 100,000–

18 

4 

3 

7 

4 

500,000 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

97 

Appendix A: Methodology 

Engaged 

Cities  

Northeast  

Midwest 

South  

West  

(n = 36) 

(n = 13) 

 (n = 5) 

(n = 12) 

(n = 6) 

Cities with population 500,000–

1 

0 

0 

1 

0 

1,000,000  

Cities with population > 

1 

0 

0 

0 

1 

1,000,000 

Population change 2000–2010, 

5 

1 

0 

3 

19 

average (percent) 

Population under age 18, average 

23 

22 

25 

22 

23 

(percent) 

Population ages 65 and older, 

14 

14 

14 

15 

11 

average (percent) 

Race and ethnicity characteristics (average) 

White non-Hispanic (percent) 

43 

53 

65 

34 

23 

Black (percent) 

26 

14 

20 

47 

17 

Asian (percent) 

4 

3 

3 

2 

10 

Hispanic (percent) 

24 

27 

9 

16 

46 

Foreign born (percent) 

19 

22 

12 

13 

28 

Income characteristics (average) 

Median family income (per year) 

$49,141 

$ 48,161 

$55,820 

$ 44,534 

$54,913 

Poverty rate (percent individuals 

with income in the past 12 

22 

21 

21 

24 

19 

months below federal poverty 

level) 

Unemployment rate (percent) 

7 

7 

7 

8 

8 

Commuter characteristics (average) 

Residents living and employed in 

45 

31 

59 

64 

31 

city (percent) 

Residents living outside city, 

8 

6 

9 

4 

19 

employed in city (percent) 

Residents living in city, 

18 

19 

18 

22 

13 

employed elsewhere (percent) 

Education characteristics (average) 

No high school diploma (percent) 

21 

22 

14 

19 

27 

High school diploma or GED 

29 

33 

25 

28 

23 

(percent) 

Some college, no college degree 

27 

24 

30 

28 

30 

(percent) 

Bachelor’s degree or more 

23 

20 

31 

24 

20 

(percent) 

Industry characteristics (percent civilian employed population, at least age 16, average) Agriculture (percent) 

1 

0 

0 

1 

5 

Construction (percent) 

6 

5 

5 

6 

7 

Manufacturing (percent) 

10 

11 

11 

8 

8 

Wholesale (percent) 

3 

3 

2 

2 

3 

Retail (percent) 

12 

13 

12 

12 

11 

Transportation, warehouse, 

5 

5 

5 

5 

6 

utilities (percent) 

Information services (percent) 

2 

2 

2 

2 

2 

Finance, real estate (percent) 

5 

5 

6 

6 

5 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

98 

Appendix A: Methodology 

Engaged 

Cities  

Northeast  

Midwest 

South  

West  

(n = 36) 

(n = 13) 

 (n = 5) 

(n = 12) 

(n = 6) 

Arts, food services, and 

11 

11 

10 

12 

10 

recreational (percent) 

Public administration (percent) 

4 

4 

3 

5 

6 

Professional scientific and waste 

10 

9 

11 

10 

11 

management services (percent) 

Educational services (percent) 

26 

27 

28 

26 

22 

Housing characteristics 

Renter occupied (percent) 

52 

58 

43 

49 

50 

Median year housing stock was 

1958 

1944 

1957 

1968 

1968 

built 

Vacancy rate (percent) 

12 

11 

11 

17 

8 

Housing costs (average) 

Median home value 

$172,853 

$195,646 

$109,940 

$131,608 

$258,383 

Median rent 

$883 

$894 

$798 

$806 

$1,085 

Severely rent burdened (percent 

pay more than 50 percent of 

29 

29 

28 

29 

29 

income in rent) 

Crime rates (average) 

Violent crimes per 100,000 

8 

7 

7 

9 

8 

people 

Property crimes per 100,000 

3590 

2636 

4344 

4379 

3196 

people 

City fiscal data (average) 

Property tax levy per capita 

$568 

$1,388 

$271 

$495 

$247 

Property taxes as a percent of 

40 

46 

32 

46 

25 

general fund revenues 

$2.1 

$1.2 

$1.2 

$4.6 million 

$2.8 million 

Unassigned general fund balance 

million 

million 

million 

Unassigned general fund balance 

$168 

$214 

$112 

$204 

$ 74 

per capita 

General fund operating ratio 

106 

117 

105 

105 

100 

(percent) 

Municipal debt per capita 

$ 869 

$2,270 

$ 499 

$501 

$ 847 

$210 

$83.1 

$171 

$351 million 

$218 million 

Net pension liability 

million 

million 

million 

Accrued pensions liability per 

$809 

$1,823 

$776 

$517 

$633 

capita 

Notes: Puerto Rican cities are not included in the regional counts. Crime rates are calculated as (total crime/population)*100,000. 

Sources: American Community Survey (2009–2014, 2010–2012); U.S. Decennial Census (2000, 2010); Federal Bureau of Investigations Uniform Crime Reports (2015); Comprehensive Annual Financial Report database (2013); List of cities engaged in National Resource Network assistance retrieved from the National Resource Network 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

99 

Appendix B: Interview Guides 

Appendix B: Interview Guides 

Lead City Representative Interview Protocol: Preengagement 

Background 

•  Please describe your current position (for example, overall responsibilities, reports to whom) 

•  How long have you worked for the city?  

•  How did you first hear about the National Resource Network? 

•  Tell us about the departments and people in your city who will be a part of the NRN 

engagement. 

•  What other technical assistance engagements has your city participated in? 

o  How successful have previous TA engagements been? Why? 

Pre-TA Challenges 

•  What are your city’s core operational capacity challenges and other challenges to 

economic well-being? 

•  What actions or policies have you implemented in the past to try to overcome these 

core challenges? 

o  Have they worked? Why or why not? 

o  What were the main roadblocks to addressing these challenges? 

Type of TA Desired and Goals 

•  What kinds of TA did you originally request from the NRN team? 

•  Did the preengagement assessment affect your TA request and goals? If so, how? 

o  How helpful was the preengagement assessment in defining core challenges? 

o  How helpful was the preengagement assessment in identifying TA needs? 

o  If the preengagement assessment affected your TA request and goals, do you 

think that this new TA will be more successful or less successful than the TA 

that you originally requested? 

•  What technical assistance would you like now from the NRN? And what are the long-

term goals of this TA? 

o  How will this TA address the key challenge or challenges that your city faces? 

o  What intermediate steps and outcomes need to occur to achieve the long-term 

goals? 

o  Is there a target population that the TA will aim to serve? 

▪  If so, who? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

100 

Appendix B: Interview Guides 

o  Will the desired TA build upon current/previous work?  

▪  If so, how?  

o  As you see it, what role will the TA providers play? 

o  What level of intensity and duration do you expect for the TA engagement? 

•  Would you be able to accomplish these goals without the help of the TA?  

o  What do you think would have happened had you not been chosen to receive 

TA? 

•  How easy or difficult was it to come up with the local matching funds? Why? 

 Roadblocks 

•  What are the biggest challenges that you expect to face when implementing the TA? 

•  Have these challenges arisen in the past? 

o  If so, how have you addressed them? 

o  How do you plan to address these challenges for this engagement? 

•  Has there been any pushback from government leaders, business leaders, civic 

leaders, or community members when implementing similar programs? 

o  If there has been pushback, how did you address it? 

o  How do you plan to address pushback for this program? 

Capacity and Collaboration 

•  Who do you currently work with on [the topic that you requested assistance for]? 

o  Government stakeholders? 

o  Community stakeholders? 

o  Business leaders? 

o  Nonprofit leaders? 

•  Do you have a preexisting collaborative group (either between agencies, cities, or 

nongovernmental actors) that meets regularly on issues of community and economic 

development? 

•  Can you list the people, agencies, or organizations you could work with or consult on 

community and economic development issues? 

•  How engaged are local government, business, and civic leaders in tackling your city’s 

challenges?  

o  To what extent do they share a common agenda or have many competing 

objectives? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

101 

Appendix B: Interview Guides 

o  How well do government, business, and civic leaders work together on these 

problems? 

•  Can you describe any collaborative efforts your city has engaged in? What was the 

status/health of the collaboration in those efforts? 

•  How much internal support for the NRN is there within your agency and within your 

city government overall? 

•  How many full-time equivalent staff will your city government invest in the TA 

engagement? 

o  For how long? 

•  You previously described the actors who will be involved in this effort. Is the right 

mix of stakeholders at the table? Are there any key stakeholders missing? 

•  Can you describe the status of collaboration between your agency/group and these 

stakeholders? 

•  Do you expect any changes in collaboration between you and other stakeholders as a 

result of the technical assistance? 

Documenting Outcomes 

•  Have you collected baseline data on the problem that the TA will address? 

o  If so, what data? 

•  How will you measure the progress of the TA? 

o  How will you know if the TA is “working”? 

o  How will you calculate the costs and savings of different activities? 

o  How will you measure improvements in quality of life? 

National Resource Network 

•  How familiar are you with the services/activities the National Resource Network 

offers beyond direct TA engagements? 

•  How often do you plan to participate in NRN activities, if at all? [If needed, probe 

with the following bullets:] 

o  Marketing and engagement 

o  Clearinghouse  

o  Peer networks 

o  Local resource networks 

o  Policy recommendations 

•  What outcomes do you hope to achieve from participating in the NRN? [If needed, 

probe with the following bullets:] 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

102 

Appendix B: Interview Guides 

o  Do you expect to implement any changes or policies that you learn from the 

NRN? 

o  Do you expect to expand your contacts and resources as a result of the 

network? 

o  Do you expect the NRN to provide assistance that would not otherwise be 

available or accessible? 

o  Do you expect to leverage additional private-sector and philanthropic funding 

as a result of the NRN? 

o  Do you expect to access additional state and federal funding as a result of 

interacting with the NRN? 

•  Clearinghouse 

o  Are you familiar with the clearinghouse, the online resource library? 

o  How helpful do you think the clearing house will be? [If needed, probe with 

the following bullets:] 

▪  Accessible 

▪  Available 

▪  Relevant 

▪  Clear 

▪  Timely  

o  How often do you anticipate using the clearinghouse in the future? 

▪  Have you already accessed the clearinghouse? 

o  Do you think that the clearinghouse will help you to expand or improve local 

policies or initiatives? Why or why not? 

•  Peer network activities 

o  How familiar are you with the planned peer network activities? 

o  Do you plan to attend webinars and engage in “ask and respond” and other 

virtual convening activities? 

o  Do you plan to participate in in-person peer network activities? 

o  How helpful do you think the peer networks will be? [If needed, probe with 

the following bullets:] 

▪  Accessible 

▪  Available 

▪  Relevant 

▪  Clear 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

103 

Appendix B: Interview Guides 

▪  Timely 

o  Do you think that the peer network will help you to leverage additional 

private-sector and philanthropic funding? If so, how? 

•  Local resource networks  

o  How familiar are you with the local resource networks? 

o  Do you plan to participate in the local resource networks? Specifically, do you 

plan to use: 

▪  The toolkit? 

▪  The funding pool? 

▪  Curriculum? 

▪  The mentorship network? 

o  How helpful do you think the local resource networks will be? [If needed, 

probe with the following bullets:] 

▪  Accessible 

▪  Available 

▪  Relevant 

▪  Clear 

▪  Timely 

o  How helpful do you think the local resource networks will be in connecting 

you to useful policy ideas? 

Conclusion 

•  Is there anything you’d like to discuss that we didn’t get a chance to talk about? 

Lead City Representative Interview Protocol: Postengagement 

Background 

•  Please describe your current position (for example, overall responsibilities, reports to whom). Has this changed since the beginning of the engagement? 

•  How long have you worked for the city?  

•  Tell us about the departments and people in your city who were a part of the National 

Resource Network engagement. 

o  Are they the same people who you expected to be a part of the engagement at 

the outset? If not, why not? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

104 

Appendix B: Interview Guides 

TA Challenges 

•  To the best of your knowledge, did your city engage in technical assistance prior to 

the NRN engagement? 

o  If so, how did the experience of the NRN engagement differ from other TA 

engagements?  

▪  In terms of level of effort? 

▪  In terms of areas covered? 

▪  In terms of effectiveness? 

•  Prior to the NRN engagement, what actions or policies has the city implemented in 

the past to try to overcome these core challenges? 

o  How do these differ from the NRN engagement?  

o  Do you believe that the NRN engagement will have a greater positive impact 

than other approaches you have tried? Why or why not? 

Type of TA Provided and Goals 

•  What kinds of TA did you originally request from the NRN team? 

•  Did your goals change during the engagement process? 

o  How did the NRN team work with you to understand the challenges they 

intended to address? Do you feel they had a deep understanding of the issues 

relevant to their intervention? Did their level of understanding impact their 

work? 

o  Did the scope of work for the engagement address the issues for which you 

originally requested assistance?  

▪  If not, why not? 

o  If the preengagement assessment affected your TA request and goals, do you 

think that the TA as provided was more successful or less beneficial than the 

TA that you originally requested would have been? 

•  What technical assistance did the NRN team provide? What were the long-term goals 

of this TA? 

o  How did this TA seek to address the key challenge or challenges that your city 

faces? Was it successful in doing so? 

o  In the preengagement interview, you mentioned some intermediate steps and 

outcomes you believed needed to occur to achieve the long-term goals. Did 

these steps occur as you expected? Why or why not? 

▪  If they did occur, did they result in advancing your long-term goals? 

Why or why not? 

o  Is there a target population that the TA aimed to serve? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

105 

Appendix B: Interview Guides 

▪  Did the TA as provided serve this group? 

o  Did the TA build upon current/previous work?  

▪  If so, how?  

o  As you see it, what role did the TA providers play? 

o  What level of intensity and duration was the TA engagement? Does this 

match your expectations? If not, how did it differ? 

•  Would you have been able to accomplish these goals without the help of the TA?  

o  What do you think would have happened had you not been chosen to receive 

TA? 

•  How easy or difficult was it to come up with the local matching funds? Why? 

Roadblocks 

•  What are the biggest challenges that you faced when implementing the TA? 

•  Are these the same challenges you expected to face when you first set out? 

o  If so, did you have a plan for addressing them? How did it work? 

o  If not, why do you believe they were different? How did you manage them? 

•  Has there been any pushback from government leaders, business leaders, civic 

leaders, or community members during the engagement period? 

o  If there has been pushback, how did you address it? 

Capacity and Collaboration 

•  Who in your community have you worked with on this engagement? 

o  Government stakeholders? 

o  Community stakeholders? 

o  Business leaders? 

o  Nonprofit leaders? 

•  Are any of these new partners? 

•  Did you develop any form of oversight or organizational body, such as a steering 

committee or coordination group as part of the engagement?  

o  If so, who was involved? How often did you meet? What did you discuss? 

Did it result in any concrete changes in the engagement? 

•  Have you seen any change in the level of engagement by local government, business, 

and civic leaders in tackling your city’s challenges?  

o  To what extent do they share a common agenda or have many competing 

objectives? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

106 

Appendix B: Interview Guides 

o  How well do government, business, and civic leaders work together on these 

problems? 

•  How many full-time equivalent staff has your city government invested in the TA 

engagement? 

o  For how long? 

o  Is this the level of effort that was expected at the outset? 

•  Was the right mix of stakeholders at the table? Were there any key stakeholders 

missing? 

•  Can you describe the status of collaboration between your agency/group and these 

stakeholders? 

•  Did you experience any changes in collaboration between you and other stakeholders 

as a result of the technical assistance? 

Documenting Outcomes 

•  How did you measure the progress of the TA? 

o  How did you know if the TA was “working”? 

o  How have you calculated the costs and savings of different activities? 

o  How have you measured improvements in quality of life to this point? How 

do you plan to do it moving on from here? 

National Resource Network 

•  How familiar are you with the services/activities the National Resource Network 

offers beyond direct TA engagements? 

•  How often have you participated in NRN activities, if at all? [If needed, probe with 

the following bullets:] 

o  Marketing and engagement 

o  Clearinghouse  

o  Peer networks 

o  Local resource networks 

o  Policy recommendations 

•  Thinking back to the preengagement interview, the outcomes you hoped to achieve 

from participating in the NRN included _________. Has this been the case? [If 

needed, probe with the following bullets:] 

o  Did you implement any changes or policies that you learned from the NRN? 

o  Did you expand your contacts and resources as a result of the network? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

107 

Appendix B: Interview Guides 

o  Did the NRN provide assistance that would not otherwise be available or 

accessible? 

o  Did you leverage additional private-sector and philanthropic funding as a 

result of the NRN? 

o  Did you expect to access additional state and federal funding as a result of 

interacting with the NRN? 

o  Clearinghouse 

•  Clearinghouse 

o  Did you use the clearinghouse during the engagement? If so, did you find it: [If 

needed, probe with the following bullet:] 

▪  Accessible 

▪  Available 

▪  Relevant 

▪  Clear 

▪  Timely  

o  How often do you anticipate using the clearinghouse in the future? 

o  Has the clearinghouse helped you to expand or improve local policies or 

initiatives? Why or why not? 

•  Peer network activities 

o  How familiar are you with the peer network activities? 

o  Did you attend any webinars or “ask and respond” or other virtual convening 

activities? 

o  Did you participate in in-person peer network activities? 

o  How helpful was the peer network? [If needed, probe with the following bullets:] 

▪  Accessible 

▪  Available 

▪  Relevant 

▪  Clear 

▪  Timely 

o  Do you think that the peer network has helped you to leverage additional private-

sector and philanthropic funding? If so, how? 

Conclusion 

•  Is there anything you’d like to discuss that we didn’t get a chance to talk about? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

108 

Appendix B: Interview Guides 

Technical Assistance Provider Interview Protocol: Postengagement 

Background 

•  Please describe your current position (for example, overall responsibilities, reports to whom) and your role on the technical assistance team.  

•  How long have you worked for your firm?  

•  Tell us about the engagement team.  

o  What were your specific responsibilities on the engagement team? 

o  Who else were you working with?  

•  (if applicable) What other National Resource Network engagements have you 

participated in? 

o  Did you play a similar role on prior engagements? 

o  How successful have previous TA engagements been? Why? 

Type of TA Desired and Goals 

•  What kinds of technical assistance did you offer the engagement city? Did the TA 

you did reflect the work desired by the city?  

•  Did the preengagement assessment affect your proposed course of work? If so, how? 

o  How helpful was the preengagement assessment in defining core challenges? 

o  How helpful was the preengagement assessment in identifying TA needs? 

o  If the preengagement assessment affected your TA request and goals, do you 

think that this new TA will be more successful or less successful than the TA 

that was originally requested? 

•  What are the long-term goals of the TA engagement? 

o  How does the TA provided address the key challenge or challenges that the 

city faces? 

o  Do you expect the engagement to have impact beyond the period of 

engagement? If so, what? 

o  What role will you, the TA providers, play? Was it the same as your 

expectation entering the engagement? 

o  Did the work involved in the engagement reflect the expected level of 

intensity and duration? If not, why? 

•  Do you believe the city would have been able to accomplish its goals without the help 

of the TA? What do you think would have happened had they not been chosen for an 

engagement? 

 Roadblocks 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

109 

Appendix B: Interview Guides 

•  What are the biggest challenges that you faced when implementing the TA? 

o  Were there specific institutional challenges working with the city or other 

stakeholders? 

o  Did the subject of the engagement produce any specific challenges? 

•  Did you expect these challenges? 

o  If so, did you have a plan to address them? Did it work? 

•  Did you experience any resistance from government leaders, business leaders, civic 

leaders, or community members during the engagement?  

o  If so, what do you believe to be the cause of their resistance?  

o  If so, how did you address it? 

Capacity and Collaboration 

•  How prepared was the city to work with the engagement team to meet the stated 

goals and benchmarks? 

o  Was the city able to provide you with any data or internal documents 

necessary for your work? 

o  Were you reliably able to communicate with key contacts at the city? 

•  Who did you work with on [the topic that you requested assistance for]? Did the city 

reach out to any of these groups? 

o  Government stakeholders? 

o  Community stakeholders? 

o  Business leaders? 

o  Nonprofit leaders? 

•  How many full-time equivalent staff did the city government invest in the TA 

engagement? 

o  For how long? 

•  You previously described the actors who were involved in this effort. Was the right 

mix of stakeholders at the table? Were there any key stakeholders missing? 

•  Do you expect any changes in collaboration between you and other stakeholders? Did 

your engagement create any tensions between the city and any of these stakeholders? 

Documenting Outcomes 

•  How would you describe the preengagement data-gathering process?  

•  How did you measure the progress of the TA? 

o  How did you know if the TA was “working”? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

110 

Appendix B: Interview Guides 

▪  Did you have any internal structures such as feedback loops or 

periodic assessments to assure that the TA was progressing properly 

and serving its purpose? 

▪  Did you have feedback mechanisms from stakeholders besides the 

city, such as local nonprofits, large employers, or community 

members? 

o  How did you calculate the costs and savings of different activities? 

o  How did you measure improvements in quality of life? 

National Resource Network 

•  Do you believe that the engagement city’s experience or knowledge will be helpful 

for other NRN cities? 

o  Do you expect the city to participate in future NRN activities? 

•  Clearinghouse 

o  Have you or do you expect to add any documents or tools used in your 

engagement to the NRN clearinghouse website? 

Conclusion 

•  Is there anything you’d like to discuss that we didn’t get a chance to talk about? 

National Stakeholder Interview Protocol 

Background 

•  Please describe your current position at [FIRM or ORGANIZATION] (for example, 

overall responsibilities, reports to whom) and your role on the NRN team.  

•  How long have you worked for [FIRM or ORGANIZATION]?  

•  When did you start working on the National Resource Network? 

•  What is your role on the NRN? 

•  What percentage of your time do you work on the NRN? 

Origins and Intended Outcomes 

•  What was the impetus for creating the NRN?  

o  Was it in response to a specific problem or need? If so, what? 

•  Does the NRN have an explicit theory of change? 

o  [IF YES] Can you describe it? 

o  [IF NO] Are there implicit beliefs or assumptions that have influenced the 

structure of the program? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

111 

Appendix B: Interview Guides 

o  How has the (explicit or implicit) theory of change informed the program’s 

development? 

Organizational Structure and Roles 

•  Can you describe the structure of the National Resource Network?  

o  What are the components of the NRN? Do they match the initial vision of the 

NRN? If not, how not? 

o  How was the organizational structure developed? Who was involved with this 

process? 

•  Who was involved in developing the initial structure?  

•  What role does your organization take within the operations of the NRN?  

•  How were firms and other participant organizations chosen to participate in NRN? 

•  Can you describe the various organizations involved and their roles in the network? 

•  Do you believe the NRN has taken the correct approach to meeting its goals?  

•  If you could, would you make any changes in NRN’s design? 

Eligibility To Apply 

•  To receive technical assistance, a city must first meet base eligibility requirements.  

o  What are the base qualifications that a city must meet to apply? How were 

these qualifications determined? 

▪  Were any changes made to the base qualifications for eligbility over 

the course of the NRN? If so, what and why? 

▪  In your opinion, do the eligibility requirements do a good job at 

selecting the cities that both need and could benefit from NRN 

technical assistance? 

▪  Are there cities excluded due to not meeting the eligibility 

requirements that you believe should qualify for NRN technical 

assistance? 

▪  Are there cities that qualify that you believe should not? 

Outreach 

•  Has the NRN engaged in outreach? If so, what form has the outreach taken? 

o  What have the goals of the outreach been? Have outreach efforts been 

successful at meeting those goals? 

▪  If so, what has made the outreach successful? Has it been uniformly 

successful, or only in some cases/aspects? 

▪  If not, what has been done to improve outreach efforts? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

112 

Appendix B: Interview Guides 

o  Beyond any changes that have already occurred, are there ways you believe 

that outreach could be done better? 

o  (if the respondent responds that outreach goals are not to increase the number 

of eligible cities applying for technical assistance): Have outreach efforts 

resulted in cities applying for or receiving technical assistance that might not 

have otherwise?  

•  Are there particular cities or regions that have not responded well to recruitment? If 

so, why? 

•  Are there otherwise qualified cities or regions that you have decided not to recruit? If so, why? 

Intake and Assessment 

•  Once an eligible city submits a request for assistance, their application is reviewed 

through a process to determine whether they will receive a full engagement, a 311 

engagement, or no engagement.  

o  How does the NRN determine which applicant cities will receive assistance?  

▪  What are the steps that lead from intake to engagement?  

▪  How and at what point does the NRN decide whether to proceed with 

an engagement? 

•  Who makes these decisions? 

▪  How does the NRN decide which cities will receive a “full” 

engagement and which receive a 311 engagement? 

•  Who makes these decisions? 

o  How much effort has it taken to get a city from the RFA to the point of 

starting an engagement, on average?  

▪  Is this in line with initial expectations? 

▪  What is the typical pace for review? Has it been slower than expected? 

Faster?  

▪  [if slower] What has held up the process? 

o  Has intake and assessment changed as more cities apply? If so, in what ways? 

•  Each engagement provides a specific set of services for the recipient city, which may 

or may not address the issues outlined in the original request for assistance. 

o  How does the NRN determine what issues will be addressed during an 

engagement?  

o  Once the focus of the engagement is determined, how does the NRN 

determine the specific nature of the technical assistance? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

113 

Appendix B: Interview Guides 

▪  How much of this is determined by the NRN leadership team? The TA 

providers? The city? 

•  A handful of cities have not completed intake and assessment.  

o  Has the level of attrition so far matched your expectations? Why or why not? 

o  What are the main reasons for cities not moving ahead? 

Engagements 

•  How many engagements did the NRN initially intend to have? Has this changed over 

the course of the program? If so, why? 

•  What was the initial time frame for administering engagements? Has this been 

amended? 

o  If so, what factors led to the change?  

•  There are currently [NUMBER] of engagements, with [NUMBER] of cities in the 

process of intake and assessment. Is this the number you expected at this stage? 

o  If not, is it higher or lower? Why? 

•  To date, would you consider the current (and complete) engagements successful? 

o  Have the TA providers completed the work outlined in the engagement 

memos and memoranda of understanding in the allotted time (or are they on 

track to do so)?  

▪  If not, what have been the most significant barriers? 

o  What “lessons learned” have you gleaned from the engagements to date? Is 

there anything you would do differently in the future? 

Defining Success 

•  From the perspective of the NRN, what makes an engagement successful? 

o  Does this differ from your personal definition of success? 

•  What indicators (quantifiable or not) would you look at to determine if an 

engagement meets your definition of success?  

•  At what point in time would you be able to determine if an engagement was or was 

not successful? (During the engagement? As it concludes? After three months? A 

year? Five years?) 

Peer Network 

•  What is the primary purpose of the peer network? How does it relate to the overall 

goals of the NRN? 

o  Do you believe it has met these goals? Why or why not? 

•  To date, what peer network activities have taken place? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

114 

Appendix B: Interview Guides 

o  Who has been involved? 

o  Who has benefited?  

Other Nonengagement Activities 

•  The NRN has engaged in a number of other activities outside the engagements, 

including a set of online resources and tools and several series of research and policy 

reports. 

•  Were these tools contained in the initial plan for the NRN? If so, how were they 

intended to contribute to the overarching goals of the NRN? 

o  How successful have they been in reaching these goals? 

o  Have there been significant changes to the structure of these activities? If so, 

how have they changed? 

▪  [if changed] Were the changes intended to “course correct” to improve 

the utility of these activities? If not, why were these activities 

changed? If so, did it help? 

Communication and Coordination 

•  The NRN team is composed of individuals from a variety of organizations. How is 

communication among team members? 

o  In what ways has communication been successful? To what do you attribute 

this success? 

o  In what ways has communication been challenging?  

o  What steps have been taken to address these challenges?  

o  [In addition to any described previously] What tools or structures are in place 

to facilitate communication? Are these tools/structures the same as were 

originally designed? If not, what has changed? 

o  Designing an initiative like the NRN with multiple organizations playing key 

implementation roles has advantages, in terms of sharing the workload, but 

also challenges, in terms of coordination and communication? If you were to 

design the NRN again, would you have involved as many implementing 

partners? Why or why not? 

•  Working with HUD 

o  Although Enterprise has been handling the daily operations of the NRN, the 

project is administered through the Department of Housing and Urban 

Development. How much of a role has HUD had in determining the direction 

and structure of the NRN? Is HUD an active participant in NRN operations? 

o  Has working with HUD created any particular advantages or challenges? 

▪  If so, how has the NRN adapted? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

115 

Appendix B: Interview Guides 

Conclusion 

•  Is there anything you’d like to discuss that we didn’t get a chance to talk about? 

Strong Cities, Strong Communities National Resource Network Program Evaluation 

116 

U.S. Department of Housing and Urban Development

Office of Policy Development and Research

Washington, DC 20410-6000

September 2018

Document Outline

Acknowledgments

Executive Summary

How Did We Evaluate NRN?

Who Ran NRN?

How Did the Engagements Work?

What Outcomes Were Achieved?

What Can We Learn From NRN?

Introduction and Background

Structure of the Report

America’s Cities at the Start of a New Century

Reorienting the Federal Approach

Addressing the Problems of Categorical Programs

New Grant Programs

Building Capacity With Strong Cities, Strong Communities

Strong Cities, Strong Communities Concept for Capacity Building

The SC2 Program and the Community Solution Team Pilots

Results and Implications of the SC2 Community Solution Team Pilots

The National Resource Network

Overview of the National Resource Network

NRN Consortium

Leadership and Internal Operations

Strategic Partners, the Advisory Board, and the Evaluation

The Evaluation

Overall Approach

Evaluating NRN Engagements

Research Questions

Sample Selection

Interviews and Site Visits

Preengagement Interviews With City Personnel

Postengagement Interview With City Personnel

Postengagement Interviews With Technical Assistance Providers

Document Review

Analyzing Qualitative Data in the Engagements Evaluation

Documenting the Overall NRN and Its Supporting Activities

National Stakeholder Interviews

Literature and Document Review

Engagement Eligibility, Outreach, Intake, and Assessment

The Front End of the Engagement Process in the Overall Program

Eligible Cities

Initial Contact and Outreach

Intake

Characteristics of Eligible Cities and Cities Requesting Assistance

Assessment

Assessments for the Nine Sample Engagements

Assessments and Their Results in the Sample Engagements

Alignment of Topics and Plans With the Expressed Needs of the Participating Cities

Engagements Deployment

Overall Engagement Pipeline

Characteristics of the Engagement Sites

Topics of Engagements

Intensity of Engagements

TA Provider and Engagement Matches

Nine Sample Engagements

Analysis of Engagement Workability, Outputs, and Outcomes

Were the Scopes of Work Sufficiently Clear and Detailed?

Were City Teams Set up Effectively To Accomplish the Engagement as Planned?

Were the Experience, Capacity, and Structure of the TA Teams Sufficient To Accomplish the Work?

Were the Scopes of Work Carried out Effectively as Planned?

Did the Engagements Entail Adequate Involvement of Outside Stakeholders?

Did the Engagements Meet Their Stated Goals and Yield Short-Term Benefits That Likely Would Not Have Been Otherwise Achieved?

Did the Engagements Meet Their Stated Goals?

What Results Have so far Occurred Because of the Engagement That Otherwise Would Not Have Occurred?

Did the Engagements Do What Was Needed To Lay the Foundation for Future Actions Needed To Achieve the Ultimate Goals?

Did the Engagements Yield or Set the Stage for Valuable Longer-Term Benefits That Would Not Have Been Attained as a Matter of Course?

Did the Engagements Yield Changes in the Attitudes and Behaviors of Important Outside Institutions That Should Further City Objectives?

Did the Engagements Build and Strengthen Institutional Relationships and Methods of Working Together in Ways That Are Likely To Pay Off for Cities in Other Efforts?

Did the Engagements Build General Capacity and Confidence in City Government, Motivating It To Take Bolder Internal Reforms and Outside Improvement Initiatives?

Conclusions: Did NRN Engagements Work?

National Resource Network Supporting Activities

Technical Assistance Clearinghouse and Resource Library

311 for Cities

Peer-to-Peer Network

Policy Recommendations

Local Resource Network

Implications and Lessons Learned

Contributions of NRN Engagements and Lessons Learned

Contribution of NRN-Supporting Activities

Sustaining the Program

The Need for Research To Assess Broader Needs and Opportunities

Authors

Statement of Independence

References

Appendix A: Methodology

NRN-Eligible Cities Compared With All U.S. Cities

Cities That Requested Assistance Compared With All Eligible Cities

Engaged Cities Compared With All Eligible Cities

Sample Cities Compared With Engaged Cities

All U.S. Cities

All Cities Eligible for NRN Assistance

Cities That Requested National Resource Network Assistance

Cities That Received National Resource Network Assistance

Appendix B: Interview Guides

Lead City Representative Interview Protocol: Preengagement

Background

Lead City Representative Interview Protocol: Postengagement

Background

TA Challenges

Technical Assistance Provider Interview Protocol: Postengagement

National Stakeholder Interview Protocol